苏飞论坛

标题: 购买了万能框架，在线测试采集正常，但是本地采集 [打印本页]

作者: shaokun 时间: 2022-4-25 18:17
标题: 购买了万能框架，在线测试采集正常，但是本地采集
购买了万能框架，在苏飞在线测试上进行采集，是可以采集到的。采集地址：
https://baijiahao.baidu.com/s?id=1731073946463738468
如下图：
(, 下载次数: 191)

生成代码：
(, 下载次数: 196)

但是我把生成的代码，添加到本地后，采集的内容，却是空。
(, 下载次数: 184)

请苏飞版主帮帮忙，帮帮忙。。。。

作者: shaokun 时间: 2022-4-25 18:47
@站长苏飞帮帮忙，这是什么问题啊？在线测试能采集到内容。但是复制代码到本地后，就采集为""了。

作者: shaokun 时间: 2022-4-25 19:14
@站长苏飞站长棒棒我吧。。。

我看了源码，在这里获取页面内容是，没有读取到。。。。
(, 下载次数: 155)

作者: 站长苏飞 时间: 2022-4-26 14:39
兄弟你可以贴一下代码吗，实在做不到对着图片给你打出来测试

作者: shaokun 时间: 2022-4-27 08:25

HttpHelper http = new HttpHelper();
HttpItem item = new HttpItem()
{
URL = "https://baijiahao.baidu.com/s?id=1581837059629769930",//URL 必需项
Method = "GET",//URL 可选项默认为Get
Timeout = 100000,//连接超时时间可选项默认为100000
ReadWriteTimeout = 30000,//写入Post数据超时时间可选项默认为30000
IsToLower = false,//得到的HTML代码是否转成小写可选项默认转小写
Cookie = "",//字符串Cookie 可选项
UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型，版本，操作系统可选项有默认值
Accept = "text/html, application/xhtml+xml, */*",// 可选项有默认值
ContentType = "text/html",//返回类型可选项有默认值
Referer ="",//来源URL 可选项
Allowautoredirect = False,//是否根据３０１跳转可选项
AutoRedirectCookie = False,//是否自动处理Cookie 可选项
//CerPath = "d:\123.cer",//证书绝对路径可选项不需要证书时可以不写这个参数
//Connectionlimit = 1024,//最大连接数可选项默认为1024
Postdata = "",//Post数据可选项GET时不需要写
//ProxyIp = "192.168.1.105：2020",//代理服务器ID 可选项不需要代理时可以不设置这三个参数
//ProxyPwd = "123456",//代理服务器密码可选项
//ProxyUserName = "administrator",//代理服务器账户名可选项
ResultType = ResultType.String,//返回数据类型，是Byte还是String
};
HttpResult result = http.GetHtml(item);
string html = result.Html;
string cookie = result.Cookie;
/// <summary>
/// 字节数组生成图片
/// </summary>
/// <param name="Bytes">字节数组</param>
/// <returns>图片</returns>
private Image byteArrayToImage(byte[] Bytes)
{
MemoryStream ms = new MemoryStream(Bytes);
return Bitmap.FromStream(ms,true);
}

作者: shaokun 时间: 2022-4-27 08:27
HttpHelper http = new HttpHelper();
HttpItem item = new HttpItem()
{
URL = "https://baijiahao.baidu.com/s?id=1581837059629769930",//URL    必需项
Method = "GET",//URL    可选项默认为Get
Timeout = 100000,//连接超时时间    可选项默认为100000
ReadWriteTimeout = 30000,//写入Post数据超时时间    可选项默认为30000
IsToLower = false,//得到的HTML代码是否转成小写    可选项默认转小写
Cookie = "",//字符串Cookie    可选项
UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型，版本，操作系统    可选项有默认值
Accept = "text/html, application/xhtml+xml, */*",// 可选项有默认值
ContentType = "text/html",//返回类型可选项有默认值
Referer ="",//来源URL    可选项
Allowautoredirect = False,//是否根据３０１跳转    可选项
AutoRedirectCookie = False,//是否自动处理Cookie    可选项
//CerPath = "d:\123.cer",//证书绝对路径    可选项不需要证书时可以不写这个参数
//Connectionlimit = 1024,//最大连接数    可选项默认为1024
Postdata = "",//Post数据    可选项GET时不需要写
//ProxyIp = "192.168.1.105：2020",//代理服务器ID    可选项不需要代理时可以不设置这三个参数
//ProxyPwd = "123456",//代理服务器密码    可选项
//ProxyUserName = "administrator",//代理服务器账户名    可选项
ResultType = ResultType.String,//返回数据类型，是Byte还是String
};
HttpResult result = http.GetHtml(item);
string html = result.Html;
string cookie = result.Cookie;


      /// <summary>
      /// 字节数组生成图片
      /// </summary>
      /// <param name="Bytes">字节数组</param>
      /// <returns>图片</returns>
      private Image byteArrayToImage(byte[] Bytes)
      {
         MemoryStream ms = new MemoryStream(Bytes);
         return Bitmap.FromStream(ms,true);
      }

作者: 站长苏飞 时间: 2022-4-27 11:47

shaokun 发表于 2022-4-27 08:27
HttpHelper http = new HttpHelper();
HttpItem item = new HttpItem()
{

直接访问就行，你看看报的什么错，没有。还是说就是返回的空白

作者: 站长苏飞 时间: 2022-4-27 11:47
我看网址是https，可以把证书加上

作者: shaokun 时间: 2022-4-27 11:55
返回的html内容是空白。把证书加上，是该怎么加呀？

作者: 站长苏飞 时间: 2022-4-27 12:00
http://www.sufeinet.com/thread-10026-1-1.html

作者: shaokun 时间: 2022-4-27 12:11
加了证书，还是返回空。

现在很奇怪，在你的测试页面（http://tool.sufeinet.com/HttpHel ... 1581836954730157957），可以获取到内容。但是我把代码复制到程序中，就返回“”了。

版主，你用这个地址抓取，试试看
https://baijiahao.baidu.com/s?id=1581836954730157957

作者: 站长苏飞 时间: 2022-4-27 18:06

shaokun 发表于 2022-4-27 12:11
加了证书，还是返回空。

我测试过了是正常的，应该是和环境有关系的。设置一个ssl版本看看

欢迎光临苏飞论坛 (http://www.sufeinet.com/)