http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4925|回复: 9

[HttpHelper] 飞哥,有个网站访问一直提示"基础连接已经关闭: 接收时发生错误。"

[复制链接]
发表于 2019-5-4 18:24:06 | 显示全部楼层 |阅读模式
网站:www.footlocker.com方法:Get
代码:
sfitem = new HttpItem()
                {
                    URL = sfUrls,//URL这里都是测试     必需项
                    Method = "GET",//URL     可选项 默认为Get
                    IsReset = true,
                    Host = "www.footlocker.com",
                    UserAgent = sUserAgent,//用户的浏览器类型,版本,操作系统     可选项有默认值
                };
                sfitem.Header.Add("Upgrade-Insecure-Requests", "1");
                // 得到HTML代码
                sfresult = sfhttp.GetHtml(sfitem);
                if (sfresult.StatusCode != (System.Net.HttpStatusCode)200) // 判断返回页面状态



用的是框架最新版。


如果用默认的UserAgent,则不提示这个信息,返回状态也是正确的,但是就是没有返回值。


如果用自定义的UserAgent,则提示"基础连接已经关闭: 接收时发生错误。"


飞哥受累给看一下?谢谢


P.S。
我用的.net 4.5.2把框架重新编译了一下。程序用的是.net 4.5.2







1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2019-5-5 09:35:28 | 显示全部楼层
htts的加个证书试试
 楼主| 发表于 2019-5-6 21:41:26 | 显示全部楼层
不行啊,加了证书一样提示"基础连接已经关闭: 接收时发生错误。"
 楼主| 发表于 2019-5-6 21:41:52 | 显示全部楼层
站长苏飞 发表于 2019-5-5 09:35
htts的加个证书试试

不行啊,加了证书一样提示"基础连接已经关闭: 接收时发生错误。"
 楼主| 发表于 2019-5-6 22:26:03 | 显示全部楼层
站长苏飞 发表于 2019-5-5 09:35
htts的加个证书试试

飞哥,你这个2.3.4更新的有问题啊。。。。我换了原来的2.2就没有问题了。。。。你要不要再受累看一下你更新的部分??
 楼主| 发表于 2019-5-6 22:31:00 | 显示全部楼层
站长苏飞 发表于 2019-5-5 09:35
htts的加个证书试试

补充一个问题,这个页面只有用默认的UserAgent能访问,自定义的都不行。但是浏览器用一模一样的UserAgent访问就可以。所以我有点怀疑咱们的这个UserAgent的设置也多少存在一些跟浏览器不一致的地方。能否改进一下?
发表于 2019-5-8 17:56:57 | 显示全部楼层
这个没有改动,应该不是一个原因影响的,我得空了看看
 楼主| 发表于 2019-5-8 20:35:21 | 显示全部楼层
站长苏飞 发表于 2019-5-8 17:56
这个没有改动,应该不是一个原因影响的,我得空了看看

更新后这个返回空白的问题肯定是有了,因为还原到2.2就正常了。
第二个问题可以抽空看一下。
发表于 2019-5-9 08:08:51 | 显示全部楼层
好的,谢谢
回复

使用道具 举报

发表于 2019-5-9 08:40:12 | 显示全部楼层
HttpHelper万能框架修复V2.3.4版本某些网站返回内容空白的Bug
http://www.sufeinet.com/thread-32362-1-1.html
(出处: 苏飞论坛)
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-4-26 16:19

© 2014-2021

快速回复 返回顶部 返回列表