http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: 站长苏飞

[反馈建议] 关于Httphelper类的建议调查

 关闭 [复制链接]
抢楼 抢楼 本帖为抢楼帖,欢迎抢楼! 
发表于 2013-6-13 10:29:11 | 显示全部楼层
站长苏飞 发表于 2013-6-13 08:02
注册 看教程,已经有这样一个类了

我知道有那个cookiehelper,我的意思是要是写入主类中,用的时候设置一下开启的开关就行了,要是这样多好啊。。嘿嘿。。


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

 楼主| 发表于 2013-6-13 10:33:46 | 显示全部楼层
Monn 发表于 2013-6-13 10:29
我知道有那个cookiehelper,我的意思是要是写入主类中,用的时候设置一下开启的开关就行了,要是这样多好 ...

这个暂时还是先不加吧。毕竟这是分析Cookie,与Http请求关没有太大关系,Httphelper就是一个类,代码量有人限制,不能过于沉重,我尽量多给大家提供解决方案,如果以后技术上有突破一定加进来
回复

使用道具 举报

发表于 2013-8-8 13:23:42 | 显示全部楼层
建议增加设置header信息
回复

使用道具 举报

 楼主| 发表于 2013-8-8 20:51:23 | 显示全部楼层
leenkon 发表于 2013-8-8 13:23
建议增加设置header信息

教程里不是有吗,这是最基本的,肯定有,不要叫教程都不看,
回复

使用道具 举报

发表于 2013-9-5 22:48:46 | 显示全部楼层
谢谢提供,继续努力!
回复

使用道具 举报

发表于 2013-9-29 16:42:11 | 显示全部楼层
调用HttpWebResponse res = (HttpWebResponse)req.GetResponse();
有的时候会假死。
需要改进一下。
网上有对应的信息。
回复

使用道具 举报

 楼主| 发表于 2013-9-29 16:45:14 | 显示全部楼层
qq576733600 发表于 2013-9-29 16:42
调用HttpWebResponse res = (HttpWebResponse)req.GetResponse();
有的时候会假死。
需要改进一下。

HttpWebResponse res = (HttpWebResponse)req.GetResponse();  这个会假死和Htttphelper类无关吧,是网站反映问题,到了这一步就是在等网站反映了。

网上有你发一下网址过来我看看,我个人认为不可能,这一步了都是在等网站反映了
回复

使用道具 举报

发表于 2013-10-3 21:02:05 | 显示全部楼层
支持且崇拜站长。
感谢站长及各位坛友的无私奉献。
----------------------以上的确是发自肺腑的。
言归正传,类中(4.0以下):
                //request.CookieContainer = new CookieContainer();//此句多余?
                using (response = (HttpWebResponse)request.GetResponse())
上面那句好像是多余的?有了反而错误?
只是我个人测试,或有错误或不到,请谅。
回复

使用道具 举报

 楼主| 发表于 2013-10-6 14:29:55 | 显示全部楼层
cload 发表于 2013-10-3 21:02
支持且崇拜站长。
感谢站长及各位坛友的无私奉献。
----------------------以上的确是发自肺腑的。

不要随便下定论,这个如果不写在Cookie优集合里是不会有数据的,出错就是说明原因,或者是访问的那个网站,出的什么错,不一定是这里的问题吧,
我建议你再发个帖子说明下原因

回复

使用道具 举报

发表于 2013-10-6 14:58:52 | 显示全部楼层
站长苏飞 发表于 2013-10-6 14:29
不要随便下定论,这个如果不写在Cookie优集合里是不会有数据的,出错就是说明原因,或者是访问的那个网站 ...

不再重复发帖了。
请站长移步:http://www.sufeinet.com/forum.php?mod=viewthread&tid=5544
注释掉类中的那一句后就OK了。这种情况恐怕今后还会遇到,怎么处理呢?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-5-6 18:14

© 2014-2021

快速回复 返回顶部 返回列表