http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: 站长苏飞

[反馈建议] 关于Httphelper类的建议调查

 关闭 [复制链接]
抢楼 抢楼 本帖为抢楼帖,欢迎抢楼! 
发表于 2014-5-23 17:41:00 | 显示全部楼层
建议可以执行网页的JS文件


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

 楼主| 发表于 2014-5-23 17:43:41 | 显示全部楼层
cxg1228 发表于 2014-5-23 17:41
建议可以执行网页的JS文件

每个网页的Js不同,执行的方法也有所不同,这个要写出来一个引擎才行,这个需要长期而慢长的去研究啊。呵呵

这是以后的目标。
回复

使用道具 举报

无效楼层,该帖已经被删除
无效楼层,该帖已经被删除
发表于 2014-8-25 09:40:14 | 显示全部楼层
Httphelper返回的cookie只包含response,没有包含request的,这样重定向的cookie可能不会包含进去,有的网站登录可能会有问题,楼主可以拿拍拍贷登录做测试。
回复

使用道具 举报

发表于 2014-10-6 19:04:58 | 显示全部楼层
希望能加上异步的功能,我做了个顶贴机,开大概30个线程,1秒钟大概只能回复一个,速度有点慢
回复

使用道具 举报

发表于 2014-12-5 11:23:39 | 显示全部楼层
楼主好!我是用1.4.6版本的,在获取下载附件流的时候,发现一个异常
aaa.jpg
回复

使用道具 举报

 楼主| 发表于 2014-12-5 11:30:54 | 显示全部楼层
zengxiansheng 发表于 2014-12-5 11:23
楼主好!我是用1.4.6版本的,在获取下载附件流的时候,发现一个异常

应该不是这个问题,这个是一次读这么多,不是只读这么多,你可以改改试试看看情况
回复

使用道具 举报

发表于 2014-12-5 11:45:08 | 显示全部楼层
站长苏飞 发表于 2014-12-5 11:30
应该不是这个问题,这个是一次读这么多,不是只读这么多,你可以改改试试看看情况

感谢您的无私奉献,真是帮了我的大忙了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-5-6 10:00

© 2014-2021

快速回复 返回顶部 返回列表