分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.3-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

楼主: 站长苏飞

[发布] 【C#HttpHelper爬虫框架】源码购买帖子

 关闭 [复制链接]
 楼主| 发表于 2016-5-24 17:43:27 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
            //1.优化自动识别编码功能 完成
            //2.ByteToBase64修改方法名为ByteToBase64 完成
 楼主| 发表于 2016-2-22 15:19:44 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
[C#] 纯文本查看 复制代码
 [list=1]
[*] 优化自动识别编码功能
[*]轻量化框架
[/list]

 楼主| 发表于 2015-12-8 13:36:50 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
优化方法HttpUrlHelper.GetUrlHost() 已修复
 楼主| 发表于 2015-10-27 16:06:40 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
1.将获取的URl重定向地址取消自动转小写操作  已修复。
2.优化代码结构
3.更新默认配置信息更适合开发者
 楼主| 发表于 2015-7-20 09:00:20 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
[C#] 纯文本查看 复制代码
            //1.设置所使用的解压缩类型
            //2.设置本地的出口ip和端口
            //3.解决A连接列表获取不准的Bug
            //4.将图片转为字节的方法
            //5.将字节数组为Base64编码
            //6.将字符串转为Base64编码
            //7.将Base64编码解析成字符串
            //8.FastRequest方法增加返回Cookie值
 楼主| 发表于 2015-5-13 08:54:08 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
[C#] 纯文本查看 复制代码
            //1.设置所使用的解压缩类型
            //2.设置本地的出口ip和端口
            //3.解决A连接列表获取不准的Bug
            //4.将图片转为字节的方法
            //5.将字节数组为Base64编码
            //6.将字符串转为Base64编码
            //7.将Base64编码解析成字符串
            //8.FastRequest方法增加返回Cookie值
 楼主| 发表于 2015-3-6 11:48:05 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
更新版本V1.5    2015-03-06更新
[C#] 纯文本查看 复制代码
            //1.增加Put发送方式;
            //2.修复GetHtml()方法当出现50开头或者40开头状态码时报错的Bug
            //3.HttpItem代码层优化
            //4.增加302/301跳转时自动带Cookie的方法



详情请查看教程http://httphelper.sufeinet.com/Course.aspx
 楼主| 发表于 2015-1-19 10:04:44 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
  更新版本V1.4      
           //1.解决:服务器提交了协议冲突. Section=ResponseHeader Detail=标头名称无效 具体看Web.config的配置串
            //2.新增FastRequest返回Header信息
            //3.修复RedirectUrl在Location大写L的情况下获取不到跳转Url的问题
            //4.http://www.digitalwuhan.gov.cn/访问这个页面时获取A链接列表卡死是正则问题
            //5.增加获取最后访问的URl result.ResponseUri = response.ResponseUri.ToString();



详情请查看教程http://httphelper.sufeinet.com/Course.aspx

 楼主| 发表于 2014-11-24 08:53:10 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
            1.解决【提取Html字符串中两字符之间的数据】永久为空的Bug  
            2.增加提取的A链接的类型(图片,文本)
            3.将类ExceJsHelper更名为ExecJsHelper
            4.优化在Http返回错误状态下也能获取Html内容



详情请查看教程http://httphelper.sufeinet.com/Course.aspx
 楼主| 发表于 2014-10-25 20:57:45 | 显示全部楼层
找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里联系我
            1.增加提取Html字符串中两字符之间的数据
            2.修复GetData方法报异常的Bug  http://www.sufeinet.com/thread-10186-1-1.html
            3.增加将字符串转为字节数组
            4.增加将字节数组转为字符串
            5.增加将字节数组转为图片
            6.取消【为Com互操作注册】,因为有些电脑需要管理员身份
            7.增加提取Title
            8.增加提取网站主机部分就是host
            9.增加提取网址对应的IP地址

详情请查看教程http://httphelper.sufeinet.com/Course.aspx
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备17001017号-1)

GMT+8, 2021-10-23 13:49

© 2014-2021

快速回复 返回顶部 返回列表