http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 3606|回复: 4

[学生提问] 求助,老大,为什么爬虫百度的被重置了?

[复制链接]
发表于 2015-6-22 22:40:10 | 显示全部楼层 |阅读模式
1金钱
我用苏飞开发助手。是这样的:
我自己用类结果下载下来的页面是百度首页。
    public class GetUrltoHtml
    {
        protected static HttpHelper http = new HttpHelper();
        protected static string url = "https://www.baidu.com/s?wd=";
        public GetUrltoHtml(string keys)
        {
            url = url + keys;
        }
        protected static HttpItem item = new HttpItem()
        {
            URL = url,//URL     必需项   
            Method = "get",//URL     可选项 默认为Get   
            IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
            Cookie = "",//字符串Cookie     可选项   
            Referer ="",//来源URL     可选项   
            Postdata = "",//Post数据     可选项GET时不需要写   
            Timeout = 100000,//连接超时时间     可选项默认为100000   
            ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
            UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型,版本,操作系统     可选项有默认值   
            ContentType = "text/html",//返回类型    可选项有默认值   
            Allowautoredirect = true,//自动跳转
            //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
            //Connectionlimit = 1024,//最大连接数     可选项 默认为1024                    ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数   
            //ProxyPwd = "123456",//代理服务器密码     可选项   
            //ProxyUserName = "administrator",//代理服务器账户名     可选项   
        };

苏飞开发助手

苏飞开发助手

下载的百度页面

下载的百度页面

配置

配置


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2015-6-22 23:14:45 | 显示全部楼层
是我的IP 已经被屏蔽了吗?
回复

使用道具 举报

 楼主| 发表于 2015-6-23 20:08:15 | 显示全部楼层
WebBrowser
关键就在Cookies  不带就会很容易被发现异常搜索
。哈哈 已解决!   Bing 和百度都可以秒
回复

使用道具 举报

 楼主| 发表于 2015-6-23 20:08:41 | 显示全部楼层
谢谢苏大大专程QQ联系我~~哈哈  就是NB
回复

使用道具 举报

发表于 2015-6-24 09:48:35 | 显示全部楼层
开启跳转,百度不知道,GOOGLE是要开启跳转
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-5-2 17:36

© 2014-2021

快速回复 返回顶部 返回列表