http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 3952|回复: 5

[HttpHelper] 求助,多线程的访问

[复制链接]
发表于 2015-4-20 10:14:39 | 显示全部楼层 |阅读模式
1金钱
本帖最后由 afgdxgood 于 2015-4-20 10:16 编辑

写了个程序,登陆之后,多线程的去访问同一个页面,如果内容包含自己想要的数据,就保存起来,可是 总是有404 的问题,是不是我代码有问题啊
public void fun()
        {
            while (true)
            {
                HttpItem item = new HttpItem()
                {
                    URL = "https://gengo.com/t/jobs/",
                    Cookie = cookie
                };

                HttpResult result = http.GetHtml(item);
                lock (DataClass.dt)
                {
                    dr[2] = result.Html;
                    dr["上次访问时间"] = DateTime.Now.ToString();
                    if (dr[3].ToString() == "无")
                    {
                        if (result.Html.Contains("Details<"))
                        {
                            if (result.Html.Contains("0.08"))
                            {
                                dr[3] = " \r\n有一条新的pro任务";
                            }
                            else
                            {
                                dr[3] = " \r\n有一条新的str任务";
                            }
                        }
                    }
                }

                Thread.Sleep(1000);
            }
        }
QQ截图20150420101658.png



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2015-4-20 12:29:23 | 显示全部楼层
访问频率放低就好。
回复

使用道具 举报

发表于 2015-4-20 15:04:35 | 显示全部楼层
http的问题 多线程访问的时候 第一个请求可以正常过 马上第二个线程中的请求 就会404或者post时 提示 协议冲突。 以前我也碰到过,后来换了一种http 好了
回复

使用道具 举报

 楼主| 发表于 2015-4-20 16:10:54 | 显示全部楼层
testbbs1991 发表于 2015-4-20 15:04
http的问题 多线程访问的时候 第一个请求可以正常过 马上第二个线程中的请求 就会404或者post时 提示 协议 ...

换一种http 是啥意思啊?
回复

使用道具 举报

发表于 2015-6-14 12:58:44 | 显示全部楼层
刷新太快被BLOCK了吧!
回复

使用道具 举报

发表于 2015-6-16 10:10:53 | 显示全部楼层
访问过快了 应该 没封你IP都是好事了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-5-6 01:06

© 2014-2021

快速回复 返回顶部 返回列表