订阅更新设为首页收藏本站
苏飞论坛广告位

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

分布式系统框架(V1.3) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程 - 订阅更新

HttpHelper万能框架(V2.1) HttpHelper官方出品,无敌框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V1.8) 最牛的爬虫类,没有爬不到只有想不到 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 581|回复: 11

[HttpHelper] httphelper多线程访问同时执行数上限无法突破

[复制链接]
  • TA的每日心情
    难过
    2017-6-9 07:44
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2017-6-8 22:50:25 | 显示全部楼层 |阅读模式
    好像系统只能同时执行几十个http访问,我希望能一秒钟能完成1000次http post访问,代码如下:

    [C#] 纯文本查看 复制代码
     public void Start(object i)
        {
            HttpHelper hh = new HttpHelper();
            HttpItem hi = new HttpItem();
            hi.URL = "http://10086.cn/";
            hi.Timeout = 1000;
            hi.Connectionlimit = 512;
            hi.KeepAlive = true;
            hi.Encoding = Encoding.UTF8;
            HttpResult hr = hh.GetHtml(hi);
        }
        static Semaphore semahoro = new Semaphore(40, 3000);//同时运行40个访问设置的太高了反而慢了
        static void Main(string[] args)
        {
            Program p = new Program();
            int index1 = 0;
            DateTime st = DateTime.Now;
            while (st.AddMinutes(3) > DateTime.Now)
            {
                index1++;
                semahoro.WaitOne();
                Thread thread = new Thread(new ParameterizedThreadStart(p.Start));
                thread.Start();
                Console.SetCursorPosition(0, 8);
                Console.Write((double)(DateTime.Now - st).TotalSeconds / (double)180 * 100 + "%                      ");
            }
            TimeSpan us = DateTime.Now - st;
            Console.SetCursorPosition(0, 6);
            Console.Write("用时:" + us.ToString() + "共执行:" + index1);
        }

  • TA的每日心情
    开心
    昨天 09:47
  • 签到天数: 340 天

    [LV.8]以坛为家I

    发表于 2017-6-9 08:24:55 | 显示全部楼层
    没明白什么意思。再说的具体点
  • TA的每日心情
    难过
    2017-6-9 07:44
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2017-6-9 16:04:01 | 显示全部楼层
    站长苏飞 发表于 2017-6-9 08:24
    没明白什么意思。再说的具体点

    就是多线程访问指定网址咯,线程开得多反而慢,像代码里设置的同时40次访问就比较正常,但是还是太少了,不满足我的要求,带宽和cpu都还没用到顶,所以不知道是什么原因限制了无法开更多的线程
  • TA的每日心情
    开心
    昨天 09:47
  • 签到天数: 340 天

    [LV.8]以坛为家I

    发表于 2017-6-9 16:16:02 | 显示全部楼层
    jlcool 发表于 2017-6-9 16:04
    就是多线程访问指定网址咯,线程开得多反而慢,像代码里设置的同时40次访问就比较正常,但是还是太少了, ...

    这个原因不好说,有网站自身原因,也有程序写法上的性能问题,建议直接使得百度网址测试。其他网址不好说会不会有限制。
  • TA的每日心情
    难过
    2017-6-9 07:44
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2017-6-11 09:42:52 | 显示全部楼层
    站长苏飞 发表于 2017-6-9 16:16
    这个原因不好说,有网站自身原因,也有程序写法上的性能问题,建议直接使得百度网址测试。其他网址不好说 ...

    程序就是上面那个,网站问题也不大,因为程序多开几个就可以增加双倍的访问量,但是开太多到cpu满了就上不去了
  • TA的每日心情
    开心
    昨天 09:47
  • 签到天数: 340 天

    [LV.8]以坛为家I

    发表于 2017-6-12 09:02:08 | 显示全部楼层
    jlcool 发表于 2017-6-11 09:42
    程序就是上面那个,网站问题也不大,因为程序多开几个就可以增加双倍的访问量,但是开太多到cpu满了就上 ...

    多线程,情况下,网速,贷款,并发数,内存等都有可能是问题。这个需要具体问题具体分析
  • TA的每日心情
    难过
    2017-6-9 07:44
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2017-9-9 22:46:24 | 显示全部楼层
    站长苏飞 发表于 2017-6-12 09:02
    多线程,情况下,网速,贷款,并发数,内存等都有可能是问题。这个需要具体问题具体分析

    阿里云 16核 32G 20M带宽,5分钟跑100w访问,开20g程序,每个并发150,有连接服务器超时,等等一系列问题
  • TA的每日心情
    开心
    昨天 09:47
  • 签到天数: 340 天

    [LV.8]以坛为家I

    发表于 2017-9-11 10:44:34 | 显示全部楼层
    jlcool 发表于 2017-9-9 22:46
    阿里云 16核 32G 20M带宽,5分钟跑100w访问,开20g程序,每个并发150,有连接服务器超时,等等一系列问题

    这个已经超出了程序自维护的范围了,需要增加重试,
  • TA的每日心情
    难过
    2017-6-9 07:44
  • 签到天数: 1 天

    [LV.1]初来乍到

     楼主| 发表于 2017-9-12 18:38:32 | 显示全部楼层
    站长苏飞 发表于 2017-9-11 10:44
    这个已经超出了程序自维护的范围了,需要增加重试,

    什么是自维护范围,现在是出现问题就重新访问,效率低了一点
  • TA的每日心情
    开心
    昨天 09:47
  • 签到天数: 340 天

    [LV.8]以坛为家I

    发表于 2017-9-13 08:38:31 | 显示全部楼层
    jlcool 发表于 2017-9-12 18:38
    什么是自维护范围,现在是出现问题就重新访问,效率低了一点

    请求量大。限制是请求的网站本身,不是程序的问题,想彻底解决需要自己设计解决方案,比如当失败时加个重试等
    您需要登录后才可以回帖 登录 | 马上注册

    本版积分规则

    QQ |手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备17001017号-1)    

    GMT+8, 2017-9-25 01:47

    © 2016-2017


    快速回复 返回顶部 返回列表