Daniel(916365312) 11:48:34
各位大侠，我有个c#并发爬虫，双线程，双ip代理，但是还是有性能瓶颈，每秒钟都爬不到一个，。netframework 的默认链接最大值已设512，但是就是跑不快，有啥原因呢？
|
Daniel() 11:48:53
(, 下载次数: 184)
|
舒洋() 11:49:10
跟踪一下卡在什么环节
|
Daniel() 11:49:35
不觉得卡在什么环节啊。
|
Daniel() 11:49:43
没报错啊
|
♂cyberarmy() 11:51:00
直接 Parallel.For
|
Daniel() 11:51:38
parallel.for真心没试过。
|
Daniel() 11:51:53
我是task[]来做的。
|
Daniel() 11:52:35
我看书说parallel.for 是数据密集型的时候用的，
|
舒洋() 11:52:38
1秒一个，网站本身访问就慢吧，传递协议什么的都有损耗
|
舒洋() 11:52:58
用proxy也有时间损耗
|
Daniel() 11:53:15
我用3个http供应商来同时down，
|
Daniel() 11:53:31
(, 下载次数: 157)
|
Daniel() 11:59:20
(, 下载次数: 170)
|
Daniel() 12:00:22
而且很多http商都说并发不限制，但是用同一个http商的时候，就更慢了。
|