c#并发爬虫，双线程，双ip代理，每秒钟都爬不到一个

Amy

Daniel(916365312) 11:48:34 各位大侠，我有个c#并发爬虫，双线程，双ip代理，但是还是有性能瓶颈，每秒钟都爬不到一个，。netframework 的默认链接最大值已设512，但是就是跑不快，有啥原因呢？

Daniel() 11:48:53

舒洋() 11:49:10 跟踪一下卡在什么环节

Daniel() 11:49:35 不觉得卡在什么环节啊。

Daniel() 11:49:43 没报错啊

♂cyberarmy() 11:51:00 直接 Parallel.For

Daniel() 11:51:38 parallel.for真心没试过。

Daniel() 11:51:53 我是task[]来做的。

Daniel() 11:52:35 我看书说parallel.for 是数据密集型的时候用的，

舒洋() 11:52:38 1秒一个，网站本身访问就慢吧，传递协议什么的都有损耗

舒洋() 11:52:58 用proxy也有时间损耗

Daniel() 11:53:15 我用3个http供应商来同时down，

Daniel() 11:53:31

Daniel() 11:59:20 并发18个才有一秒2个的效果，

Daniel() 12:00:22 而且很多http商都说并发不限制，但是用同一个http商的时候，就更慢了。

竹林风

我只是路过打酱油的。

站长苏飞

我只是路过打酱油的。

范范

强烈支持楼主ing……