GetResponse() 请求越来越慢是咋回事？

haohack · 发表于 2021-10-1 21:00:58

不是说咱们的框架有问题，我自己封装的httpwebrequest也是越来越慢。我做的是一个友情链接爬虫，跟着网站提取友情链接，一直无限爬下去，例如我有10万个不重复的网址，启动100个线程爬行，一开始GetResponse()几百毫秒就能返回，几个小时以后就开始就要七八秒甚至十几秒才返回。

下面是我跑了几个小时后的调试时间：
QQ截图20211001205656.png

代码：

我想请教一下管理员或者其他牛逼的网友，为啥GetResponse()刚开始快，后面越来越慢？还是说是我什么地方弄的不对？

haohack · 发表于 2021-10-3 18:55:55

自己顶一下

haohack · 发表于 2021-10-4 17:22:58

自己顶一下

conntfs · 发表于 2021-11-20 17:00:06

帮你顶下

		自动登录	找回密码
密码			马上注册

[求助] GetResponse() 请求越来越慢是咋回事？