[C#爬虫程序请求过多报异常]

bianxinhuan

以下是主要的异常:
2013/9/27 10:44:35 无法连接到远程服务器
2013/9/27 10:46:07 无法连接到远程服务器
2013/9/27 10:46:18 无法连接到远程服务器
2013/9/27 10:46:45 无法连接到远程服务器
2013/9/27 10:47:52 无法连接到远程服务器
2013/9/27 10:48:13 无法连接到远程服务器
2013/9/27 10:49:10 远程服务器返回错误: (502) 错误的网关。
2013/9/27 10:51:24 远程服务器返回错误: (502) 错误的网关。
2013/9/27 10:54:25 远程服务器返回错误: (502) 错误的网关。
2013/9/27 10:54:37 基础连接已经关闭: 连接被意外关闭。
2013/9/27 10:54:42 操作超时
2013/9/27 11:21:14 基础连接已经关闭: 接收时发生错误。

从一个网站请求10万条数据,但有一些少量数据报异常,不知道为什么呢?

站长苏飞

请求的网址一样吗？就是URl完全 一样吗？如果不一样有可能是有些页面限制，或者是暂时无法访问

统计一下不能访问的次数10万如果出次了百十次我感觉是正常情况

bianxinhuan

站长苏飞 发表于 2013-9-27 11:26
请求的网址一样吗？就是URl完全 一样吗？如果不一样有可能是有些页面限制，或者是暂时无法访问

统计一下 ...

网址是一样的,但是参数不一样,因为要先取分页的数据再从每页中取出最终数据.十万有个百十条正常吗,那怎么样能解决这个问题呢,因为要求与它网站上的数据一致.

站长苏飞

参数不一样就有可能是网页真的访问不了，你存储一下错误的网页然后检查一下都是什么错误，
这样才能排除。
这说不好的，说不定就是因为你访问的太快，或者是参数组织的某个页面就是不存在，或者是数据不存在报的错，这与用不用线程，没有关系，关键是看这个错误是怎么产生的。你先记录下下分析分析看看原因是什么。

bianxinhuan

{:soso__12156366109601993327_5:}那只能这样了,谢谢