- 积分
- 40165
- 好友
- 记录
- 主题
- 帖子
- 听众
- 收听
|
楼主 |
发表于 2013-6-8 22:23:22
|
显示全部楼层
有的网站做了 gzip 验证 如果没有加这个 会自动返回 503 。希望 改进下。
request.Headers.Add("Accept-Encoding", "gzip,deflate,sdch");
你这个在Header可以自己设置,我的HttpItem参数类里面有Header这个参数的。
希望你看看教程和我的类
还有可以加入 超时处理,如果网页超时 是否重新加载。重新加载次数阀值。
超时处理是指什么?
重试的这个我其实是打算加的,因为这个可以通过编程自己解决
还可以加入自动获取抓取页的 资料并下载到本地的功能。
这个本身就是抓取的Html或者是Byte,可以自行保存
还可以加入 各种资源 的处理 例如 下载 图片。等
这个功能本身就有,你要记得先看教程
还可以加入 对网页元素的。处理。 取网页某个元素。取网页某个属性, 类似Jquery
这个Jquery,或者是正则做的很好了,没必要有点跑题了。
类意在通用性,而不是加一些繁重的功能,
如果这些都要加的话确实很多,下载图片,识别,分析网页,等会有好多,但是这和Http请求是不是就没有任何关系了,
我的类意在做Http请求方向,而不是数据分析和处理。所以希望你能明白。
这些都是请求之前,和请求之后需要做的工作,只要不是影响请求的基本上都不能加进去的。
因为那样太多了,每个人的需要是不一样的,怎么加也加不完的。所以只要提供一个请求类就OK了,具体要怎么处理数据,怎么解析分析,要靠大家自己发挥,我尽量提供解决方案。
最后感谢你对我的类的支持。
我会一如既往的研究下去
|
|