http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: 站长苏飞

[反馈建议] 关于Httphelper类的建议调查

 关闭 [复制链接]
抢楼 抢楼 本帖为抢楼帖,欢迎抢楼! 
发表于 2013-4-10 16:33:34 | 显示全部楼层
......


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2013-4-10 22:14:00 | 显示全部楼层
难得好贴,赞一个,继续努力啊
回复

使用道具 举报

发表于 2013-4-19 23:48:24 | 显示全部楼层
建议支持gzip、deflate解压缩。
回复

使用道具 举报

 楼主| 发表于 2013-4-20 08:29:40 | 显示全部楼层
sinoap 发表于 2013-4-19 23:48
建议支持gzip、deflate解压缩。

已经支持了
回复

使用道具 举报

发表于 2013-6-8 10:59:44 | 显示全部楼层
是否可以把证书文件 镶嵌到资源文件里去 调用
回复

使用道具 举报

 楼主| 发表于 2013-6-8 11:00:50 | 显示全部楼层
coody 发表于 2013-6-8 10:59
是否可以把证书文件 镶嵌到资源文件里去 调用

可以
回复

使用道具 举报

发表于 2013-6-8 13:40:56 | 显示全部楼层
有的网站做了 gzip 验证 如果没有加这个 会自动返回 503  。希望 改进下。
request.Headers.Add("Accept-Encoding", "gzip,deflate,sdch");
还有可以加入 超时处理,如果网页超时 是否重新加载。重新加载次数阀值。
还可以加入自动获取抓取页的 资料并下载到本地的功能。
还可以加入 各种资源 的处理 例如 下载 图片。等
还可以加入 对网页元素的。处理。 取网页某个元素。取网页某个属性, 类似Jquery
还可以加入 ...
以上 本人都已经实现。 希望斑竹能做的更好。
回复

使用道具 举报

 楼主| 发表于 2013-6-8 22:23:22 | 显示全部楼层
qq576733600 发表于 2013-6-8 13:40
有的网站做了 gzip 验证 如果没有加这个 会自动返回 503  。希望 改进下。
request.Headers.Add("Accept-E ...

有的网站做了 gzip 验证 如果没有加这个 会自动返回 503  。希望 改进下。
request.Headers.Add("Accept-Encoding", "gzip,deflate,sdch");
你这个在Header可以自己设置,我的HttpItem参数类里面有Header这个参数的。
希望你看看教程和我的类


还有可以加入 超时处理,如果网页超时 是否重新加载。重新加载次数阀值。
超时处理是指什么?
重试的这个我其实是打算加的,因为这个可以通过编程自己解决

还可以加入自动获取抓取页的 资料并下载到本地的功能。
这个本身就是抓取的Html或者是Byte,可以自行保存

还可以加入 各种资源 的处理 例如 下载 图片。等
这个功能本身就有,你要记得先看教程
还可以加入 对网页元素的。处理。 取网页某个元素。取网页某个属性, 类似Jquery
这个Jquery,或者是正则做的很好了,没必要有点跑题了。
类意在通用性,而不是加一些繁重的功能,
如果这些都要加的话确实很多,下载图片,识别,分析网页,等会有好多,但是这和Http请求是不是就没有任何关系了,
我的类意在做Http请求方向,而不是数据分析和处理。所以希望你能明白。
这些都是请求之前,和请求之后需要做的工作,只要不是影响请求的基本上都不能加进去的。
因为那样太多了,每个人的需要是不一样的,怎么加也加不完的。所以只要提供一个请求类就OK了,具体要怎么处理数据,怎么解析分析,要靠大家自己发挥,我尽量提供解决方案。
最后感谢你对我的类的支持。
我会一如既往的研究下去


回复

使用道具 举报

发表于 2013-6-12 23:25:54 | 显示全部楼层
要是能加入一个格式化cookie的功能就好了。。
回复

使用道具 举报

 楼主| 发表于 2013-6-13 08:02:35 | 显示全部楼层
Monn 发表于 2013-6-12 23:25
要是能加入一个格式化cookie的功能就好了。。

注册 看教程,已经有这样一个类了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-15 01:20

© 2014-2021

快速回复 返回顶部 返回列表