【C#HttpHelper爬虫框架】源码购买帖子

站长苏飞

[C#] 纯文本查看 复制代码

            //1.设置所使用的解压缩类型
            //2.设置本地的出口ip和端口
            //3.解决A连接列表获取不准的Bug
            //4.将图片转为字节的方法
            //5.将字节数组为Base64编码
            //6.将字符串转为Base64编码
            //7.将Base64编码解析成字符串
            //8.FastRequest方法增加返回Cookie值

站长苏飞

更新版本V1.5    2015-03-06更新

[C#] 纯文本查看 复制代码

            //1.增加Put发送方式;
            //2.修复GetHtml()方法当出现50开头或者40开头状态码时报错的Bug
            //3.HttpItem代码层优化
            //4.增加302/301跳转时自动带Cookie的方法

详情请查看教程http://httphelper.sufeinet.com/Course.aspx

站长苏飞

  更新版本V1.4      
           //1.解决：服务器提交了协议冲突. Section=ResponseHeader Detail=标头名称无效 具体看Web.config的配置串
            //2.新增FastRequest返回Header信息
            //3.修复RedirectUrl在Location大写L的情况下获取不到跳转Url的问题
            //4.http://www.digitalwuhan.gov.cn/访问这个页面时获取A链接列表卡死是正则问题
            //5.增加获取最后访问的URl result.ResponseUri = response.ResponseUri.ToString();



详情请查看教程http://httphelper.sufeinet.com/Course.aspx

站长苏飞

            1.解决【提取Html字符串中两字符之间的数据】永久为空的Bug  
            2.增加提取的A链接的类型（图片，文本）
            3.将类ExceJsHelper更名为ExecJsHelper
            4.优化在Http返回错误状态下也能获取Html内容



详情请查看教程http://httphelper.sufeinet.com/Course.aspx

站长苏飞

            1.增加提取Html字符串中两字符之间的数据
            2.修复GetData方法报异常的Bug  http://www.sufeinet.com/thread-10186-1-1.html
            3.增加将字符串转为字节数组
            4.增加将字节数组转为字符串
            5.增加将字节数组转为图片
            6.取消【为Com互操作注册】，因为有些电脑需要管理员身份
            7.增加提取Title
            8.增加提取网站主机部分就是host
            9.增加提取网址对应的IP地址

详情请查看教程http://httphelper.sufeinet.com/Course.aspx

站长苏飞

            1.增加执行Js的方法
            2.单个证书增加带密码功能
            3.修复设置多个证书时必须先设置单个证书的路径，而单个证书又没有办法设置密码，所以造成无法给证书带密码的问题
            4.修复Cookie为Null时，Cookie精简化方法报错的问题
详情请查看教程http://httphelper.sufeinet.com/Course.aspx

站长苏飞

第一版源码已发布
版本号：V1.0
.NET环境：4.0
更新功能有

---

• GET请求
• POST字符串数据
• POST字节数组
• POST文件数据
• POST请求时设置编码
• 获取URL重定向（302，301）后的URL网址
• 获取状态码（StatusCode）和状态描述（StatusDescription）
• 如何设置请求头信息（Header）
• 如何获取响应头信息（Header）
• 如果设置来路URL（Referer）
• 字符串Cookie使用方法
• CookieCollection类型Cookie使用方法
• 获取精简字符串Cookie
• 字符串Cookie转为CookieCollection类型Cookie
• CookieCollection类型Cookiel转为字符串Cookie
• 获取图片验证码
• 带有证书的网站请求方法
• 为Http请求设置代理IP
• 将URL的参数部分转为NameValueCollection集合
• 解码，还原URL（URLDecode）/转码、编码URL（URLEncode）
• 使用MD5（32位）加密字符串
• 将指定的Json字符串转为指定的T类型对象
• 将指定的T类型对象转为Json字符串
• 获取所有的A链接并生成List对象（href、text链接文本，html整个标签）
• 获取所有的Img（图片）对象（src、img、Html整个标签）并生成List对象
• 过滤所有的html标签
• 过滤所有的换行符号
• 极速请求方法FastRequest（极速请求不接收数据）
  

时间比紧，大家有如果发现有什么Bug还希望在讨论区提一下