http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

12
返回列表 发新帖
楼主: 站长苏飞

[教程] 【HttpHelper万能框架教程】- GET请求

[复制链接]
发表于 2016-5-31 13:38:36 | 显示全部楼层
1、我一般把httphelper用在winform里,发送不管是get还是post的时候,需要异步进行的时候,总是太麻烦,需要自己去处理invoke,能否考虑在helper里添加上异步的http请求方式。
2、请求参数能不能采用httpparam键值对的方式发送,而不是用url查询字符串的方式来拼接,太麻烦了


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2017-1-13 00:02:01 | 显示全部楼层
楼主,在学习框架的时候碰到个编码的问题,请教一下。
SetEncoding.PNG 如上图所示,在Get方式请求http://httphelper.sufeinet.com/Course.aspx网页的时候,response的ContentType是UTF8,但采用系统默认编码(GBK)解析出来的字符串经过正则表达式匹配出来的却是GBK,按照代码实际运行的逻辑,最终会采用GBK去解析字节数组但得到的会中文乱码,如果使用ContentType的值UTF8去解析,则中文无乱码。
以下是3个问题,
1、啥时候会出现ContentType和解析出来字符串里面的编码不一致的情况呢?
2、楼主是基于什么考虑才不优先使用response里面的ContentType而是先采用系统默认编码去解析呢?
Web编程新手,所以问的问题可能有点浅,麻烦楼主了。
 楼主| 发表于 2017-1-13 08:14:09 | 显示全部楼层
FinalThorn 发表于 2017-1-13 00:02
楼主,在学习框架的时候碰到个编码的问题,请教一下。
如上图所示,在Get方式请求http://httphelper.sufei ...

这个没有什么实际规律,只是一个概率问题,像我这个网页的情况是因为在保存时修改了文件的编码,而我采用的是相信编辑器,因为使用正则取出来的是在文件新建时自己产生的。这个只要你不修改文件属性是不会变的,除非你故意修改,但这个概率很明显要比前者小的多,通过我爬虫得到的数据也是一样的结果,这个正确的概率要大的多。当然 会有一部分人想增加爬虫的难度故意修改,比如我上面的页面。当然 这都是少数,真有这样的手动修改一下就行了。
发表于 2021-4-27 15:34:56 | 显示全部楼层
jollytao 发表于 2015-11-16 20:00
求助站长:

前几天买了“HttpHelper万能框架”,并下载了其中的“CsharpHttpHelper_Demo”后, 测试“Ht ...

百度的首页做了自动跳转设置的
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-15 15:00

© 2014-2021

快速回复 返回顶部 返回列表