http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 2946|回复: 0

[HttpHelper] 模拟GET数据问题求助

[复制链接]
发表于 2015-11-25 14:31:51 | 显示全部楼层 |阅读模式
通过抓包抓取正常的网页的Raw stream如下
GET /business/?action=queryUserDesktopInfo&operatorId=100005873765 HTTP/1.1
Accept: */*
Referer: http://10.96.24.123/webframe/shdesktopui/Desktop.jsp
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)
Host: 10.96.24.123
Connection: Keep-Alive
Cookie: AlteonP=EZicLHsYYArHuOtjsLMgPg$$; JSESSIONID=0000eWMX7zOGRETT3fdgcuq1t4P:-1; USERINFO_ATTR=AppframeSerial_10037; _BelongedSrvId=channel-web-inst1-node2-srv



我通过软件模拟发出的Raw stream如下:
GET /business/?action=queryUserDesktopInfo&operatorId=100005873765 HTTP/1.1
Accept-Encoding: gzip, deflate
Accept: */*
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)
Cookie: AlteonP=EZicLHsYYArHuOtjsLMgPg$$; JSESSIONID=0000eWMX7zOGRETT3fdgcuq1t4P:-1; USERINFO_ATTR=AppframeSerial_10037; _BelongedSrvId=channel-web-inst1-node2-srv
Referer: http://10.96.24.123/webframe/shdesktopui/Desktop.jsp
Host: 10.96.24.123
Connection: Keep-Alive


看起来除了请求项目顺序不一样,其他信息都一模一样,但模拟的却无法获取正确的内容。
QQ图片20151125142754.png

图1是正常的返回内容,图2是软件模拟返回的内容。正常多了chunked,gzip,且返回内容乱码,应该是有gzip压缩。但模拟返回的内容直接返回的是xml内容,但不是想要的数据。问题出在哪,怎么样能像正常网页那样获取内容。一点思路都没,求助啊


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-23 21:32

© 2014-2021

快速回复 返回顶部 返回列表