苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 14306|回复: 21

[HttpHelper] 求助站长!如何用httphelper抓取安卓手机app上的数据?

[复制链接]
发表于 2017-9-29 10:22:30 | 显示全部楼层 |阅读模式
最近在研究用httphelper抓取手机app上的数据。手机app上的包已经抓到,如下:
[C#] 纯文本查看 复制代码
GET /gw/mskst/1.0/?data=%7B%22ar22%D HTTP/1.1
x-features: 27
x-page-name: comr.SearchDoorActivity
x-location: 13.296554%2C43.272073
user-agent: MTO+5%29
x-ttid: 600sdl.2
cache-control: no-cache
a-orange-q: appKey=7845547&appVersion=8.2&clientAppIndexVersion=1020&clientVersionIndexVersion=1212813
x-appkey: 987
x-region-channel: CN
x-mini-wua: HHdakdjaksdjsjddahqwen3D
x-nq: WIFI
x-c-traceid: WZSKDJSKJD775
content-type: application/x-www-form-urlencoded;charset=UTF-8
x-app-conf-v: 17
x-app-ver: 6.11.2
x-t: 1506604802
x-pv: 5.1
f-refer: mtop
Cookie: v=0; cookie17=VyyZHiaiEtRZ
x-sid: 11982asdrewhhyfgfdg1d645fb463
x-nettype: WIFI
x-utdid: WZaksdjfhdsfsA3L2Zom
x-umt: ZVHVngWnPTSB0PZ5mOrLyIdW0b0bb1YL
x-devid: AuadsadsadOBWQuI
x-sign: ab20380040b7bfe1a9b4596897c1ca9e67023fc06d1e6acc55
x-page-url: http%3A%2F%2Fs.m.baidu.com%2Fh5entry
x-uid: 408104762
Host: guide-acs.m.baidu.com
Accept-Encoding: gzip
Connection: Keep-Alive




C#代码:
[C#] 纯文本查看 复制代码
HttpHelper httproot = new HttpHelper();
            HttpItem httpitemroot = new HttpItem
            {
                URL = "http://gw/mskst/1.0/?data=%7B%22ar22%D",
                Accept = "gzip",
                Method = "GET",
                ContentType = "application/x-www-form-urlencoded;charset=UTF-8",
                Host = "guide-acs.m.baidu.com",
                UserAgent = "MTO+5%29",
            };
            HttpResult resultroot = httproot.GetHtml(httpitemroot);
            MessageBox.Show(resultroot.Html);



但是运行的时候出错:提示:未能解析次远程名称:‘gw’



请问站长问题出在哪里?麻烦指点一下,谢谢了!


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2017-9-29 10:23:11 | 显示全部楼层
为了避免广告嫌疑,抓包的数据做了一定的模糊处理!
发表于 2017-9-29 11:07:44 | 显示全部楼层
不用担心广告问题,直接发出来吧,

要不然我也没法测试
目测是网址也的不对,gw,没有这样的域名吧
 楼主| 发表于 2017-9-29 11:48:04 | 显示全部楼层
站长苏飞 发表于 2017-9-29 11:07
不用担心广告问题,直接发出来吧,

要不然我也没法测试

我的这个代码有没有什么问题?

app抓包 上面就是/gw/开头的一些东西,我也感觉到很奇怪!
发表于 2017-9-29 11:56:39 | 显示全部楼层
越狱 发表于 2017-9-29 11:48
我的这个代码有没有什么问题?

app抓包 上面就是/gw/开头的一些东西,我也感觉到很奇怪!

那说明是没有抓到域名部分,只是相对路径
发表于 2017-9-29 11:57:09 | 显示全部楼层
guide-acs.m.baidu.com 域名应该是这个吧,你看看有个Host属性
 楼主| 发表于 2017-9-29 11:59:24 | 显示全部楼层
站长苏飞 发表于 2017-9-29 11:56
那说明是没有抓到域名部分,只是相对路径

20140224092059953.png

抓到的连接就是图中第一个/special/newsXXXXXXXXXXXXXXXXX的。相对路径前面加啥才可以?
 楼主| 发表于 2017-9-29 12:00:48 | 显示全部楼层
站长苏飞 发表于 2017-9-29 11:57
guide-acs.m.baidu.com 域名应该是这个吧,你看看有个Host属性

站长,你的意思是把域名:guide-acs.m.baidu.com放在相对路径的前面?就是
guide-acs.m.baidu.com/gw/XXXXXXXXXXXX的这种?
 楼主| 发表于 2017-9-29 12:06:59 | 显示全部楼层
站长苏飞 发表于 2017-9-29 11:57
guide-acs.m.baidu.com 域名应该是这个吧,你看看有个Host属性

站长,我把那个域名加上去了,但是没有抓到数据,提示缺少协议版本,是啥意思?哪里出了问题?再次请教一下!
发表于 2017-9-29 16:39:22 | 显示全部楼层
应该是Http协议版本没加上,你再看下抓到的包里面的协议用的那种。http://tool.sufeinet.com/HttpHelper.aspx这个可以在线测试,上面有Http协议版本的配置参数
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-27 04:06

© 2014-2021

快速回复 返回顶部 返回列表