苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: 越狱

[HttpHelper] 求助站长!如何用httphelper抓取安卓手机app上的数据?

[复制链接]
 楼主| 发表于 2017-9-30 00:22:26 | 显示全部楼层
站长苏飞 发表于 2017-9-29 16:39
应该是Http协议版本没加上,你再看下抓到的包里面的协议用的那种。http://tool.sufeinet.com/HttpHelper.as ...


站长,刚刚我也想到了是http协议版本的,不过在在线网站上测试了一下,还是出现的这个问题!

以下是app抓包的数据文件:
[C#] 纯文本查看 复制代码
GET /gw/mtop.taobao.wsearch.suggest/1.0/?data=%7B%22area%22%3A%22wireless%22%2C%22code%22%3A%22utf-8%22%2C%22q%22%3A%22%E7%94%B7%E9%9E%8B%22%2C%22tab%22%3A%22all%22%2C%22ttid%22%3A%22600000%40taobao_android_6.11.0%22%2C%22utd_id%22%3A%22WZfIL1AbavgDAPdplA3L2Zom%22%7D HTTP/1.1
x-features: 27
x-page-name: com.taobao.search.searchdoor.SearchDoorActivity
x-location: 113.296397%2C23.269209
user-agent: MTOPSDK%2F3.0.3.4+%28Android%3B5.1%3BMeizu%3BPRO+5%29
x-ttid: 600000%40taobao_android_6.11.0
cache-control: no-cache
a-orange-q: appKey=21646297&appVersion=6.11.0&clientAppIndexVersion=1120170929195629818&clientVersionIndexVersion=1220170925174532058
x-appkey: 21646297
x-region-channel: CN
x-mini-wua: HHnB_wNVzp7AAkoXOQJKy%2FIVr30j1oBdJZfRJDPAi%2BnUIU13e3%2BILe8VATLb9jY96BYflxVD1ZcmA9ZV3D3OzHXuSnDLNQhT%2FT5Ii7KT33YdB2RY%3D
x-nq: WIFI
x-c-traceid: WZfIL1AbavgDAPdplA3L2Zom15066863204380022113600
content-type: application/x-www-form-urlencoded;charset=UTF-8
x-app-conf-v: 18
x-app-ver: 6.11.0
x-t: 1506686320
x-pv: 5.1
f-refer: mtop
Cookie: cna=PyNVEk3gEkACAXQXGtctbqkG; cna=PyNVEk3gEkACAXQXGtctbqkG
x-nettype: WIFI
x-utdid: WZfIL1AbavgDAPdplA3L2Zom
x-umt: ZVHVngWnPTSB0PZ5mOrLyEiXFQjYiazk
x-devid: AurOXOhggedDsykZUiX9BFglsAtDDEDIMlr3ijOBWQuI
x-sign: ab203800403bb44769c67c6e3b809b085353950a77d186c362
x-page-url: http%3A%2F%2Fs.m.taobao.com%2Fh5entry
Host: guide-acs.m.taobao.com
Accept-Encoding: gzip
Connection: Keep-Alive

HTTP/1.1 200 OK
Date: Fri, 29 Sep 2017 11:58:24 GMT
Content-Type: application/json;charset=UTF-8
Content-Length: 957
Connection: keep-alive
M: mobile
S: TEMP,eygSKL0EkPGetoUn,STATUS_NOT_EXISTED,null|memory session
TBTrack-Id: du=eygSKL0EkPGetoUn
Cache-Control: no-cache
pragma: no-cache
x-node: 4a06d6587d04bb7bac96ddbabc05a3e83c5cf193b34f56ea1fdd82512fd7b561
x-m-update-unitinfo: type=unit,prefix=unsz
x-retcode: SUCCESS
x-bin-length: 957
X-Powered-By: m.taobao.com
Server: Tengine/Aserver
s-rt: 70
x-aserver-sret: SUCCESS




我写的代码:
[C#] 纯文本查看 复制代码
HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://guide-acs.m.taobao.com/gw/mtop.taobao.wsearch.suggest/1.0/?data=%7B%22area%22%3A%22wireless%22%2C%22code%22%3A%22utf-8%22%2C%22q%22%3A%22%E7%94%B7%E9%9E%8B%22%2C%22tab%22%3A%22all%22%2C%22ttid%22%3A%22600000%40taobao_android_6.11.0%22%2C%22utd_id%22%3A%22WZfIL1AbavgDAPdplA3L2Zom%22%7D",//URL     必需项  
                Method = "GET",
                Timeout = 100000,
                Cookie = "cna=PyNVEk3gEkACAXQXGtctbqkG; cna=PyNVEk3gEkACAXQXGtctbqkG",
                UserAgent = "MTOPSDK%2F3.0.3.4+%28Android%3B5.1%3BMeizu%3BPRO+5%29",
                Accept = "gzip",
                ContentType = "application/x-www-form-urlencoded;charset=UTF-8",
                ProtocolVersion = System.Net.HttpVersion.Version11,
            };
            HttpResult result = http.GetHtml(item);
            MessageBox.Show(result.Html);
            textBox1.Text = result.Html;



但是还是抓取不到这个数据,是咋回事?
QQ截图20170930002012.jpg

还请站长指教一下,谢谢了!



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2017-9-30 09:23:41 | 显示全部楼层
越狱 发表于 2017-9-30 00:22
站长,刚刚我也想到了是http协议版本的,不过在在线网站上测试了一下,还是出现的这个问题!

以下是 ...

这应该是参数里面带的,这说明服务端已经接收到数据,
发表于 2017-9-30 09:24:36 | 显示全部楼层
浏览器直接访问就是这样的。
 楼主| 发表于 2017-9-30 10:22:29 | 显示全部楼层
站长苏飞 发表于 2017-9-30 09:24
浏览器直接访问就是这样的。

站长,啥意思?没看懂你说的。

我的代码写的应该没问题吧?
但是为什么收不到数据呢?
 楼主| 发表于 2017-9-30 10:22:55 | 显示全部楼层
站长苏飞 发表于 2017-9-30 09:24
浏览器直接访问就是这样的。

我用浏览器访问,也是这样的,的确,不明白是怎么回事。
发表于 2017-9-30 11:31:28 | 显示全部楼层
越狱 发表于 2017-9-30 10:22
我用浏览器访问,也是这样的,的确,不明白是怎么回事。

这说明不是代码的问题,本身这个请求就无法得到正常的结果
 楼主| 发表于 2017-9-30 12:39:14 | 显示全部楼层
站长苏飞 发表于 2017-9-30 11:31
这说明不是代码的问题,本身这个请求就无法得到正常的结果

那怎么弄站长?提示一个思路。
 楼主| 发表于 2017-9-30 12:39:36 | 显示全部楼层
站长苏飞 发表于 2017-9-30 11:31
这说明不是代码的问题,本身这个请求就无法得到正常的结果

请求哪里还有不完善的地方吗?
发表于 2017-10-9 08:16:48 | 显示全部楼层
这东西是干嘛的,从何而来,登录,还是注册,或者是其他什么操作。把原网页发过来看看
 楼主| 发表于 2017-10-28 11:32:01 | 显示全部楼层
站长苏飞 发表于 2017-10-9 08:16
这东西是干嘛的,从何而来,登录,还是注册,或者是其他什么操作。把原网页发过来看看

这个是淘宝app的下拉关键词,是app,不是wap的。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-27 03:54

© 2014-2021

快速回复 返回顶部 返回列表