苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 11551|回复: 10

[HttpHelper] 苦恼的爬网问题

[复制链接]
发表于 2018-11-21 10:31:07 | 显示全部楼层 |阅读模式
请问高手如何爬这网址https://www.17track.net/zh-cn/,给些建议我,用httphelper查不到,苏菲助手都查不到,请问什么原因


Request URL: https://t.17track.net/restapi/track
Request Method: POST
Status Code: 200
Remote Address: 202.104.118.196:443
Referrer Policy: no-referrer-when-downgrade
17server: App
access-control-allow-credentials: true
access-control-allow-headers: Last-Event-ID
access-control-allow-origin: https://t.17track.net
access-control-max-age: 86400
cache-control: private
content-encoding: gzip
content-type: application/json; charset=UTF-8
date: Tue, 20 Nov 2018 08:55:52 GMT
server: nginx
status: 200
vary: Accept-Encoding,Accept-Encoding
:authority: t.17track.net
:method: POST
:path: /restapi/track
:scheme: https
accept: application/json, text/javascript, */*; q=0.01
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
content-length: 76
content-type: application/x-www-form-urlencoded; charset=UTF-8
cookie: _yq_bid=G-3A7B5C7795173121; _ga=GA1.2.1738381043.1542158321; __gads=ID=a5924c66d0bc60ec:T=1542158327:S=ALNI_Mb8jzBpo4Y-E4jXeygcES6wmqehag; v5_TranslateLang=zh-CHS; _gid=GA1.2.766463111.1542677997; _gat=1; Last-Event-ID=657572742f3331332f35333233353530333736312f65646968207265746e65632d74786574206c656e6170206e67696c612d6c61636974726576207272652d6b726f7774656e2d67736d2d717991114e818830296cbf6
origin: https://t.17track.net
referer: https://t.17track.net/zh-cn
user-agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3608.4 Safari/537.36
x-requested-with: XMLHttpRequest
{"guid":"afb02ead0f4a4d1cbdb680b9c83dee1a","data":[{"num":"RW142579257CN"}]}:


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2018-11-21 10:42:43 | 显示全部楼层
要抓到异步的包才行
 楼主| 发表于 2018-11-21 10:45:17 | 显示全部楼层
怎样抓,有没有例子
发表于 2018-11-21 10:52:53 | 显示全部楼层
你这个其实就是对的。问题应该是出在组织参数上
发表于 2018-11-21 11:00:12 | 显示全部楼层
你看里面的参数,应该是有一定的变化规律的。好像还有个过期时间,目测是这样
发表于 2018-11-21 11:05:10 | 显示全部楼层
都在Cookie中,貌似有参数每次搜索会生成一个,而且有时间限制,需要找找规律
 楼主| 发表于 2018-11-21 11:10:41 | 显示全部楼层
我刚查完,之后复制cookie,照爬都不行,之前其他网站都可以的,这个就不行,不知道问题在哪里?
 楼主| 发表于 2018-11-21 11:12:36 | 显示全部楼层
webBrowser,手工进入网站,报不支持浏览器
发表于 2018-11-21 11:22:47 | 显示全部楼层
当然不行啊,每次会产生新的,而且应该是只能用一次,就是说你必须先执行查询取到Cookie,再去查这个数据。
 楼主| 发表于 2018-11-21 11:44:24 | 显示全部楼层
是的,我查询一次后拿cookie,再查询,这样不行吗,cookie会每次变?

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-26 02:40

© 2014-2021

快速回复 返回顶部 返回列表