http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 10114|回复: 10

[求助] 用助手的请求结果和浏览器、fiddler不一样,问题在哪?

[复制链接]
发表于 2018-11-12 12:14:43 | 显示全部楼层 |阅读模式
我是要获取一个验证码的图片流
通过分析页面发现这个验证码请求的是http://www.zj12580.cn/captcha这个地址
我直接用fiddler请求,发现得到的是json数据,见图

微信截图_20181112120546.png

我在浏览器中,点击“换一个”按钮
微信截图_20181112120641.png

得到的结果也是一个json数据

微信截图_20181112120805.png

但是我用助手请求的时候,发现结果是一个网页,里面包含这些json数据。

微信截图_20181112121040.png

为什么请求的结果不是一个单纯的json数据呢?怎么会多出来那么多html代码呢?
不是cookie的问题,因为我在fiddler里直接什么都不带的请求也能得到json
版主帮忙看看原因,谢谢!




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2018-11-12 13:29:17 | 显示全部楼层
浏览器和工具都者二次处理了吧。
发表于 2018-11-12 13:29:59 | 显示全部楼层
我用浏览器就是直接显示在界面里面的。
 楼主| 发表于 2018-11-12 13:38:02 | 显示全部楼层
sufeinet 发表于 2018-11-12 13:29
我用浏览器就是直接显示在界面里面的。

站长,用浏览器直接方位地址是显示网页的,网页里面有一段json代码,我现在就是想要实现用框架请求这个地址能直接得到json,因为用fiddler请求和在浏览器里点击“换一个(相当于是直接请求)”都是只有json的
发表于 2018-11-12 14:03:41 | 显示全部楼层
这个你直接抓取到单击时发送的请求就可以了,而不是直接用带有登录的页面,抓一下包
 楼主| 发表于 2018-11-12 15:06:07 | 显示全部楼层
sufeinet 发表于 2018-11-12 14:03
这个你直接抓取到单击时发送的请求就可以了,而不是直接用带有登录的页面,抓一下包

老大,我就是直接抓取的获取验证码请求的地址,但是用框架请求的时候就是除了获取的json,还会有很多html代码,问题就在这。
发表于 2018-11-12 16:08:46 | 显示全部楼层
抓包的所有参数都写上了吗,你直接抓一下Httphelper的包看看与抓包工具的有什么不同。
一点点排查。我现在没时间,等有有时间了帮你看看,不过就算是获取不到,直接使用正则提交也是可以用的,不必要一下纠结这个东西,能取到就行了,先用着,有好的办法了再改进
 楼主| 发表于 2018-11-12 16:20:59 | 显示全部楼层
sufeinet 发表于 2018-11-12 16:08
抓包的所有参数都写上了吗,你直接抓一下Httphelper的包看看与抓包工具的有什么不同。
一点点排查。我现在 ...

谢谢老大
我抓了框架的包,并且和正常的对比了一下,有个最大的区别
正常的有X-Requested-With: XMLHttpRequest
而框架没有,我尝试自己在header里添加,发现没用
搜索论坛,看到之前有个人也说过这个事,但是他的方法似乎不适用于框架
现在不知道咋办了
发表于 2018-11-12 16:24:18 | 显示全部楼层
howzew 发表于 2018-11-12 16:20
谢谢老大
我抓了框架的包,并且和正常的对比了一下,有个最大的区别
正常的有X-Requested-With: XMLHtt ...

这个参数是肯定不会影响的,可以先正则提取一下。能取到内容就算成功
发表于 2018-11-12 16:24:44 | 显示全部楼层
说不定过几天就想到办法了。服务端的限制方式很多,不太好猜测
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-19 19:49

© 2014-2021

快速回复 返回顶部 返回列表