关于请求遇到异步的问题

Anonymou · 发表于 2018-1-18 15:25:10

本帖最后由 Anonymou 于 2018-1-18 15:32 编辑

遇到一个网站，就是我直接download一个论坛的版块列表时拿到的source是一个看起来是没有什么用处的东西回来。即使我模拟请求也还是无法获取到真正想要的source，后来用fiddler抓包发现我请求一次显示有三次请求，如图： TIM图片20180118152745.png

而我需要的source是在第三天链接的，第一第二条目测是没有什么用（是我看不出什么端倪还是怎么的，望指点）。
链接：http://www.zaixs.com/forum-65-1.html
希望飞哥指点指点，怎样才能够拿到完整的source。

站长苏飞 · 发表于 2018-1-19 08:01:29

很抱歉，由于您访问的URL有可能对网站造成安全威胁，您的访问被阻断。

Anonymou · 发表于 2018-1-19 10:03:45

站长苏飞发表于 2018-1-19 08:01
很抱歉，由于您访问的URL有可能对网站造成安全威胁，您的访问被阻断。

能治吗？怎么治？

cload · 发表于 2018-1-19 10:17:10

请求必要链接，获得返回的cookie，带着cookie请求就OK了。

站长苏飞 · 发表于 2018-1-19 11:38:02

直接访问肯定是不行的，你不是抓到包了吗，根据抓包一步一步的请求就行了吧，浏览器也是这样的原因，请求获取Cookie，带上然后第二个请求，然后带上Cookie第一个开始，就这样

Anonymou · 发表于 2018-1-19 11:52:15

站长苏飞发表于 2018-1-19 11:38
直接访问肯定是不行的，你不是抓到包了吗，根据抓包一步一步的请求就行了吧，浏览器也是这样的原因，请求获 ...

已经好了，我缺少了了时间戳，所以中间曲折了点，但是就是不知道为什么隔一段时间跑的时候第一次拿不到，然后再立即重新跑一次就又正常了，可能是网站本身存在的机制还是什么，有点迷糊，但是也算过关了吧！

站长苏飞 · 发表于 2018-1-19 13:52:32

加个重试应该就行了，这个要看你第一次是不是安抓到的包请求的，或许有什么参加没带，比如Refer

		自动登录	找回密码
密码			马上注册

[咨询站长] 关于请求遇到异步的问题