浏览器可以访问但用开发助手出现拒访

smufimmu · 发表于 2018-3-30 23:00:20

我用浏览器(Chrome)可以访问https://www.nasdaq.com网站,

但用开发助手测试却出现拒访(Access Denied).

<HTML><HEAD>
<TITLE>Access Denied</TITLE>
</HEAD><BODY>
<H1>Access Denied</H1>

You don't have permission to access "http://www.nasdaq.com/" on this server.<P>
Reference #18.2e2d973f.1522421356.2c44e1c
</BODY>
</HTML>

不知道问题出在哪里? 是不是网站用什么技术手段阻止爬虫访问?有什么办法解决这个问题? 谢谢!

smufimmu · 发表于 2018-3-31 09:54:13

经过半天的搏斗,终于找到解决的办法.估计这种情况其他同学也会碰到,这里给出我的办法:

1. 碰到网站情况时候, 首先做一个get, 其response返回是拒访信息,不要紧, 我们只需要拿到其cookie/cookiecollection;

2 我们再用Postman软件做同样的询问,查看其header信息,把这些主要信息对放到postdata里, 再设置方法为post, ContentType为"application/x-www-form-urlencoded", 再带上cookie/cookiecollection. 这时返回就OK啦

smufimmu · 发表于 2018-3-31 20:24:51

如果坛主苏飞看到此帖的话, 我想提个建议:

鉴于Postman软件测试无拒访的情形,我觉得是因为它可能提供了完整的cookie和头信息, 坛主可否考虑在开发助手上实现类似功能,至少能提供更多的头信息?

smufimmu · 发表于 2018-3-31 20:26:43

smufimmu 发表于 2018-3-31 20:24
如果坛主苏飞看到此帖的话, 我想提个建议:

鉴于Postman软件测试无拒访的情形,我觉得是因为它可能提供了 ...

postman可在此下载: https://www.getpostman.com/products

范范 · 发表于 2018-4-2 15:09:33

恭喜楼主顺利解决问题哈

站长苏飞 · 发表于 2018-4-2 18:01:51

现在的版本，本来就能直接修改吧，我是提供了选择项，但是同时也可以输入的。

站长苏飞 · 发表于 2018-4-2 18:02:03

那是一个输入框和下拉共用控件

smufimmu · 发表于 2018-4-5 21:12:47

回坛主:谢谢关注! 由于目前开发助手本身提供的头信息不完整,单独用它访问上述网站会被拒的. 我从postman或类似工具获得更多信息后,在开发助手上填入,就可以访问了.

		自动登录	找回密码
密码			马上注册

[开发助手] 浏览器可以访问但用开发助手出现拒访