为什么我第一次去访问一个网站，它会在我的请求头里边加一个robotcookieid呢?

yscredit

http://211.141.74.198:8081/aiccips/就是这个网站。。让我很困惑，我刚刚开始搞这个，菜鸟，见谅。

yscredit

自己顶一个。

站长苏飞

为什么 加，这个要问网站本身，客户端是被动要求方

yscredit

站长苏飞 发表于 2015-10-15 16:34
为什么 加，这个要问网站本身，客户端是被动要求方

...我需要爬去这个网站按的数据，但是这个robotcookied，我不知道它是怎么来的。。然后没有这个robotcookied,我就不能获得和该网站交互的cookie...望解答。。

站长苏飞

这就是防止你爬取的，得找到是怎么来的，或者看看有什么 规律，自己生成一下也行，不过目测这是工商局的网站，怕是没那么容易破解，这个得你自己研究，我也没搞过这网站。

yscredit

站长苏飞 发表于 2015-10-15 17:31
这就是防止你爬取的，得找到是怎么来的，或者看看有什么 规律，自己生成一下也行，不过目测这是工商局的网 ...

谢谢，昨天搞定了。饶了几个弯。

cryingghost

yscredit 发表于 2015-10-16 10:31
谢谢，昨天搞定了。饶了几个弯。

请问你是怎么解决从这个网站获取数据的呢？讲讲思路和做法呗。