采集被封ip的解决办法？

wj_java · 发表于 2012-12-22 11:22:59

采集软件采集58百姓等网站总会被封ip而需要输入验证码什么的；
为此在程序中增加了ip自动拨号功能但还是无法解决；
不知是否有更好的解决方案；
谢谢！！！！！

站长苏飞 · 发表于 2012-12-22 11:27:46

请问你是使用什么方法采集的，Http请求，还是别的方法

wj_java · 发表于 2012-12-22 14:48:39

http请求的！

站长苏飞 · 发表于 2012-12-22 15:00:25

1.如果是Http请求的那你只修改IP应该是不行的，
因为他们很有可能是根据你的UserAgent 信息，做的验证，当然IP也是会验证的，
如果你只是修改了IP，而不修改UserAgent 信息也是不行的，他们会检查到你的IP是换了，但是用户信息完全一样，浏览器，操作系统，电脑名字都一样，这样很容易被认为是机器。建议可以从这方向入手，但是具体有多大效果这个不好说
2.注意一下看看还有那些信息是变化的，或者是可以变化的，你都让他变化一下，其它的也没有什么好的方法。
3.也有可能是采集代码里把一些应该是变化的参数给写死了，建议你再比对一下参数

守望幸福 · 发表于 2012-12-23 22:46:48

有个问题还请注意，更换IP好像仅对ADSL有效，因为貌似仅ADSL在每次重新拨号后，才会重新订制网络IP，另貌似局域网是无效的，它与其他同局域网机器共用一个网络IP。曾遇到过，高中整班申请163邮箱，导致整个计算机实验室无法登陆163官网

wj_java · 发表于 2012-12-24 08:53:02

守望幸福发表于 2012-12-23 22:46
有个问题还请注意，更换IP好像仅对ADSL有效，因为貌似仅ADSL在每次重新拨号后，才会重新订制网络IP，另貌似 ...

我们采集的电脑是单独网络,不使用局域网;

wj_java · 发表于 2012-12-24 08:55:05

admin 发表于 2012-12-22 15:00
1.如果是Http请求的那你只修改IP应该是不行的，
因为他们很有可能是根据你的UserAgent 信息，做的验证，当 ...

谢谢;如果是这样,那只能测试下了;
如果我采用虚假的代理ip会有用处不? ---- 这里就有一个问题; 服务端ip获取是否是先获取代理ip 再获取真实ip的问题呢?

站长苏飞 · 发表于 2012-12-24 10:08:44

wj_java 发表于 2012-12-24 08:55
谢谢;如果是这样,那只能测试下了;
如果我采用虚假的代理ip会有用处不? ---- 这里就有一个问题; 服务端 ...

使用代理是获取的代理 IP，和本地IP无关

wj_java · 发表于 2012-12-24 13:48:09

admin 发表于 2012-12-24 10:08
使用代理是获取的代理 IP，和本地IP无关

如果我把请求的头部信息中添加 HTTP_FORWARDED_FOR 的值，不知道这样是否有用！！

站长苏飞 · 发表于 2012-12-24 13:52:30

wj_java 发表于 2012-12-24 13:48
如果我把请求的头部信息中添加 HTTP_FORWARDED_FOR 的值，不知道这样是否有用！！

这个你可以测试一下，

		自动登录	找回密码
密码			马上注册

[其他] 采集被封ip的解决办法？