第一次遇见一个防采集这么厉害的网站

clalj520 · 发表于 2019-5-20 09:25:52

需要采集的网站 http://ggzy.xzsp.tj.gov.cn/jyxx/index_1.jhtml 是个列表直接get 可以获取到数据!<a href="http://ggzy.xzsp.tj.gov.cn:80/jyxxcgjg/921893.jhtml" target="_blank">
上面是详细页面的连接地址!关键问题来了:
在网页中直接点这个地址.URL变成了 http://ggzy.xzsp.tj.gov.cn/jyxxcgjg/lT2qya3oMxf2KamI87wI4Q.jhtml,
而且是在浏览器中输入http://ggzy.xzsp.tj.gov.cn:80/jyxxcgjg/921893.jhtml 返回403错误,
关键是我查询了baidu ,上面显示的信息是收录了,
这个问题感觉很困惑!有谁知道吗 ?

clalj520 · 发表于 2019-5-20 10:29:25

有个问题搞不懂的就是!URL鼠标点击可以打开!但是右键在新窗口打开就不行了!403错误.

站长苏飞 · 发表于 2019-5-20 16:07:00

抓包看看，是不是对来源做了限制

站长苏飞 · 发表于 2019-5-20 16:08:07

这应该是文章给删除了，死链接

clalj520 · 发表于 2019-5-21 08:15:34

不是的,连接有效，但是必须鼠标点击，我设置了 Referer 也一样没用，点击连接以后URL是变了的

clalj520 · 发表于 2019-5-21 08:17:03

还有问题是百度都收录了，没有完全屏蔽爬虫，这个真不知道了。。

lt11881 · 发表于 2019-5-31 17:51:57

本帖最后由 lt11881 于 2019-5-31 18:01 编辑

js在页面执行

[JavaScript] 纯文本查看 复制代码

var srcs = CryptoJS.enc.Utf8.parse("文章id");var k = CryptoJS.enc.Utf8.parse("qnbyzzwmdgghmcnm");
var en = CryptoJS.AES.encrypt(srcs, k, {
    mode: CryptoJS.mode.ECB,
    padding: CryptoJS.pad.Pkcs7
});
var ddd = en.toString();
ddd = ddd.replace(/\//g, "^");
ddd = ddd.substring(0, ddd.length - 2);

ddd就是加密后的那一串

		自动登录	找回密码
密码			马上注册

[学生提问] 第一次遇见一个防采集这么厉害的网站