如何实现 100w 以上的数据url 去重

天马行空 · 发表于 2014-4-13 10:34:49

我做蜘蛛爬取信息我之前是把url 存储数据库里但是随着数据流的增加性能也掉了下来有什么好的方式实现 url 过滤吗？？谢谢大神们

站长苏飞 · 发表于 2014-4-13 17:16:23

最好是在跑完一次后再去，而不是一边跑不边去，这样肯定会慢的，

天马行空 · 发表于 2014-4-13 18:18:31

这个倒是解决的方式。。。我现在有两张表一张是存url 一张表是存页面的信息；我还得需要一个功能就是url 重新爬取如果在重新爬一次那么我又有100w 我是比对两张表再去重吗？

		自动登录	找回密码
密码			马上注册

[其他] 如何实现 100w 以上的数据url 去重