爬虫爬的页面是否已经爬过，像你们一般怎么做的？

hnweibi · 发表于 2015-4-26 20:54:06

系统爬过的页面，大家一般是怎么去判断这个页面爬过？我现在想的是把页面地址加密MD5，建立索引判断，当上千万级的数据量，要怎么个思路

站长苏飞 · 发表于 2015-4-26 21:38:06

md5已经可以了，建好索引，上亿的也没有问题

		自动登录	找回密码
密码			马上注册

[HttpHelper] 爬虫爬的页面是否已经爬过，像你们一般怎么做的？