网络爬虫所需的网站地图sitemap怎么获取或生成问题

sunlight1698

我在尝试做网络爬虫的时候，发现直接从页面中提取url效率非常低。百度后知道可以利用sitemap，就是网络地图。
但现在的情况是，有的网站不提供网络地图；有的提供地图，但地图中不是列出具体的网页，比如地图中有 http://bj.58.com/duanzu/
但这个网页链接打开后，里面有很多更具体的网页链接，而且本身有很多1 2 3 4 5 6 …… 下一页  等。
请问象这两种情况怎么处理才好？ 网站不提供完备的地图，自己怎么生成呢？短时间内没有查到这类生成算法。

love'点点

我只是路过打酱油的。