请问：怎么知道一个网页中的链接是否和该网页是同一个网站的呢？

sunlight1698

怎么知道一个网页中的链接是否和该网页是同一个网站的呢？

在尝试做网络爬虫的时候，想先限定一个网站内的，可是怎么限定呢？直接用url好像不太行。
请教一下，有什么好办法吗？

站长苏飞

host

小飞牛

楼上正解

sunlight1698

比如esf.bengbu.fang.com/housing/和esf.hrb.fang.com/housing/都是一个大域名下的,但对于我来说,还想进一步区分,把它们都认为是独立的.在esf.bengbu.fang.com/housing/页面上有jindinghuangzhuanghy.fang.com/xiangqing/链接,其上又有jindinghuangzhuanghy.fang.com/chushou/.从内容上看,确实是属于bengbu

而esf.hrb.fang.com/housing/页面上有
shanshuiwenyuanhf.fang.com/链接,其上又有shanshuiwenyuanhf.fang.com/chushou/,从内容上看,确实是属于hrb

那么怎么区分限定它们的范围? 比如我开始就想针对esf.hrb.fang.com/housing/
不想处理esf.bengbu.fang.com/housing/及其子链接 jindinghuangzhuanghy.fang.com/chushou/ ,而包含shanshuiwenyuanhf.fang.com/chushou/.
是不是不必要呢? 因为刚开始练手,不太知道.

站长苏飞

你了解一下Host就明白了，想分析Url得想了解他的组成部分，和他的概念

sunlight1698

我想了一下,想这样做的本质原因是既想访问次数能分流,同时又尽可能的把搜索限定在目标范围内. 这里我想当然的认为如果在不同的服务器上,访问次数的频率、数量的限制应该是不互相干涉的，实际上这种想法对不对我也不确切的知道，具体是怎么回事？

谢谢站长指点！！

水手

看过帖子回复一下是个好习惯