怎么实现无需规则匹配网页的标题和正文？

sandy1231 · 发表于 2014-6-10 15:24:13

像火车头采集这样，仅输入一个内容页的网址，也不需要写规则，就可以获取到这个页面的标题和正文内容。请问这是怎么实现的？
现在在做一个采集器，我是以页面唯一的某个标签的开始和结束来匹配的，但有个缺点，就是只要对方网站的标签名字更新了，我也要跟着更新，很麻烦，请问有什么方法解决？像火车头这种无需规则就可以匹配到是怎么实现的？谢谢

站长苏飞 · 发表于 2014-6-10 15:32:09

他们的里面也是有好多规则的，不过一般标题和正文都有注解，或者是安一定规则来的，你写几套就行了，没有多少种的，大致都相同

sandy1231 · 发表于 2014-6-10 16:41:23

站长苏飞发表于 2014-6-10 15:32
他们的里面也是有好多规则的，不过一般标题和正文都有注解，或者是安一定规则来的，你写几套就行了，没有 ...

有例子吗？貌似有点难判断

站长苏飞 · 发表于 2014-6-10 16:45:32

正规的标题都是<h1>

sandy1231 · 发表于 2014-6-10 17:01:44

站长苏飞发表于 2014-6-10 16:45
正规的标题都是

不一定的，好多不一样的，标题还容易些，内容的话我看他们好像是字数多就可以匹配，字数少就匹配不到

站长苏飞 · 发表于 2014-6-10 17:07:19

sandy1231 发表于 2014-6-10 17:01
不一定的，好多不一样的，标题还容易些，内容的话我看他们好像是字数多就可以匹配，字数少就匹配不到

规律没有多少，我跟你说个最简单的办法，你分析10网站之后应该就能总结出来了，看着都不一样，其实都差不多的。光在这里想是没用的，要动手。做一下才能体会到。

sandy1231 · 发表于 2014-6-10 17:19:00

站长苏飞发表于 2014-6-10 17:07
规律没有多少，我跟你说个最简单的办法，你分析10网站之后应该就能总结出来了，看着都不一样，其实都差不 ...

谢谢指点已经在做了，解决了再发出来

站长苏飞 · 发表于 2014-6-10 17:32:34

sandy1231 发表于 2014-6-10 17:19
谢谢指点已经在做了，解决了再发出来

恩好的，一边做一边想办法，有问题再讨论，呵呵

		自动登录	找回密码
密码			马上注册

[其他] 怎么实现无需规则匹配网页的标题和正文？