采集关键词的问题

myde520 · 发表于 2013-5-21 11:08:04

我写了一个采集的小软件，用的是MYSQL数据库，软件先是抓取目标页面的HTML代码，然后用正则将关键词（多个关键词）提取出来，再把提取到的关键词一个个与Mysql数据库中的记录对比，如果关键词不存在，则添加进入数据库。但是这样的速度好慢，看进程CPU占用的时候，目前数据库里已经采集回来16万数据了，经常看到mysql的进行达到90%以上的，软件非常卡，采集的速度也越来越慢了，我想过用XML来存储关键词，但是十几万的关键词写到XML里面后再将新的关键词与XML里的关键词对比新关键词是否存在的话，估计会更卡，大家有没有什么好的办法？

采星 · 发表于 2013-5-21 11:11:06

我也想知道顶楼主。。

站长苏飞 · 发表于 2013-5-21 11:11:33

16万不应该吧，会不会是索引没有优化好啊，如果有索引的话Mysql也不应该是这个速度，我感觉应该是很快的，不应该是这个速度，建议你优化下索引

myde520 · 发表于 2013-5-21 11:12:33

有索引的

站长苏飞 · 发表于 2013-5-21 11:21:30

有的话是怎么建的，你提供下查询条件与验证重复的条件，然后再提供下索引看看，如果配置的不对也是没有作用的，16不会这么慢，就算是160万也不会像你说的那样慢

站长苏飞 · 发表于 2013-5-21 11:21:58

根据我的经验这方面应该是所引的问题

myde520 · 发表于 2013-5-21 15:11:29

真的是索引问题！我之前一直不知道原来非数值字段也可以设置成索引的！感谢哈

站长苏飞 · 发表于 2013-5-21 16:06:47

myde520 发表于 2013-5-21 15:11
真的是索引问题！我之前一直不知道原来非数值字段也可以设置成索引的！感谢哈

这个是必须的，一般情况下自增的数字类型，基本上不需要设置索引，因为他们本身就是有顺序的，

		自动登录	找回密码
密码			马上注册

[其他] 采集关键词的问题