页面数据抓取，

970443232 · 发表于 2013-8-23 23:18:49

本帖最后由 970443232 于 2013-8-24 09:23 编辑

数据 200W条数据  ，6000页

先说下要实现的功能。

首先不需要登录有 6000页左右，打开一页有有200网址，每一个网址需要查找一些数据，符合要求的插入数据库。

比如是百度，网速大概800KB ，得需要多久 .

得需要多线程吧，

单线程界面感觉应该就会卡死了 .... 求给个思路

多线程问题，每条数据只执行一次

@站长苏飞

明天研究下 http://www.sufeinet.com/thread-13-1-1.html       今天测试了下界面好像会卡

没文化真可怕........................

站长苏飞 · 发表于 2013-8-24 15:40:37

看看我的文章就是你提到的，应该和你说的功能差不多，最少要框架有了，下面就看你发挥了

970443232 · 发表于 2013-8-24 17:18:44

站长苏飞发表于 2013-8-24 15:40
看看我的文章就是你提到的，应该和你说的功能差不多，最少要框架有了，下面就看你发挥了

正在看，不过晕了！！！！

太阳雨 · 发表于 2013-8-29 11:29:50

没看过站长的多线程代码，我以前写的时候，是建立一个子线程去启动多线程的，这样ui线程就不会卡住了

970443232 · 发表于 2013-8-29 17:24:13

太阳雨发表于 2013-8-29 11:29
没看过站长的多线程代码，我以前写的时候，是建立一个子线程去启动多线程的，这样ui线程就不会卡住了

感谢，问题已经解决了，思路是先开一个线程，然后在开启多线程，ui不会卡死。
不过在多线程的地方用forehch循环，发现会有重复读取到的数据，只是还是太少，继续学习...

		自动登录	找回密码
密码			马上注册

[其他] 页面数据抓取，