500-700个，URL数据源，获取数据问题

sunnfhrb

现在有500-700个数据源Url格式：http://xxx.xxx.xxx.xxx:2007/cgi-bin/js_get_ip，返回json格式数据。有时，可能有数据源不在线的情况。
采用什么样的方式，来获取数据，频率在一秒一次，或者低一些2秒一次。
现在采用多线程的方式，也不理想。或者有什么样的架构，开源的或商业的。

站长苏飞

每秒全部提取一次？

站长苏飞

这种情况，目前估计只能用多线程，而且一台服务器估计也不一定能完成，毕竟并发不小，带宽应该也是问题

sunnfhrb

回复这么快，多谢站长！
是的，获取全部数据。1-5秒的时间呢，有时url的响应的时间，也有一秒多。
用多线程的方式，我用一个程序来处理，线程也不能太多。响应时间，也很长。
能否有多个程序，比如10个程序，每个程序分一段地址范围，每个程序20个线程，每个线程处理几个IP地址。这样是否可行。

站长苏飞

多个程序是肯定可以的，前提是服务器Cpu够，带宽够，如果这些不够，跟开一个没什么区别
可以拿我的程序做测试http://www.sufeinet.com/thread-13-1-1.html

sunnfhrb

http://125.211.202.126:2007/cgi- ... ost+221.208.198.239 我测试了，出错了。
服务器提交了协议冲突。section=responseheader detail=cr 后面必须是lf

站长苏飞

这个直接搜索，例子不少
http://www.sufeinet.com/search.p ... D%D2%E9%B3%E5%CD%BB

sunnfhrb

直接用socket访问，url是否可行。

sunnfhrb

我在网找了一段代码，socket访问的源码，放在你写的例子中，成功了。

站长苏飞

可以的，不过效果差不多的吧。