关于电商商品价格采集的咨询

秋日的枫叶

首先，抱歉苏飞，好久没来发言了。

但一直很关注苏飞，QQ群是天天看，说话少了...

最近因为对电商的产品价格非常有兴趣。双十一嘛对吧

我发现很多商品导购网站能够在第一时间几乎和京东、苏宁、亚马逊这些商家的商品降价价格同步的时间，公布他们降价信息

甚至很多还能公布出商品的历史价格走向，和最低价格

这个速度和官方基本同步，或许慢也就是个把小时。

我怎么也想不通，他们怎么做到的

如果采集商家的商品信息价格，隔一段时间扫描一次的话

如果这个思路，非常好资源，而且肯定无法做到及时性，并且数据量也会非常大

苏飞是采集行家，随来请教下

站长苏飞

定时访问是肯定的，但是只要不变不保存就是了，也不会太费资源，当然他们更新也是有规律的，这个可以自己摸索一下，不方便说

gtoliushan

楼主加油，我们都看好你哦。

秋日的枫叶

基本已经搞定了

秋日的枫叶

基本已经搞定了

我是MT

其实IT界还有很多技术，比如爬虫技术。python和php java都是可以写爬虫的。有可能人家网站发布产品使用的是自己用PHP写的爬虫，或者是python写了爬虫把数据更新的。他这个可以做大规模的数据监控的。