task下是否应该还可以嵌套使用Parallel语句？

tylrr · 发表于 2016-3-23 00:45:23

请教大伙个问题啊

业务场景是这样的：

一个采集程序需要采集歌手数据，包含6个字段（代表作、专辑、性别、出道日期、国籍、爱好）。这6个待采集的数据字段分布在6批不同的网址，每批网址有10w个（就是说一共需要采集60w网址）。

问题1：为了提高采集速度，我是否应该在程序中开启6个task去执行采集任务，然后在每个task中再使用Parallel.foreach 去采集对应的10w个网址？

问题2：为了提高采集速度，是否应该为这6个待采集字段建立6个数据表，以免多个线程同时写入一个表导致写入速度慢？

求可行的方法。

谢谢。@站长苏飞

songwenqi · 发表于 2016-3-23 08:24:01

我只是路过打酱油的。

站长苏飞 · 发表于 2016-3-23 08:25:13

如果这几个网址有ID，或者唯一值能找他我们的对应关系，可以选择分表存储，然后跑完之后再合并，本地处理数据库很快，相互导入一下即可。

tylrr · 发表于 2016-3-23 13:05:57

@站长苏飞
老大，第一个问题还没解答呀。
是不是应该在程序里建立6个task，然后么个task语句里面再嵌套Parallel.foreach去遍历10w个网址？

谢谢

站长苏飞 · 发表于 2016-3-23 14:18:34

tylrr 发表于 2016-3-23 13:05
@站长苏飞
老大，第一个问题还没解答呀。
是不是应该在程序里建立6个task，然后么个task语句里面再嵌套P ...

带宽不受限制的情况下，可以，如果带宽有限制，或者比较小意义不大，跟一个差不多。这个你试试吧。安说是应该快一点的。

回复的时候单击我下方的回复，你直接回复是回复的楼主，我看不到消息不能及时回复你

		自动登录	找回密码
密码			马上注册

[其他] task下是否应该还可以嵌套使用Parallel语句？

相关帖子