求教多线程处理同一个任务的效率问题

tylrr

请教大伙，我想用多线程来抓取一组链接的数据，我的思路是每个线程取到一个链接后，抓取完该链接的数据后，把该链接元素从待处理链接数组中删除。 我把links.RemoveAt(0);  语句提前的话会不会更好一些？就是线程取到链接后赋值给一个变量，然后马上把改链接从待处理链接数组中删除，这样其他线程就可以更快地获取待处理链接，而不用等到当前链接抓取完数据后再获取待处理链接数组的值，效率是不是会高一些？

还有一个问题是，如果某个线程发生了异常（比如数据抓取不全），如何重启该线程并重新活链接进行处理？   

有没有更好的方法呢？谢谢

[C#] 纯文本查看 复制代码

 //声明全局变量：所有待处理的网址数组
public static List<string> links = new List<string>();

         //按钮事件
        private void button1_Click(object sender, EventArgs e)
        {
                    threadOne = new Thread(new ThreadStart(getItemDetail));//两个线程共同做一件事情
                    threadTwo = new Thread(new ThreadStart(getItemDetail));//两个线程共同做一件事情
                    threadOne.Name = "线程1";
                    threadTwo.Name = "线程2";
                    threadOne.Start();
                    threadTwo.Start();

        }


        private void getItemDetail()  //处理函数
        {
            string link = null;  //单条网址
            while (true)
            {
                Monitor.Enter(links);//锁定，保持同步
                link = (string)links[0];

。。。somecode here//  具体的处理语句，每次处理需要耗时一分钟

                    links.RemoveAt(0);//删除链接数组List中的元素
                   
                    if (links.Count == 0)
                    {
                        ThreadEnd();//引发完成事件
                    }
                    toolStripStatusLabel1.Text = Thread.CurrentThread.Name + "抓取" + link + "成功...";

                    Monitor.Exit(links);//取消锁定
                    Thread.Sleep(5);
            }
        }

站长苏飞

第一个问题：当然是会提高，而且我建议你可　以加锁来限制重复获取的情况。
同时开多个线程是很快的，也有可能两个线程是同时获取的。所以可以加锁的。
第二个问题，这个你可以参考我的文章http://www.sufeinet.com/thread-13-1-1.html
原理很简单，就是在线程执行的方法里面直接使用ｔｒｙ块，出现异常后依然执行下一次，就是让try包住你的循环体就行了。例如

[C#] 纯文本查看 复制代码

private void getItemDetail()  //处理函数
        {
            string link = null;  //单条网址
            while (true)
            {
try
{
                Monitor.Enter(links);//锁定，保持同步
                link = (string)links[0];
 
。。。somecode here//  具体的处理语句，每次处理需要耗时一分钟
 
                    links.RemoveAt(0);//删除链接数组List中的元素
                    
                    if (links.Count == 0)
                    {
                        ThreadEnd();//引发完成事件
                    }
                    toolStripStatusLabel1.Text = Thread.CurrentThread.Name + "抓取" + link + "成功...";
 
                    Monitor.Exit(links);//取消锁定
                    Thread.Sleep(5);
} catch (Exception){}
            }
        }

tylrr

站长苏飞 发表于 2013-12-20 08:13
第一个问题：当然是会提高，而且我建议你可　以加锁来限制重复获取的情况。
同时开多个线程是很快的，也有 ...

谢谢站长的指点，我觉得thread虽然灵活，但是要增加很多代码来控制，觉得很麻烦，所以想使用net4.0新增的Parallel特性 来处理。上述代码修改后如下。问题：请问使用Parallel.Invoke() 和 Task.Factory.StartNew() 哪个更好呢？若要实现，以下代码应该如何修改？另外如何在Parallel.ForEach中更新界面呢？  程序老提示出错，最后不得不把更新界面的那部分去掉了。   谢谢指点

[C#] 纯文本查看 复制代码

        public static List<string> links = new List<string>();  //声明全局变量 链接为links List
        private void button1_Click(object sender, EventArgs e)
        {
                    //设置最大线程数
                    ThreadPool.SetMaxThreads(2, 2);
                   //采集
                    Parallel.ForEach(links, (linkitem) =>
                    {
                        getItemDetail(linkitem);
                    });

                    toolStripStatusLabel1.Text = "采集完毕。";
         }


        private void getItemDetail(string link)
        {
        try{
                        //采集数据代码第一部分
                        if (jieguo.Count != 15)  //如果得到的数组元素少于15个代表采集失败
                            throw new Exception();
            }
        catch (Exception e)
           {
                        
            }
                       
                           。。。。。。。。。
         }