请教一下线程池的问题！

j506057970

我写一个程序，可能最大的时候需要同时开启100个线程。

我采用了线程池去处理这个事情。

然后恶心的事情来了。   我按照规章制度。

首先:   Threadpool.SetMinThreads(1,1),然后Threadpool.SetMaxThreads(100,100);

处理好基本设置后，我每一次的投递任务( ThreadPool.QueueUserWorkItem() )  之前,我都调用ThreadPool.GetAvailableThreads来获取空闲线程数有多少。

有多少我循环投递多少。可是，实际结果是  每一次都能获取到还有很多空闲线程。我已经投递了几百上千个任务出去了，按照道理来说，早已经塞满线程池了。可是为什么还是检索到这么多空闲线程。

而且根据处理进度来看。好像不管我开多少线程。每一次最多只能帮我处理20多个任务。

我的任务函数是一个    http的get访问网页的代码而已，然后判断了一下字符串。就这样。

麻烦各位大佬解惑啊，好多天了，完全无头绪，百度的资料千篇一律。

站长苏飞

1. 可能是执行快，执行完了
2. 可能是投递失败，具体的你可以贴全一点的代码看看

clrscr

处理好基本设置后，我每一次的投递任务( ThreadPool.QueueUserWorkItem() )  之前,我都调用ThreadPool.GetAvailableThreads来获取空闲线程数有多少。

这个步骤你可以去掉试试,上面设置过Max可以不用判断,未测试仅理论

j506057970

C:\Users\Administrator\Desktop\1.1.png

j506057970

[C#] 纯文本查看 复制代码

/// <summary>
        /// 工作主线程
        /// </summary>
        /// <param name="obj"></param>

        private void ThreadWork()
        {
            int WorkerThreadsMax = 0, WorkerThreadsAv = 0;

            //用户设置大于1000个线程是没有意义的。线程池最多支持1000个线程同时工作。
            formsPram.WorkThreadNumber = formsPram.WorkThreadNumber > 1000 ? 1000 : formsPram.WorkThreadNumber;

            ThreadPool.SetMinThreads(1, 1);
            ThreadPool.SetMaxThreads(formsPram.WorkThreadNumber, formsPram.WorkThreadNumber);

            //初始化扫描数据
            InitiaData();

            long speed = formsPram.NumberStart;

            //解除http访问高并发限制,如果不设置该值.只能同时并发2 - 10个数据
            ServicePointManager.DefaultConnectionLimit = 512;
            while (!Stopeed)
            {
                ThreadPool.GetMaxThreads(out WorkerThreadsMax, out int CompletionPrortThreadsMax);
                ThreadPool.GetAvailableThreads(out WorkerThreadsAv, out int CompletionPrortThreadsAv);

                //设置显示空闲线程数
                SetFreeThreadNumber(WorkerThreadsAv);
                //显示正在工作的线程数
                SetWorkerThreadNumber(WorkerThreadsMax - WorkerThreadsAv);
                //设置显示一下找到的个数。
                SetSuccessNum();
                //设置已经扫描的个数
                SetHandleNum();

                if (WorkerThreadsAv > 0 && formsPram.NumberStart < formsPram.NumberEnd)
                {
                    for (int i = 0; i < WorkerThreadsAv; i++)
                    {
                        if (TaskIndex >= weblist.Count)
                        {
                            break;
                        }
                        ThreadPool.QueueUserWorkItem(new WaitCallback(ThreadPoolTask), weblist[TaskIndex++]);
                    }
                    Debug.WriteLine($"投递了{WorkerThreadsAv}个任务出去");
                }
                //检查一下是否已经抓取完毕了
                if (TaskIndex >= weblist.Count)
                {
                    AddLog("任务投递完成,等待子线程执行完毕后程序自动停止。");
                    break;
                }
                Thread.Sleep(1000);
            }

            while (true)
            {
                ThreadPool.GetMaxThreads(out WorkerThreadsMax, out int CompletionPrortThreadsMax);
                ThreadPool.GetAvailableThreads(out WorkerThreadsAv, out int CompletionPrortThreadsAv);
                if (WorkerThreadsMax != WorkerThreadsAv)
                {
                    AddLog($"正在等待子线程结束,还剩余{WorkerThreadsMax - WorkerThreadsAv} 个任务正在执行");
                }
                else
                {
                    break;
                }
                Thread.Sleep(1000);
            }
            BtnStart.Invoke(new Action(() =>
            {
                BtnStart.Enabled = true;

            }));
            AddLog("主线程停止了工作!");
        }

  /// <summary>
        /// 任务线程池
        /// </summary>
        private void ThreadPoolTask(object obj)
        {

            DateTime dateTime = DateTime.Now;



            var str = Work.HttpRequest(formsPram.WaitingTime, obj.ToString());

            DateTime dateTime2 = DateTime.Now;

            TimeSpan timeSpan = dateTime2 - dateTime;

            if (timeSpan.TotalMilliseconds >= 4000)
            {
                AddLog($"线程超过4000毫秒才执行完成,总计耗时{timeSpan.TotalMilliseconds}毫秒");
            }

            // Debug.WriteLine($"耗时 {timeSpan.TotalMilliseconds} 毫秒 " + obj.ToString());
            lock (objLock)
            {
                HandleNum++;
            }
            if (str.Contains(formsPram.Features1) && str.Contains(formsPram.Features2))
            {
                AddLog($"找到 {formsPram.InterfaseClass} ,域名是{obj}");
                lock (objLock)
                {
                    SuccessNum++;
                }
                CreateFiles($"类型:{formsPram.InterfaseClass} ---- 域名: {obj}");
                return;
            }

        }

/// <summary>
        /// GET方式 访问网页
        /// </summary>
        /// <param name="Timeout">访问超时限定</param>
        /// <param name="Address">要访问的网址</param>
        /// <returns></returns>
        public static string HttpRequest(int Timeout, string Address)
        {
            if (string.IsNullOrEmpty(Address))
            {
                return "";
            }
            try
            {
                HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(Address);
                webRequest.Method = "GET";
                webRequest.Timeout = Timeout;
                webRequest.ReadWriteTimeout = Timeout;
                webRequest.KeepAlive = false;
                HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
                StreamReader sr = new StreamReader(webResponse.GetResponseStream(), Encoding.UTF8);
                var str = sr.ReadToEnd();
                webRequest.Abort();
                webResponse.Close();
                sr.Close();
                return str;
            }
            catch (Exception)
            {
                return "";
            }
           
        }

j506057970

站长苏飞 发表于 2021-2-21 10:23
1. 可能是执行快，执行完了
2. 可能是投递失败，具体的你可以贴全一点的代码看看

大佬 帮忙看看吧。代码我贴上来了

诗雨李你

啥也看不懂呢

pangcrow

线程池推荐用SmartThreadPool，比原生的好很多，有n种对线程的管理方式

a243408

等待大佬出现 ..........路过