httphelper多线程访问同时执行数上限无法突破

jlcool

好像系统只能同时执行几十个http访问，我希望能一秒钟能完成1000次http post访问，代码如下：

[C#] 纯文本查看 复制代码

 public void Start(object i)
    {
        HttpHelper hh = new HttpHelper();
        HttpItem hi = new HttpItem();
        hi.URL = "http://10086.cn/";
        hi.Timeout = 1000;
        hi.Connectionlimit = 512;
        hi.KeepAlive = true;
        hi.Encoding = Encoding.UTF8;
        HttpResult hr = hh.GetHtml(hi);
    }
    static Semaphore semahoro = new Semaphore(40, 3000);//同时运行40个访问设置的太高了反而慢了
    static void Main(string[] args)
    {
        Program p = new Program();
        int index1 = 0;
        DateTime st = DateTime.Now;
        while (st.AddMinutes(3) > DateTime.Now)
        {
            index1++;
            semahoro.WaitOne();
            Thread thread = new Thread(new ParameterizedThreadStart(p.Start));
            thread.Start();
            Console.SetCursorPosition(0, 8);
            Console.Write((double)(DateTime.Now - st).TotalSeconds / (double)180 * 100 + "%                      ");
        }
        TimeSpan us = DateTime.Now - st;
        Console.SetCursorPosition(0, 6);
        Console.Write("用时：" + us.ToString() + "共执行：" + index1);
    }

站长苏飞

没明白什么意思。再说的具体点

jlcool

站长苏飞 发表于 2017-6-9 08:24
没明白什么意思。再说的具体点

就是多线程访问指定网址咯，线程开得多反而慢，像代码里设置的同时40次访问就比较正常，但是还是太少了，不满足我的要求，带宽和cpu都还没用到顶，所以不知道是什么原因限制了无法开更多的线程

站长苏飞

jlcool 发表于 2017-6-9 16:04
就是多线程访问指定网址咯，线程开得多反而慢，像代码里设置的同时40次访问就比较正常，但是还是太少了， ...

这个原因不好说，有网站自身原因，也有程序写法上的性能问题，建议直接使得百度网址测试。其他网址不好说会不会有限制。

jlcool

站长苏飞 发表于 2017-6-9 16:16
这个原因不好说，有网站自身原因，也有程序写法上的性能问题，建议直接使得百度网址测试。其他网址不好说 ...

程序就是上面那个，网站问题也不大，因为程序多开几个就可以增加双倍的访问量，但是开太多到cpu满了就上不去了

站长苏飞

jlcool 发表于 2017-6-11 09:42
程序就是上面那个，网站问题也不大，因为程序多开几个就可以增加双倍的访问量，但是开太多到cpu满了就上 ...

多线程，情况下，网速，贷款，并发数，内存等都有可能是问题。这个需要具体问题具体分析

jlcool

站长苏飞 发表于 2017-6-12 09:02
多线程，情况下，网速，贷款，并发数，内存等都有可能是问题。这个需要具体问题具体分析

阿里云 16核 32G 20M带宽，5分钟跑100w访问，开20g程序，每个并发150，有连接服务器超时，等等一系列问题

站长苏飞

jlcool 发表于 2017-9-9 22:46
阿里云 16核 32G 20M带宽，5分钟跑100w访问，开20g程序，每个并发150，有连接服务器超时，等等一系列问题

这个已经超出了程序自维护的范围了，需要增加重试，

jlcool

站长苏飞 发表于 2017-9-11 10:44
这个已经超出了程序自维护的范围了，需要增加重试，

什么是自维护范围，现在是出现问题就重新访问，效率低了一点

站长苏飞

jlcool 发表于 2017-9-12 18:38
什么是自维护范围，现在是出现问题就重新访问，效率低了一点

请求量大。限制是请求的网站本身，不是程序的问题，想彻底解决需要自己设计解决方案，比如当失败时加个重试等