HttpHelper异步版完整实现（附源代码）

slolitor

              时隔一个月  回来把之前的坑填上。
              之前发的l两篇文章链接如下：
              http://www.sufeinet.com/thread-8876-1-1.html
             http://www.sufeinet.com/thread-8882-1-1.html
            跟之前的区别在于 这一次是完整 真正可用的代码 可以完全用于商业目的  因为我已经不间断的跑了一个月 没有任何问题。
            异步实现的最大坑在于   你发出一个异步请求之后 你可能收不到任何响应 ，你发出的包，可能在Internet上看风景去了，漫游去了，或者被各种延迟，各种阻塞，或者被路由器负载脱落，各种丢失，TCP建立起的连接对应于网络层的VC（虚电路）可能以各种形式断开然后你永远不会知道。。
所以 由于网络层的各种不稳定 所以在传输层你必须建立起稳妥的解决方案 将控制权把握在自己手上。
解决方案很简单。计数器而已。  计数器让线程池帮我们做就好了：
   System.Threading.ThreadPool.RegisterWaitForSingleObject(m_ar.AsyncWaitHandle,
                    TimeoutCallback, pa, MyAsyncPara.DefaultTimeOutSpan, true);



这段代码使用一个信号量，用CLR的用户模式构造  System.Threading.Interlocked.Increment(ref pa.m_semaphore) != 1   超时便不再处理数据


OK了，现在来看看调用：


HttpItems hi = new HttpItems();
AsyncHttpHelper wh = new AsyncHttpHelper();
hi.URL = urlinfo.Url;
wh.GetHtmlDataAsync(hi, YourCallBackMethod);


void YourCallBackMethod(HttpResults result)
{


}


好了 代码跑起来的效果就是，一个线程处理处理一堆爬取任务速度飞快有木有！绝对不卡当前线程有木有！


最后提2点注意事项：
1  以太网协议的最大允许字节为1500多  无线局域网的最大允许字节为2200多 IP协议最大允许字节为65500多  为了让爬虫适合在任意网络上执行 缓存区设置为1KB比较合适  


2 同学们 请对你们自己注入IP网络的数据包负责 因为不管是电脑还是路由器 他们的TCP栈大小总是有限的 过多的数据注入 会导致丢包 网络拥塞  ，请慎重计算你要注入网络的数据包量。一句话 不要无限制的发起请求 因为多的请求最终会超时 而你很可能是造成网络拥塞的元凶。


欢迎测试或拍砖。

孟山都爱好者

标准异步：
using System;
using System.Threading;
namespace 异步
{
    delegate void AsyncFoo(int i);
    class Program
    {
        /// ﹤summary﹥   
        /// 输出当前线程的信息   
        /// ﹤/summary﹥      
        /// ﹤param name="name"﹥方法名称﹤/param﹥   
        static void PrintCurrThreadInfo(string name)
        {
            Console.WriteLine("Thread Id of " + name + " is: " + Thread.CurrentThread.ManagedThreadId + ", current thread is "
                + (Thread.CurrentThread.IsThreadPoolThread ? "" : "not ") + "thread pool thread.");
        }


        /// ﹤summary﹥   
        /// 测试方法，Sleep一定时间   
        /// ﹤/summary﹥   
        /// ﹤param name="i"﹥Sleep的时间﹤/param﹥   
        static void Foo(int i)
        {
            PrintCurrThreadInfo("Foo()");
            Thread.Sleep(i);
        }


        /// ﹤summary﹥   
        /// 投递一个异步调用   
        /// ﹤/summary﹥   
        static void PostAsync()
        {
            AsyncFoo caller = new AsyncFoo(Foo);
            caller.BeginInvoke(1000, new AsyncCallback(FooCallBack), caller);
        }


        static void Main(string[] args)
        {
            PrintCurrThreadInfo("Main()");
            for (int i = 0; i < 5; i++)
            {
                PostAsync();
            }
            Console.ReadLine();
        }


        static void FooCallBack(IAsyncResult ar)
        {
            PrintCurrThreadInfo("FooCallBack()");
            AsyncFoo caller = (AsyncFoo)ar.AsyncState;
            caller.EndInvoke(ar);
        }
    }
}

cload

表示感谢，楼主无私奉献！！

站长苏飞

加油，我们都看好你哦。

slolitor

回馈而已。。 @站长苏飞 不必客气   有空多交流

站长苏飞

好好写，有时间了我也看看，写好了可以 跟我的Httphelper一样开个分类给你

ro4ters

感谢分享.:

LinnMM

支持个

lovesangel

我觉得用苏飞的HttpHelper就可以了，至于线程可以在程序里实现。你可以在抓取的时候开个线程就行了。

yyhapy

mark~~看上去很流弊的样子。。学习 学习~~哈哈

slolitor

异步和线程和两个概念 当然如果只是玩玩 随便怎样都可以。从我跑的效果来看，异步版的.net应该是内置了IOCP模型 。这点从.net framework源码也可以得到佐证