http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4171|回复: 5

[求助] HttpHelper在大量访问时会出现不可预错误,请指教

[复制链接]
发表于 2015-3-15 01:23:34 | 显示全部楼层 |阅读模式
    感谢坛主所提供的类,让开发时免除多余的操作。但是最近在写多线程请求时,无一例外都出现这以下这个错误

错误如下[td]2015-03-15 00:59:36        59:13 liouxianen1----694748 167号线程开始运行,59:35 Error未将对象引用设置到对象的实例。 --    在 DotNet4.Utilities.HttpHelper.GetData(HttpItem item, HttpResult result) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\HttpHelper.cs:行号 140 在 DotNet4.Utilities.HttpHelper.GetHtml(HttpItem item) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\HttpHelper.cs:行号 116在 WindowsFormsApplication1.Form1.LoadWeb(List`1& LLog, HttpHelper& helper, String& html, String& http_cookie, String Var_UseAgent, String UserName, String UserPass, Boolean& boolerror, Int32 fori, String proxy) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\Form1.cs:行号 376在 WindowsFormsApplication1.Form1.OpenThread(List`1& LLog, String UserName, String UserPass) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\Form1.cs:行号 515,59:35 liouxianen1----694748 167号线程已运行完毕        2015-03-15 00:59:36        59:13 hnhk.qn----460031 166号线程开始运行,59:35 Error未将对象引用设置到对象的实例。 --    在 DotNet4.Utilities.HttpHelper.GetData(HttpItem item, HttpResult result) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\HttpHelper.cs:行号 140 在 DotNet4.Utilities.HttpHelper.GetHtml(HttpItem item) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\HttpHelper.cs:行号 116 在 WindowsFormsApplication1.Form1.LoadWeb(List`1& LLog, HttpHelper& helper, String& html, String& http_cookie, String Var_UseAgent, String UserName, String UserPass, Boolean& boolerror, Int32 fori, String proxy) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\Form1.cs:行号 376 在 WindowsFormsApplication1.Form1.OpenThread(List`1& LLog, String UserName, String UserPass) 位置 D:\学习\C#\我写的小代码\12-11房产助手\1\WindowsFormsApplication1\Form1.cs:行号 515,59:35 hnhk.qn----460031 166号线程已运行完毕
[/td]

     事实上我已经将其初始化了,而且在上面的错误是在未知情况下出现的。我想过几种解决的办法。就是当他为空时再重新创建。但还是失败。所以请坛主出个小手,看怎么解决这个问题。。。。

      多线程当中的代码如下。
      
[C#] 纯文本查看 复制代码
/*
         * LoadWeb(日志,控件,返回,COOKIE,头部,用户,密码,成功与否,是否递归了一次)
                   登录模块
        */
        public void LoadWeb(ref List<string> LLog, ref HttpHelper helper, ref string html, ref string http_cookie, string Var_UseAgent, string UserName, string UserPass,ref Boolean boolerror,int fori, string proxy)
        {
            HttpHelper helpera = new HttpHelper(); //创建连接对像
            HttpResult result = null; //初始化值
            HttpItem item = new HttpItem(); //默认程序
            string str_err = string.Empty;
            string url = string.Empty;
            url = string.Format("http://xxxxx.com/);
            item = new HttpItem()
            {
                URL = url,
                Referer = "http://www.xxxxx.cn/",//来源URL     可选项
                Timeout = 10000,
                Cookie = http_cookie,
                Allowautoredirect = true,//是否根据301跳转     可选项
                UserAgent = Var_UseAgent,
                Accept = "*/*",//    可选项有默认值
                Method = "GET",
            };
            item.Header.Add("x-forwarded-for", proxy);
            result = helpera.GetHtml(item);
            html = result.Html;
            http_cookie = tool.CookieChong(http_cookie, result.Cookie); //+ " Province=028; City=08275; ";
            if (html.Contains("\"Message\":\""))
            {
                boolerror = true;
                if (html.IndexOf("\"Message\":\"") > 0)
                {
                    str_err = html.Substring(html.IndexOf("\"Message\":\"") + "\"Message\":\"".Length);
                    str_err = str_err.Substring(0, str_err.IndexOf("\""));
                }
                LLog.Add("帐号登录失败.失败原因:" + str_err);
                ToFile(Application.StartupPath + "\\log\\登录失败.txt", UserName + TBSplit + UserPass);
            }
            else if( html.Contains("\"Message\":null") )//登录成功
            {
                LLog.Add("帐号登录成功");
                ToFile(Application.StartupPath + "\\log\\登录成功.txt", UserName + TBSplit + UserPass);
            }
            else
            {
                boolerror = true;
                LLog.Add("帐号未知错误");
                //LoadWeb(ref LLog, ref helper, ref html, ref http_cookie, Var_UseAgent, UserName, UserPass, ref boolerror, 2);
                //if (fori == 0)
                //{
                //    LLog.Add("帐号未知错误递归一次查看是否验证码问题");
                //}
                //else
                //{
                    ToFile(Application.StartupPath + "\\log\\未知错误.txt", UserName + TBSplit + UserPass);
                //}
}

            helper = helpera;
        }




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2015-3-15 05:51:41 | 显示全部楼层
判断一下html是否为null就可以了,这个问题已修复,下次更新会带上,
 楼主| 发表于 2015-3-15 12:11:27 | 显示全部楼层
一旦一个错误后,以下所有线程再new还是会出错。。
err.jpg
发表于 2015-3-16 08:32:07 | 显示全部楼层
kissjetg 发表于 2015-3-15 12:11
一旦一个错误后,以下所有线程再new还是会出错。。

重新New和上一次的根本没有关系。而且这个类又不静态的,说明不会有影响,除非你下次New和上次执行返回同样的结果,那肯定是一样会出错,这个不说了吧。我下次更新,把这个返回一个空字符串就不会报这个错了,而在这之前你只需要判断一下是否为NUll就行了。

发表于 2015-3-16 09:01:59 | 显示全部楼层
我只是路过打酱油的~~~
发表于 2015-3-31 15:00:01 | 显示全部楼层
我只是路过打酱油的。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-23 00:18

© 2014-2021

快速回复 返回顶部 返回列表