苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5082|回复: 8

[其他] httpwebrequst 获取网页问题,苏飞大神来看下

[复制链接]
发表于 2013-9-11 13:17:40 | 显示全部楼层 |阅读模式
Console.WriteLine(postData);
            HttpItem hi = new HttpItem();
            hi.URL = PublicSource.URL + "/L_Confirm_Jeu.aspx";
            hi.Method = "POST";
            hi.Postdata = postData;
            hi.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36";
            hi.ContentType = "application/x-www-form-urlencoded";
            hi.Cookie = Command.GetCookies(PublicSource.URL);
            string res = hh.GetHtml(hi).Html;
            Console.WriteLine(res);
            if (res == null) { Console.WriteLine("超时,重投"); return TouZhu(postData); }
            if (res.Contains("parent.topFrame.Show_Confirm_Jeu"))
            {
                return true;
            }
            else if (res.Contains("重復"))
            {
                return true;
            }
            else
            {
                LogManager.WriteLog(LogFile.Error, postData);
                LogManager.WriteLog(LogFile.Error, "返回:" + res);
                return false;
            }
返回<html><head><title>Object moved</title></head><body>
<h2>Object moved to <a href="http://hh1.xx777-qas.5781nn.com/error.htm">here</a>.</h2>
</body></html> 。请问是什么问题造成的,有时候有,有时候正常。苏飞大神遇到过没。


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-9-11 13:19:37 | 显示全部楼层
<head><title>Object moved</title>表示重定向
可能是页面出错被得定向到了Error页面。因为一般网站 不会直接把错误告诉你的,而是直接定向到一个ErrorError页面
 楼主| 发表于 2013-9-11 13:32:48 | 显示全部楼层
站长苏飞 发表于 2013-9-11 13:19
Object moved表示重定向
可能是页面出错被得定向到了Error页面。因为一般网站 不会直接把错误告诉你的,而 ...

是对方网页出错了吗?如何解决呢?
发表于 2013-9-11 14:03:54 | 显示全部楼层
是的,是对方网页出错了,也可能是人家在满桌莫个条件下跳转这说不好

这是一个错误页面,但为什么条不清楚。这不用解决吧,检查到是这个页面,就表示获取数据失败
 楼主| 发表于 2013-9-11 14:05:24 | 显示全部楼层
站长苏飞 发表于 2013-9-11 14:03
是的,是对方网页出错了,也可能是人家在满桌莫个条件下跳转这说不好

这是一个错误页面,但为什么条不清 ...

晕死,时不时的出现这个。我晕。。重定向设置为TRUE能解决吗?
发表于 2013-9-11 14:07:46 | 显示全部楼层
这能解决什么啊,能解决,解决的只是转到这个错误界面

具体为什么条还是不知道的。这也可能是为人封你了,也可能是他网站出错了,这实在是定不了性。

所以只能当做是错误,失败
 楼主| 发表于 2013-9-11 14:15:06 | 显示全部楼层
站长苏飞 发表于 2013-9-11 14:07
这能解决什么啊,能解决,解决的只是转到这个错误界面

具体为什么条还是不知道的。这也可能是为人封你了 ...

噢,好的,我试试在重新请求一次。。因为这个是有时候出现。有时正常。
发表于 2013-9-11 14:19:50 | 显示全部楼层
如果能测试出来在那种情况下有问题,可以想办法解决,如果解决不了就直接当成错误或者是失败。也可以当有这种情况是重试一次,保证成功机率
其他暂时没有什么好的解决办法。
 楼主| 发表于 2013-9-11 14:24:49 | 显示全部楼层
站长苏飞 发表于 2013-9-11 14:19
如果能测试出来在那种情况下有问题,可以想办法解决,如果解决不了就直接当成错误或者是失败。也可以当有这 ...

好的,我试试,谢谢了站主。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-28 10:32

© 2014-2021

快速回复 返回顶部 返回列表