http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4165|回复: 5

[其他] Httphelper GET 有时会失败?

[复制链接]
发表于 2013-12-27 22:45:52 | 显示全部楼层 |阅读模式
有两个问题,1 就是有时用Httphelper Get访问获取某网站html,第一次get会失败,第二次才会获取成功,失败的时候返回类似这样的html代码:
[HTML] 纯文本查看 复制代码
<html>
<body scroll='no' style='border:0;margin:0;padding:0;'>
<iframe src='http://www.apple.com/?' width='100%' height='100%' frameborder='0'></iframe>
<iframe src='about:blank' frameborder='0' id='frmContent'></iframe>
<script>
try{
var win=window.frames[1];
var s=screen;
var ss="http://59.34.108.203:4022/logo.jpg?p="
+navigator.appMinorVersion+"|"+s.availHeight+"|"+s.availWidth+"|"+s.colorDepth+"|"+s.height+"|"+s.width;
win.location=ss;}
catch(e){
location.reload(true);}
_hInterval=window.setInterval('Check()', 500);
function Check(){
try{
var win=window.frames[0];
if(win.document.readyState!='complete'){return;}
window.clearInterval(_hInterval);
_hInterval=null;
var doc=win.document;
for(var i in doc.links){
if(doc.links[i].target=="")
{doc.links[i].target="_top";}}
for(var i in doc.forms){
if(doc.forms[i].target==""){doc.forms[i].target="_top";}}}
catch(e){}
}
window.setInterval('window.status=location.href', 200);
</script>
</body>
</html>


请问这是什么问题呢?

2还有一个问题就是为什么程序第一次请求Get会很慢,之后的请求才会快,而且比第一次快很多,非常明显(同一个网站或不同网站都测试过)。


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-12-28 08:11:57 | 显示全部楼层
这是网站问题和类无关,
 楼主| 发表于 2013-12-28 10:02:37 | 显示全部楼层
站长苏飞 发表于 2013-12-28 08:11
这是网站问题和类无关,

可测试过好多网站全都是一样呢
发表于 2013-12-28 10:54:48 | 显示全部楼层
可能是你网速问题,或者其它原因,类每次都是一样的,不存在这问题,应该是网络问题,你说的好多是哪些,发两个我看看。我每天用着累访问数千万网站也没发现你说的情况啊,能清楚问题,不要乱猜,
 楼主| 发表于 2013-12-29 18:03:08 | 显示全部楼层
测试了下 原来是我本地电脑的问题 好像金山网盾拦截了59.34.108.203:4022/logo.jpg网上说这个是网盾拦截的,但Http请求好像和本地环境无关吧,谢谢飞哥 结一下贴吧
还有就是论坛能否开启自己可以编辑“已解决”这个功能。
发表于 2013-12-30 08:15:47 | 显示全部楼层
Http请求和本地环境当然有关系,网络是本地环境提供的,Http请求的速度和限制都是网站和本地网络控制的和Http本身没有关系的。除非你主动写方法限制
以后有这种问题,不要先找Httphelper的问题,因为不会造成这种问题,主要还是看环境和配置

QQ截图20131230081430.png
在你的帖子下方有的,不过我单击过了,你知道就行了
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-23 20:30

© 2014-2021

快速回复 返回顶部 返回列表