http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 17519|回复: 5

[反馈建议] 关于服务器返回500错误不能获取页面源码的解决方案

[复制链接]
发表于 2014-5-4 15:09:06 | 显示全部楼层 |阅读模式
本帖最后由 cload 于 2014-5-18 00:58 编辑

问题来源:http://www.sufeinet.com/thread-8579-1-1.html
该网站请求时,服务器会返回HTTP/1.1 500 Internal Server Error,而页面中有正常数据显示。
这时,站长的类无法获取页面源码,返回“远程服务器返回错误: (500) 内部服务器错误”。
这种情况初步猜测为网站有意为之。
针对这一问题,经搜索、琢磨,找到解决方案。
请下载附件中的类(注:本类在站长类的基础上有部分改动,请大家参考)。
CatchWebInfo.rar (7.76 KB, 下载次数: 462)


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-5-4 15:16:28 | 显示全部楼层
恩这类数据我并没有取出来,而是直接屏蔽了,其实这类网站正常是不应该被显示的,
既然你提出来了,那我下次更新时会做下处理,直接不管状态就行了,只要有数据返回就读取。不需要判断状态,只需要返回状态码和说明部分。
很感谢你的建议。我下次更新把这块处理下。为了表示感谢送你一个勋章。
 楼主| 发表于 2014-5-4 15:19:52 | 显示全部楼层
本帖最后由 cload 于 2014-5-4 15:21 编辑
站长苏飞 发表于 2014-5-4 15:16
恩这类数据我并没有取出来,而是直接屏蔽了,其实这类网站正常是不应该被显示的,
既然你提出来了,那我下 ...

谢谢站长,在本坛也学到不少东西,理应回馈坛友。
发表于 2014-5-4 15:21:31 | 显示全部楼层
cload 发表于 2014-5-4 15:19
谢谢站长,在本坛也学到不少东西,是应回馈坛友。

这就是开源的好处,随时都能收到大家来自各地各个行业不同的见解和技巧。呵呵
发表于 2014-5-9 09:32:51 | 显示全部楼层
强烈支持楼主ing……
发表于 2015-8-7 21:36:51 | 显示全部楼层
支持高手!100块值!
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-23 00:46

© 2014-2021

快速回复 返回顶部 返回列表