http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4621|回复: 3

[HttpHelper] 求助 用httphelper抓取一个网站返回【基础连接已经关闭: 发送时发生错误。】

[复制链接]
发表于 2015-11-24 12:20:07 | 显示全部楼层 |阅读模式
直接IE访问是可以的
https://book.flypeach.com/default.aspx?ao=B2CENUS&ori=KIX&des=CTS&dep=2016-01-28&adt=1&chd=0&inf=0&langculture=en-US&bLFF=false
爬取就不行  下面是代码

[C#] 纯文本查看 复制代码
            HttpItem item_ = new HttpItem()
            {
                URL = "https://book.flypeach.com/default.aspx?ao=B2CENUS&ori=KIX&des=CTS&dep=2015-11-28&adt=1&chd=0&inf=0&langculture=en-US&bLFF=false",//URL     必需项    
                Method = "get",//URL     可选项 默认为Get   
                ContentType = "text/html",//返回类型    可选项有默认值   
                //ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值   
                Host = "book.flypeach.com",
                UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/5.0; .NET4.0C; .NET4.0E)",
                Accept = "application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, */*",
                Allowautoredirect = true,//自动跳转    
                Cookie = cookie,
            };
            //请求的返回值对象
            HttpResult result_ = http.GetHtml(item_);
            //获取请请求的Html
            string html_ = result_.Html;



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2015-11-24 13:05:04 | 显示全部楼层
抓到的包提供一下
 楼主| 发表于 2015-11-24 13:15:48 | 显示全部楼层

这些是包头

Request Headers Value
(Request-Line) GET /default.aspx?ao=B2CENUS&ori=KIX&des=CTS&dep=2015-11-28&adt=1&chd=0&inf=0&langculture=en-US&bLFF=false HTTP/1.1
Accept application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, */*
Accept-Language zh-CN
User-Agent Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/5.0; .NET4.0C; .NET4.0E)
Accept-Encoding gzip, deflate
Host book.flypeach.com
Connection Keep-Alive
Cookie __utmc=134592366; __utma=134592366.1233770075.1448332708.1448332708.1448338723.2; __utmz=134592366.1448332708.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); ASP.NET_SessionId=yvunq245f14hg1v5zfn0t3mm; SERVERID=API007
发表于 2015-11-24 17:29:00 | 显示全部楼层
HTTP/1.1
  ProtocolVersion = System.Net.HttpVersion.Version10,//获取或设置用于请求的 HTTP 版本。默认
加上这个试试
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-23 21:15

© 2014-2021

快速回复 返回顶部 返回列表