http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 43505|回复: 16

[教程] 【万能框架教程】- 如何设置请求头信息(Header)

[复制链接]
发表于 2014-9-9 09:32:20 | 显示全部楼层 |阅读模式

导读部分

【HttpHelper万能框架】教程目录贴  http://www.sufeinet.com/thread-9989-1-1.html


教程部分


每一次的Http请求都有一个请求头信息,很多网站会利用这个请求头信息来限制用户的访问,和防止抓取数据。比如我们使用Firbug抓取时会有如下显示 ,访问本站主页
QQ截图20140909092252.jpg

这都是请求头信息。
那么我们应该怎么来带入这些数据呢。方法很简单向下看
第一步引入命名空间
[C#] 纯文本查看 复制代码
using CsharpHttpHelper;

代码如下
[C#] 纯文本查看 复制代码
            //创建Httphelper对象
            HttpHelper http = new HttpHelper();
            //创建Httphelper参数对象
            HttpItem item = new HttpItem()
            {
                URL = "http://www.sufeinet.com",//URL     必需项    
                Method = "get",//URL     可选项 默认为Get   
                ContentType = "text/html",//返回类型    可选项有默认值   
                //ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值   
            };
            item.Header.Add("key1", "value1");
            item.Header.Add("key2", "value2");
            //请求的返回值对象
            HttpResult result = http.GetHtml(item);
            //获取请请求的Html
            string html = result.Html;
            //获取请求的Cookie
            string cookie = result.Cookie;

简单吧,
这就是Httphelper万能框架的便捷之处



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-9-9 13:53:45 | 显示全部楼层
强烈支持楼主ing……
发表于 2014-9-10 14:30:42 | 显示全部楼层

强烈支持楼主ing……
发表于 2014-9-12 13:43:38 | 显示全部楼层
强烈支持楼主ing……
发表于 2015-1-5 12:24:15 | 显示全部楼层
QQ截图20150105121839.png
万能框架这里 设置user agent,提示“必须使用适当的属性或方法修改“User-Agent”标头。
参数名: name”。

我看了下帖子:http://www.sufeinet.com/thread-2131-1-1.html  说不能用。那要如何用呢。像一些基本的采集登陆POST都是要设置这些的呀。
 楼主| 发表于 2015-1-5 12:43:05 | 显示全部楼层
UserAgent不是有这个属性吗,为什么要添加到Header里面
发表于 2015-1-30 23:38:22 | 显示全部楼层
膜拜中....!
回复

使用道具 举报

发表于 2015-7-13 23:42:47 | 显示全部楼层
"无法直接修改标题“Host”。\r\n参数名: name"
我设置Header出现上面错误
Host: cn.investing.com
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0
Accept: application/json, text/javascript, */*; q=0.01
Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
X-Requested-With: XMLHttpRequest
Referer: http://cn.investing.com/indices/uk-100
Cookie: SideBlockUser=a%3A2%3A%7Bs%3A10%3A%22stack_size%22%3Ba%3A1%3A%7Bs%3A11%3A%22last_quotes%22%3Bi%3A8%3B%7Ds%3A6%3A%22stacks%22%3Ba%3A1%3A%7Bs%3A11%3A%22last_quotes%22%3Ba%3A1%3A%7Bi%3A0%3Ba%3A3%3A%7Bs%3A7%3A%22pair_ID%22%3Bs%3A2%3A%2227%22%3Bs%3A10%3A%22pair_title%22%3Bs%3A0%3A%22%22%3Bs%3A9%3A%22pair_link%22%3Bs%3A15%3A%22%2Findices%2Fuk-100%22%3B%7D%7D%7D%7D; _ga=GA1.2.559262208.1436693010; __gads=ID=86d6e0074ab22fd2:T=1436693034:S=ALNI_MbYVsTJBGjGSdkcoxRC5SmsTOMbDw; PHPSESSID=hh6th7bl54a8nh7tl8vrukmor6; geoC=CN; fpros_popup=1436803577; gtmFired=OK; _gat=1; _gat_allSitesTracker=1
Connection: keep-alive
Cache-Control: max-age=0
 楼主| 发表于 2015-7-14 09:10:03 | 显示全部楼层
有属性的要用属性,不是所有的都可以直接加的,
发表于 2017-5-27 08:27:30 来自移动端 | 显示全部楼层
可否获取请求头request header的值
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-22 00:42

© 2014-2021

快速回复 返回顶部 返回列表