|
楼主 |
发表于 2017-2-3 23:49:08
|
显示全部楼层
本帖最后由 欧阳天佐 于 2017-2-3 23:51 编辑
谢谢飞哥回答,但我还是有些疑问。connection确实影响不大,但是我还是想知道大小写能不能进行修改,因为ie下是大写,chrome下是小写,如果用chrome的作为爬虫的ua,我担心有的网站反爬虫会根据这一点区分是否是非正常的浏览。
再有就是关于header的,确实如你所说,header的顺序就是根据你添加的顺序来的,但是仅针对自己添加的header,也就是用item.Header.Add方法添加的header顺序可变。但是对于类中自带的header(cookie、origin、User-Agent、accept等),我试了试下面两种写法
HttpItem item = new HttpItem()
{
Accept = "*/*",
URL = url,//URL 必需项
}
HttpItem item = new HttpItem()
{
URL = url,//URL 必需项 Accept = "*/*",
}
上面的两种写法运行时用fiddler抓包时,在Raw中看,顺序并没有改变,还请飞哥指导一下哈~
|
|