苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 6082|回复: 7

[其他] HttpHelper获取不到赶集Cookie

[复制链接]
发表于 2013-10-5 22:54:52 | 显示全部楼层 |阅读模式
baidu.jpg
ganji.jpg

按照教程所示的方法 下载了证书保存
百度的可以正常获取Cookie
赶集网的却怎么也获取不到Cookie
苏飞老师有时间看一下 下面是代码

使用浏览器 第一次访问都可以看到Cookie


[code=csharp]
private void btnBaidu_Click(object sender, EventArgs e)
        {
            rtbCookie.Text = "";
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem();
            item.Method = "get";
            item.URL = txtBaidu.Text;
            item.CerPath = "d:\\cert\\ganji.cer";
            HttpResult result = http.GetHtml(item);
            rtbCookie.Text = "Baidu cookie:" + result.Cookie;
        }
        private void btnGanji_Click(object sender, EventArgs e)
        {
            rtbCookie.Text = "";
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem();
            item.Method = "get";
            item.URL = txtGanji.Text;
            item.CerPath = "d:\\cert\\ganji.cer";
            HttpResult result = http.GetHtml(item);
            rtbCookie.Text = "Ganji cookie:" + result.Cookie;
        }
[/code]

程序文件 vs2010   TestHttpWebRequest.rar (68.69 KB, 下载次数: 125)


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-10-5 23:17:45 | 显示全部楼层
赶集网按你给的链接,我抓包没发现有Cookie,是不是你浏览器的Cookie没清除抓的包?
 楼主| 发表于 2013-10-7 20:39:23 | 显示全部楼层
cload 发表于 2013-10-5 23:17
赶集网按你给的链接,我抓包没发现有Cookie,是不是你浏览器的Cookie没清除抓的包?

你用火狐清空cookie之后重新打开都能看到
发表于 2013-10-7 20:56:35 | 显示全部楼层
seoppt 发表于 2013-10-7 20:39
你用火狐清空cookie之后重新打开都能看到

https://passport.ganji.com/login.php
这个网址抓包就没Cookie啊。
奇怪,你从哪里看到的。
 楼主| 发表于 2013-10-8 08:48:29 | 显示全部楼层
cload 发表于 2013-10-7 20:56
https://passport.ganji.com/login.php
这个网址抓包就没Cookie啊。
奇怪,你从哪里看到的。

不要用哪个软件抓包 根本抓不到
你得用火狐浏览器 抓包软件和浏览器根本就比不了
发表于 2013-10-8 22:54:07 | 显示全部楼层
  他们做了cookie限制,具体术语叫啥一时想不起来了.可以通过抓包看见,你要获取到他们的cookie请参照飞哥的那个api获取cookie的.那个可以.!good luck .~ 连接就不给你发了.你在论坛找找吧.
发表于 2013-10-8 22:58:26 | 显示全部楼层
 楼主| 发表于 2013-10-9 09:06:45 | 显示全部楼层
ro4ters 发表于 2013-10-8 22:58
http://www.sufeinet.com/thread-1967-3-1.html
送佛送到西吧.

谢谢 兄弟
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-28 12:52

© 2014-2021

快速回复 返回顶部 返回列表