http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 8890|回复: 7

[求助] 关于Cookie 问题

[复制链接]
发表于 2012-12-29 20:17:11 | 显示全部楼层 |阅读模式
本帖最后由 yisa 于 2012-12-29 21:20 编辑

感谢老大提供httphelper这么好的类,平时自己写的东一点,西一点,很不完善
用了这个后,感觉挺完善的,不过有几点Cookie建议

1、set-cookie里取到的cookie是很乱的,希望加一个自动整理,把一些不需要的Secure,path,expires等去除
这个问题困扰了我一个下午,一直是Cookie失败,最后自己写个方法把这些去除就成功了,有些网站对Cookie检验是很严格的。

2、Accept-Language ,Connection,Expect100Continue最好增加这些head的设置,我自己已经加上了

3、关于301,302跳转的问题,HttpWebRequest自带的AllowAutoRedirect这个其实是有问题的,Cookie是无法保持的,
目前我的处理办法是手工获取返回状态,如果是302就在执行跳转并附带Cookie。

希望老大继续努力,终于找到家了,初步看了下论坛基础类很多,很有用。




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2012-12-30 10:21:54 | 显示全部楼层
好的,这个回头更新,请关注
 楼主| 发表于 2012-12-30 11:03:31 | 显示全部楼层
重点在于多次302跳转Cookie处理的问题
现在处理的头都大了,每次从SET-COOKIE 获取的不一定是完整的,可能还需要夹带之前获取的Cookie

blogger.com 你操作这google的这个登录,发现很多要改动的。{:soso_e100:}
发表于 2012-12-30 16:28:58 | 显示全部楼层
http://www.oschina.net/code/snippet_866527_15385  这个是我写的httphelper类,会自动储存cookies的,我以前用这个抓数据用的,特别是webqq那些(webqq的cookies里面有逗号,你的这个解决不好的。)。
发表于 2012-12-30 21:39:09 | 显示全部楼层
首先这个我建议用不同的httpiten
还有一个,不是有另一个cookieContainer的结果迈
发表于 2012-12-31 11:40:06 | 显示全部楼层
去回来帮你看看,现在老家呢。没办法看具体是什么情况
发表于 2012-12-31 13:23:20 | 显示全部楼层
提交cookie出现以下错误:
服务器提交了协议冲突. Section=ResponseHeader Detail=CR 后面必须是 LF
 楼主| 发表于 2013-1-2 16:01:18 | 显示全部楼层
我用了最土的办法,每次的set-cookie经过整理 附加到上一次的cookie字符串里,目前为止暂未出现问题,包括webQQ协议。Hello_World 的类初步看了下应该也不错

另外建议加一个读取图片的方法,慢慢改进强大起来吧!
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-22 20:05

© 2014-2021

快速回复 返回顶部 返回列表