http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

12
返回列表 发新帖
楼主: 软件家园

[其他] 飞哥,你的这个HttpHelper类很好用,但是.......

[复制链接]
 楼主| 发表于 2013-2-21 18:43:01 | 显示全部楼层
对啊,就是返回的cookie多了一些东西


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-2-21 21:23:09 | 显示全部楼层
去除下看看其他的没必要的参数,看是否是其他的干扰的
发表于 2013-3-9 14:05:46 | 显示全部楼层
淘浩哥 发表于 2013-2-20 08:27
httphelper类返回的cookie,大部分带有 PATH=/,很奇怪,而且有时候还存在cookie缺失的情况,这样没法登陆

带Path不是HttpHelper类带的,而是C#HTTP请求带,这个问题需要你自己处理,可以使用替换的方法进行清理
,这个我暂时还没有找到好的解决方式,不过大部分情况 下是不影响的。

缺失的情况基本不存在,那是因为你使用浏览器时执行Js生成的Cookie,实现返回的是没有变化,但是Htt请求是不会执行JS的,所以你看着会少,其它不是的。了解下原理就明白了

如果想得到完整的就要执行JS(分析算法,或者是使用webbrowser控件控件的方式获取)
发表于 2013-3-9 14:13:51 | 显示全部楼层
admin 发表于 2013-3-9 14:05
带Path不是HttpHelper类带的,而是C#HTTP请求带,这个问题需要你自己处理,可以使用替换的方法进行清理
...

网上的资料基本是 C#利用浏览器获取完整COOKIE,看来也只能这样了
发表于 2013-3-9 14:49:08 | 显示全部楼层
淘浩哥 发表于 2013-3-9 14:13
网上的资料基本是 C#利用浏览器获取完整COOKIE,看来也只能这样了

我测试过你的那个登录,CookIE正常情况下是带Path的,如果不带就不知道存放在什么地方了,你看到的不带应该是处理之后的。这个很显示是Cookie多了,想办法替换一下吧,或者是清理一下然后再发送就可以登录了
发表于 2013-3-9 15:25:35 | 显示全部楼层
admin 发表于 2013-3-9 14:49
我测试过你的那个登录,CookIE正常情况下是带Path的,如果不带就不知道存放在什么地方了,你看到的不带应 ...

老大,有没有cookie合并的教程?
发表于 2013-3-9 15:31:04 | 显示全部楼层
闷油瓶 发表于 2013-3-9 15:25
老大,有没有cookie合并的教程?

暂时没有,以后可能会这点帮助类
发表于 2013-3-9 15:31:49 | 显示全部楼层
admin 发表于 2013-3-9 15:31
暂时没有,以后可能会这点帮助类

好的,希望老大尽快出哈.
发表于 2013-3-9 15:44:23 | 显示全部楼层
闷油瓶 发表于 2013-3-9 15:31
好的,希望老大尽快出哈.

到时候会分享到群里你关注下吧,因为最近发现很多人提这方面的问题,我有这个打算写写
发表于 2013-4-5 18:51:34 | 显示全部楼层
那 如果有是这样 那就是应该把PATH去掉咯?
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-22 08:13

© 2014-2021

快速回复 返回顶部 返回列表