苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: lotilaly

[其他] 【菜鸟求教】使用httpHelper模拟url返回html与HttpWatch中的Content不一样

[复制链接]
 楼主| 发表于 2014-1-10 16:12:10 | 显示全部楼层

     呃....


    今天下午尝试了十多次还是没能获取到正确的内容...你能给建议么...{:soso_e183:}


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-1-10 16:14:03 | 显示全部楼层
不要用字符串Cookie试试
http://www.sufeinet.com/thread-6015-1-1.html参考这里有这个Cookie
 楼主| 发表于 2014-1-10 16:17:44 | 显示全部楼层
站长苏飞 发表于 2014-1-10 16:14
不要用字符串Cookie试试
http://www.sufeinet.com/thread-6015-1-1.html参考这里有这个Cookie


我用的你写的“苏飞开发助手V1.0-beta”测试的,我都是先用你的助手等到正确的结果后在把生成的打码放到我程序里边。
发表于 2014-1-10 16:23:44 | 显示全部楼层
那个只支持字符串Cookie
 楼主| 发表于 2014-1-10 16:25:16 | 显示全部楼层
站长苏飞 发表于 2014-1-10 16:23
那个只支持字符串Cookie

好 那我按照新的方法用程序测试下 多谢 嘿嘿
 楼主| 发表于 2014-1-12 14:08:04 | 显示全部楼层
本帖最后由 lotilaly 于 2014-1-12 14:31 编辑
站长苏飞 发表于 2014-1-10 16:14
不要用字符串Cookie试试
http://www.sufeinet.com/thread-6015-1-1.html参考这里有这个Cookie

我设置了ResultCookieType为ResultCookieType.CookieCollection,并使用CookieCollection接受返回的cookie果然是可以啦!
多谢!{:soso_e100:}

现在有个新的问题,就是在获取到如下的location后,需跳转到这个url中获取些参数,这个使用这个url加上上边的配置,返回的却是“无效的 URI: 未能确定 URI 的格式。”,这个带有%2F和%3D这种链接怎么处理啊?
[HTML] 纯文本查看 复制代码
https//account.xiaomi.com/sts?sid=passport&followup=%2Fpass%2FuserInfo%3FuserId%3D218209913&sign=QCYL6c48CrbEWXkj01sx5Bud4XE%3D&auth=BOvnJabPHh2hdHYeDdbP7zxTviaClHwkz4lBBQIERhqyTPwcyv%2FXVHL7KxuOemgtXjm7zMyvY6SeFbBQC0OK9JAG6RlZiazqGj465hOhXg%2BSNwLaLYlPi19IwD2CBWNCHWSkjUuNvo8FW7c4jZRGYG%2FjHB85u1dI1IlsOElRMPU%3D&nonce=IZP8oCaiQPUBYV6k&_ssign=tirDarXZs13Nz4BVt8iyZBmD8lc%3D


我把这个url中的字符替换回来执行还是返回“无效的URI,未能确定URI的格式”
[HTML] 纯文本查看 复制代码
https//account.xiaomi.com/sts?sid=passport&followup=/pass/userInfo?userId=218209913&sign=QCYL6c48CrbEWXkj01sx5Bud4XE=&auth=h5BSobnQv/wR4/ST4xmXqRPIMjNSWkWKA+8qJ9slWe7lSfpra2BLRkIFzFtKHPvjZwQ42xItQoJTM+iPZcr8JzHIYcyWFrgwYooYF7PjkLzaUdFh1pNLrVTZPymKd07zzaszcSAMvnv/YnZE9W81kfxkHllumOc3ccGg0xOyHbg=&nonce=JU81qSlyuCYBYV7E&_ssign=dB5u6JtU6TaTonSBs+Y6UNk7jt0=




 楼主| 发表于 2014-1-12 14:34:55 | 显示全部楼层
lotilaly 发表于 2014-1-12 14:08
我设置了ResultCookieType为ResultCookieType.CookieCollection,并使用CookieCollection接受返回的cooki ...

找到错误啦 ---- 拼串的时候少了个“:” {:soso_e127:}
发表于 2014-1-13 08:03:59 | 显示全部楼层
发表于 2016-11-24 13:06:17 | 显示全部楼层
站长苏飞 发表于 2014-1-10 11:31
修改成功了吗?那说明没有修改成功吧

The URL has moved <a href="http://v.guagua.cn/178222">here</a> 苏飞大大 请问这个是不是跳转的意思?我访问了一个网站 他返回的源码是其他网址的源码。。
发表于 2016-11-24 13:49:11 | 显示全部楼层
feijidada 发表于 2016-11-24 13:06
The URL has moved here 苏飞大大 请问这个是不是跳转的意思?我访问了一个网站 他返回的源码是其他网址 ...

是的,
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-28 14:05

© 2014-2021

快速回复 返回顶部 返回列表