http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: 站长苏飞

[发布] [C#HttpHelper]官方产品发布与源码下载---苏飞版

   关闭 [复制链接]
发表于 2014-2-13 17:34:45 | 显示全部楼层
建议在HttpReault类中提供ResponseUri类似的属性
如果有location,返回之,没有则返回原始请求地址
便于设置后续请求的referer


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-1-24 19:40:41 | 显示全部楼层
貌似好复杂  需要好好学习下
发表于 2014-1-15 22:22:18 | 显示全部楼层
post不了数据,望大家帮忙看看
[C#] 纯文本查看 复制代码
 const string url = "http://www.mydg.com/test.php";
            var requestHeader = new HttpItem
            {
                Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
                URL = url,
                Cookie = _cookie,
                Method = "post",
                Allowautoredirect = true,
                UserAgent =
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36",
                PostDataType = PostDataType.String,
                Postdata = string.Format("item_url_refer={0}&item_id={1}&item_id_num={2}&skuId={3}", "", "17445701835", "17445701835", "42960695674")

            };
            var http = new HttpHelper();
            var result = http.GetHtml(requestHeader);

test.php获取不了数据
发表于 2014-1-14 21:14:23 | 显示全部楼层
温柔地杀了它 发表于 2014-1-14 21:12
我该如何验证 或者对比我所获取的带htpponly属性的cookie是否有获取完整呢?

我使用了  苏飞开发助手V1.0 用第一步get Wordpress登陆的cookie进行POST模拟登陆 但是却登陆不了 不知道会不会是获取的httponly属性的cookie有问题
发表于 2014-1-14 21:12:17 | 显示全部楼层

QQ截图20140114211054.jpg 我该如何验证 或者对比我所获取的带htpponly属性的cookie是否有获取完整呢?
 楼主| 发表于 2014-1-13 15:42:45 | 显示全部楼层
温柔地杀了它 发表于 2014-1-13 14:40
当cookie为httponly属性时候可以获取到吗

当然可以
发表于 2014-1-13 14:40:54 | 显示全部楼层
当cookie为httponly属性时候可以获取到吗
发表于 2013-12-18 10:49:10 | 显示全部楼层
有些时候出现403错误是服务器进抓,有没有什么办法解决呢
发表于 2013-12-17 15:42:11 | 显示全部楼层
非常好的东西
发表于 2013-12-11 11:12:15 | 显示全部楼层
不错,看看。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-22 19:21

© 2014-2021

快速回复 返回顶部 返回列表