http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: 站长苏飞

[反馈建议] 关于Httphelper类的建议调查

 关闭 [复制链接]
抢楼 抢楼 本帖为抢楼帖,欢迎抢楼! 
 楼主| 发表于 2013-10-6 15:14:10 | 显示全部楼层
cload 发表于 2013-10-6 14:58
不再重复发帖了。
请站长移步:http://www.sufeinet.com/forum.php?mod=viewthread&tid=5544
注释掉类 ...

如果是这样 那你就先注释那一句先用着,我有时间做做测试看看是什么原因造成的。到时候我会发个帖子出来


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
回复

使用道具 举报

发表于 2013-10-6 15:16:05 | 显示全部楼层
OK。也看了大家分享的几个源码,有部分(淘宝登录的那个)也直接把那句去掉了。
回复

使用道具 举报

 楼主| 发表于 2013-10-6 15:18:30 | 显示全部楼层
cload 发表于 2013-10-6 15:16
OK。也看了大家分享的几个源码,有部分(淘宝登录的那个)也直接把那句去掉了。

应该不是,原来是没有这个,这个是最近才加上的是9.29号才加上的,如果使用中有问题可以先去掉,我再做做测试,或者重新组织下参数可以配置是否使用这行,我争取在下次更新时把这问题解决了。


回复

使用道具 举报

发表于 2013-10-6 15:20:44 | 显示全部楼层
OK,站长辛苦了。
回复

使用道具 举报

发表于 2013-10-21 22:26:31 | 显示全部楼层
我想提个需求,对于有些会跳转的网站希望可以把跳转后的网址返回出来。我现在是想通过不设置自动跳转,然后解析。但对于一些有的跳转返回的页面不一致,无法做到全部统一。
回复

使用道具 举报

 楼主| 发表于 2013-10-22 08:14:09 | 显示全部楼层
xlj_qq 发表于 2013-10-21 22:26
我想提个需求,对于有些会跳转的网站希望可以把跳转后的网址返回出来。我现在是想通过不设置自动跳转,然后 ...

你说的这个情况分为两种,第一种是系统跳转就是我们常说的301 302类型的,这种一般是通过IIS等平台,实现的,这种只要设置
[code=csharp] Allowautoredirect = true,//是否根据301跳转     可选项   
[/code]
这样设置就会自动跳转了
第二种是代码跳转就是执行JS之类的。这种方式是没有办法分析的。因为不清楚他们具体是怎么跳的。这种只能自己具体问题具体分析。

回复

使用道具 举报

发表于 2013-11-20 21:14:38 | 显示全部楼层
很感谢提供这个类。
使用中遇到一个问题和提一个建议。
[C#] 纯文本查看 复制代码
private void SetCookie(HttpItem item)
        {
            if (!string.IsNullOrWhiteSpace(item.Cookie))
                //Cookie
                request.Headers[HttpRequestHeader.Cookie] = item.Cookie;
            //设置Cookie
            if (item.ResultCookieType == ResultCookieType.CookieCollection && item.CookieCollection != null) //&& item.CookieCollection.Count > 0)
            {
                request.CookieContainer = new CookieContainer();

                request.CookieContainer.Add(item.CookieCollection);
            }
        }

按照原来的条件,如果我们在一些场合先要GET获得cookie再POST时,往往获取不到GET返回的CookieCollection,只能返回string类型的cookie,把 item.CookieCollection.Count > 0条件去除后,就可以正常获取。
回复

使用道具 举报

 楼主| 发表于 2013-11-21 08:33:30 | 显示全部楼层
qq33444610 发表于 2013-11-20 21:14
很感谢提供这个类。
使用中遇到一个问题和提一个建议。
[mw_shl_code=csharp,true]private void SetCooki ...

确实有这个问题,很感觉你的反馈,我已修复这个问题,你现在可以重新下载 http://www.sufeinet.com/thread-3-1-1.html
回复

使用道具 举报

发表于 2013-11-21 09:09:56 | 显示全部楼层
提出一个建议,是否添加cookie自动追加功能。往往我们访问一个网站cookie都是几个网页重定向后获取全的。还有就是自动重定向问题,如果自动重定向往往cookie获取不全,建议添加通过条件判断来进行重定向,
比如header中的location不能null时进行重定向,最好添加重定向次数。不加的话有些网站会出现无限重定向的情况。
回复

使用道具 举报

 楼主| 发表于 2013-11-21 09:41:12 | 显示全部楼层
qq33444610 发表于 2013-11-21 09:09
提出一个建议,是否添加cookie自动追加功能。往往我们访问一个网站cookie都是几个网页重定向后获取全的。还 ...

Htttphelper暂时不会考虑走逻辑方向。感谢你的建议
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-15 01:11

© 2014-2021

快速回复 返回顶部 返回列表