http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5844|回复: 10

[求助] 关于HttpHelper类的一些疑问

[复制链接]
发表于 2014-9-19 11:38:16 | 显示全部楼层 |阅读模式
本人最近尝试着对12306网络进行着一些访问测试。遇到一个问题(希望大牛给出建议):
这是调用httphelper访问12306的一段源码(获取余票信息):
[C#] 纯文本查看 复制代码
  http = new HttpHelper();
            item = new HttpItem()
            {
                URL = String.Format("https://kyfw.12306.cn/otn/leftTicket/queryT?leftTicketDTO.train_date={0}&leftTicketDTO.from_station={1}&leftTicketDTO.to_station={2}&purpose_codes={3}", time, start, dest, purpose_codes), 
                Method = "get",//URL     可选项 默认为Get   
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型,版本,操作系统     可选项有默认值   
                ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值   
                ResultCookieType = ResultCookieType.CookieCollection,
                Timeout=5000,
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;


1。这几天国庆抢票 ,所以我尝试着用Httphelper这个类来刷刷票练练手,
             但发现一个问题 :我在开票前就高频率的调用上面的函数来获取余票信息(判断是否放票了),但每次我这边获取到‘以放票‘的信号基本都比12306官网 360等网站获取信号要来得慢,导致刷票节奏慢了很多,基本都是失败收场。
      所以我有一个疑问:HttpHelper高频率的进行同一个url的抓包操作会不会由于频率太高而产生一段时间内只读取本地缓存信息?但我看每次调用前都实例化一次又觉得不可能存在这样的问题~~可能有很多我还不懂的东西在里面,希望大神指点一下思路!


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2014-9-19 11:38:29 | 显示全部楼层
自己的沙发!!
 楼主| 发表于 2014-9-19 11:51:57 | 显示全部楼层
大神呢?大神召唤术!!!
发表于 2014-9-19 12:05:56 | 显示全部楼层
这个不可能,我里面全是以对象的方法 ,没有静态化的东西。就是为了适应高速和多线程的, New一次就够了,来回的New,反而慢。
 楼主| 发表于 2014-9-19 13:17:30 | 显示全部楼层
站长苏飞 发表于 2014-9-19 12:05
这个不可能,我里面全是以对象的方法 ,没有静态化的东西。就是为了适应高速和多线程的, New一次就够了, ...

我也就是因为没发现静态的,所以觉得没问题~~哎 不知道问题出在什么地方~~就像我在12306网站刷了一遍,已经有票,但我在程序里面设置个段点返回的数据 ,还没显示有票。过一点时间 再返回 就有了 ,。就是慢了那么些,同样的一台电脑。表示搞不懂!
发表于 2014-9-19 14:10:11 | 显示全部楼层
w393278126 发表于 2014-9-19 13:17
我也就是因为没发现静态的,所以觉得没问题~~哎 不知道问题出在什么地方~~就像我在12306网站刷了一遍,已 ...

那你这个怀疑也太奇怪了吧。你应该从你程序的角度看看,如果真不相信可以不使用我的Httphelper自己实现一版看看怎么样。
发表于 2014-9-19 14:11:53 | 显示全部楼层
自己实现可以参考这里http://www.sufeinet.com/thread-6-1-1.html
发表于 2014-9-19 14:45:04 | 显示全部楼层
多开几个线程,分别实例化,多跑跑试试。
发表于 2014-9-21 21:16:41 | 显示全部楼层
分析代码的运行时间效率 还有 固定部分的值不要每次运行都对其赋值 每一次赋值都是开辟空间,还有论坛的苏飞 大家信得过  仰慕你用你的那个httpheler  没有代码无bug 没有代码无缺陷 还是以一种空杯的心态的好。
发表于 2014-9-22 10:20:17 | 显示全部楼层
学习学习
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-15 01:22

© 2014-2021

快速回复 返回顶部 返回列表