http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5170|回复: 6

[错误与异常] httphelpler 缓存问题,求救苏飞哥!!!

[复制链接]
发表于 2015-10-26 11:50:31 | 显示全部楼层 |阅读模式
麻烦请教一下苏飞哥,httphelper 访问一个网页需要考虑浏览器缓存吗?为什么我有时候get同一个页面,比服务器更新晚了好久才刷出最新的。我每秒get一次,有时候要2分钟才得到新页面,有时候晚几秒,同段代码。

我看了httprequest 百度,说有 cache-control 之类的控制,no-cache 之类的,但是都是针对浏览器。
还有一种办法是每次访问一个同一个页面后面加随机数。

我现在搞不明白,就想确认一下,我怎样用httphelper 能确保每次都get回最新的页面呢?
谢谢了,搞了好几天,头都大了。还请苏飞哥出手相助!!



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2015-10-26 13:01:15 | 显示全部楼层
最新的要看服务端是怎么限制的,如果是使用的浏览器缓存,直接多加个参数就行了。比如
http://www.sufeinet.com/index.aspx如果你要获取这个页面最新的,可以这样写
http://www.sufeinet.com/index.aspx?t=1
http://www.sufeinet.com/index.aspx?t=2
http://www.sufeinet.com/index.aspx?t=3
每次改变一个值用于强制刷新
 楼主| 发表于 2015-10-26 13:22:54 | 显示全部楼层
站长苏飞 发表于 2015-10-26 13:01
最新的要看服务端是怎么限制的,如果是使用的浏览器缓存,直接多加个参数就行了。比如
http://www.sufeine ...

苏哥回的够快,大中午的不用休息。
我想知道,我用get模拟浏览器访问一个页面会有缓存吗?跟浏览器有关系吗?比如cache-control 不带的话有区别吗?还是说只要服务器策略定了,你带参数也没用?
发表于 2015-10-26 13:39:42 | 显示全部楼层
colaksp 发表于 2015-10-26 13:22
苏哥回的够快,大中午的不用休息。
我想知道,我用get模拟浏览器访问一个页面会有缓存吗?跟浏览器有关 ...

这个要分情况,如果服务端没有缓存,而是靠浏览器缓存的,你直接设置一下cache参数为不缓存就行了,如果是服务端根据某个规则限制的,这个只能找到限制的方法然后去改变它才可以。
如果是第一种直接使用我给我的方式就Ok了
 楼主| 发表于 2015-10-26 14:03:07 | 显示全部楼层
站长苏飞 发表于 2015-10-26 13:39
这个要分情况,如果服务端没有缓存,而是靠浏览器缓存的,你直接设置一下cache参数为不缓存就行了,如果 ...

多谢了,有点明白了。就是说所有的在header里边操作缓存的情况基本都是针对本地的吧(如果服务器不管这些参数的情况下)

另外,httphelper 里边的get访问如果不带cache参数,也会有缓存吗?它们存什么位置啊?还是跟ie共享?如果我UserAgent 参数是手机浏览器或是别的跟电脑里不一样的呢?

如果用您的方法解决本地缓存的话,那么是不是t=1 存一个 t=2。。。 也存,然后一直占用硬盘空间?
发表于 2015-10-26 16:09:38 | 显示全部楼层
colaksp 发表于 2015-10-26 14:03
多谢了,有点明白了。就是说所有的在header里边操作缓存的情况基本都是针对本地的吧(如果服务器不管这些 ...

缓存具体地方要看你的系统,这个你完全可能通过查百度解决,会不会一直占用空间,这个你就更不用担心了,系统会自动处理的。那可能像你说的一直存,如果这样想问题的话,你一天访问那么多网页,有几个不做缓存的,你的硬盘早换100块也不够用了。
 楼主| 发表于 2015-10-26 19:21:45 | 显示全部楼层
站长苏飞 发表于 2015-10-26 16:09
缓存具体地方要看你的系统,这个你完全可能通过查百度解决,会不会一直占用空间,这个你就更不用担心了, ...

好的,谢谢苏哥!心里终于有底了。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-16 00:43

© 2014-2021

快速回复 返回顶部 返回列表