苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

12
返回列表 发新帖
楼主: jlcool

[HttpHelper] httphelper多线程访问同时执行数上限无法突破

[复制链接]
 楼主| 发表于 2017-9-17 15:42:28 | 显示全部楼层
本帖最后由 jlcool 于 2017-9-17 15:55 编辑
站长苏飞 发表于 2017-9-13 08:38
请求量大。限制是请求的网站本身,不是程序的问题,想彻底解决需要自己设计解决方案,比如当失败时加个重 ...

对http实在疑惑
我的程序是这样的,开始好好的,突然就80%的请求都超时了,错误了,如果是服务器问题,我前面的请求停止了,后面不是应该恢复吗?请问我该怎么验证呢假如开了两个程序,出现超时时和错误时,关闭一个程序,另一个马上恢复正常,我想还是我的程序或者服务器的 瓶颈限制吧,到底是哪里出现了限制呢?


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2017-9-18 12:33:59 | 显示全部楼层
这个情况有点复杂,比如我说一种情况:DNS缓存,每一个程序在启动前调取 一次DNS指向之后一直到程序结束基本是不会再次读取配置文件的,也不是说假如你的域名sufeinet.com指向的是192.1.1.2p 这个IP,那么你在程序启动中更新解析IP是不生效的,即使手动修改Host文件也一样不生效,只有重新启动程序才会再次读取配置。

换句话说,DNS缓存的不仅仅是解析IP,有时候也有错误内容,在一个时间差内是不会刷新的,这个说实话想搞明白不是很容易,还不如想办法在出现问题时如何重启或者自动恢复。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-27 05:41

© 2014-2021

快速回复 返回顶部 返回列表