http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 8144|回复: 7

[求助] 3-5分钟 :基础连接已经关闭: 连接被意外关闭。

[复制链接]
发表于 2018-11-13 17:40:50 | 显示全部楼层 |阅读模式
3-5分钟就断开是啥原因呢,我每5s发1-2次请求,以前好像也这么发过,但是没遇到过这种
System.Net.ServicePointManager.Expect100Continue = false;

设置了这个也没用,百度出来的基本都是服务器上的解决方法



补充内容 (2018-11-14 14:45):
找到问题了!!!
原来是服务器那边隔几分钟会更新一个cookie,因为一开始的时候我没想到,所以也懒得去成百个连接里找这个问题,所以导致了这个问题!!!
结贴:还是要自己小心啊!!!

补充内容 (2018-11-14 15:59):
。。。。。。。我以为找到原因了,最后证明并不是,蛋疼了


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2018-11-14 13:37:23 | 显示全部楼层
被服务器限制
 楼主| 发表于 2018-11-14 13:57:55 | 显示全部楼层

但是网页上用js可以无限制发送,网上改连接数、HttpVersion.Version10 都试过了。
 楼主| 发表于 2018-11-14 14:11:02 | 显示全部楼层
抓包后网页不停发post的所有数据都是一样的,而且中间也没见有任何其他请求,网站也不是https
 楼主| 发表于 2018-11-14 16:27:57 | 显示全部楼层

目前的情况是:
我用post每5s发送一次请求,基本在50-60次的时候就被断开了
刚刚我发现中途更新了cookie,但那是因为服务器设置了Keep-Alive: timeout=10, max=100,是在101次的时候才断开然后更新的cookie。
Expect100Continue 这个属性的意思应该就是针对100次断开这个吧。
但是这还没到100次

我对cookie header做过详细的对比,都一样的。
大佬求助!!!!
发表于 2018-11-15 14:04:31 | 显示全部楼层
Expect100Continue 控制不了的,主动权在服务端这种情况只能想办法保持,当你断开时可以再重新链接一次获取新的Cookie。
 楼主| 发表于 2018-11-15 19:41:24 | 显示全部楼层
sufeinet 发表于 2018-11-15 14:04
Expect100Continue 控制不了的,主动权在服务端这种情况只能想办法保持,当你断开时可以再重新链接一次获取 ...

大佬,能不能QQ聊下。
这个问题真的让我头大。
服务器开启了 Keep-Alive: timeout=10, max=100
我用fiddle抓包跟我程序里都是第一次能取到这个参数
后面的header里直接就是 Transfer-Encoding: chunked

但问题是浏览器不会出现连接关闭的情况,我的程序会!而cookie、post数据之类的都完全没问题。
我不知道到底差别在哪,球球你经验多帮忙分析下,救命!!!
发表于 2018-11-26 17:17:03 | 显示全部楼层
方法参考我的帖子,keep-live连续请求不出现 在请求头里的解决方案。这个可能 你的头里面在后续的请求中没有带上这个参数。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-19 20:20

© 2014-2021

快速回复 返回顶部 返回列表