登陆成功后抓取多页面数据失败

smufimmu

我需要抓取一个需要登陆的网站数据， 其登陆机制与http://www.cnblogs.com/wenjiang/p/3203403.html所述网站非常类似，根据该文的提示，已经可以成功登陆，登陆以后第一次抓取本想用get来实现但该站不允许（用浏览器是可以的），只好用post,设置如下：

[C#] 纯文本查看 复制代码

item = new HttpItem()
                {
                    URL = uri,
                    Method = "post",
                    KeepAlive = true,
                    Postdata = poststr,//poststr包含用户名和密码，加上__VIEWSTATE,[color=#00ff][font=&quot][size=12px]__EVENTVALIDATION等隐含参数[/size][/font][/color]
                    Cookie = cookie,
                    ContentType = "application/x-www-form-urlencoded",
                    Allowautoredirect = false,
                };

此次可以抓到第一页数据，但同样设置抓取下一页数据时被强制中断，提示“The underlying connection was closed: A connection that was expected to be kept alive was closed by the server.”， 不知为什么会出现这样的问题？莫非需要更新cookie或poststr或者是其他设置不对？如果像浏览器那样用get来抓取数据的话，又应该如何设置？

站长苏飞

连接失效了

smufimmu

sufeinet 发表于 2018-5-24 16:59
连接失效了

谢谢苏版主关注。我明白连接被强制中断，但不明白登陆后第一次抓取成功后为什么第二次却被拒绝的原因。我想肯定是我的request里的信息不完整或不正确。请告诉我登陆后有关信息处理的流程，譬如cookie的更新，还有如何获取其它完整信息的步骤，这样我好去找到问题的根源。我用的httphelper的版本号是1.4.7，它对cookie信息的提取与最新版有不同之处吗？

谢谢！

站长苏飞

抓包看一下有什么变化

Loman源

url发出来呗

smufimmu

该网站多数的内容用浏览器就能看，当然有些付费的内容要登陆。我要抓取的内容是可以直接浏览的，前面用get爬虫来爬被拒， 故想到可能需要登陆来爬，但如上所述，也半途而废了。

可我咽不下这口气，于是拼命谷哥，终于有新发现。我印象中“"application/x-www-form-urlencoded"多用于post之用，网上有篇文章提到也可以结合get来用，于是想不妨试试，第一次get时cookie=""，不用postdata，哈哈终于爬到了，好兆头，接着用第一次拿到的cookie，又悲剧了，经过排查，发现只用到其中一个小cookie就可以继续爬其它分页了。

这还得谢谢谷哥和那名无名作者的提示。

smufimmu

也谢谢苏堂主的心血。对了，不知如何更新原贴的标题，加上一句已解决？