http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 8826|回复: 11

[HttpHelper] 获取邮箱时碰到浏览器安全检查中

[复制链接]
发表于 2016-7-6 14:20:25 | 显示全部楼层 |阅读模式
做了一个程序需要用到临时邮箱,以前用httphelper访问网站成功申请并使用了邮箱。但是最近发现网站多了一个限制,在登录的时候多出来了一个 “浏览器安全检查“ 5s”。然后就跨不过去了。

考虑是cookie的问题。

中间可能还有什么其他的过程,httphelper似乎没有获取到正确的cookie。于是从论坛搜索到了liqingboyou同学的文章,成功获取到了cookie字符串。跟用浏览器看到的是一样的。
localcookieStr = __cfduid=dcf29cd8306bde83c8a57a6d5f65df7811467783097; cf_clearance=d694771bada0aba9d4bbf21f570ba31ee5d79f11-1467784332-1800; Hm_lvt_ef483ae9c0f4f800aefdf407e35a21b3=1467784856,1467784929,1467785334,1467785814; Hm_lpvt_ef483ae9c0f4f800aefdf407e35a21b3=1467785814; mail_ck=19; bdshare_firstime=1467783097282; sid=b8092645c4f64701cc71273e64562d28c33edffd

但是我用以下代码登录后发现还是不成功,收到的结果显示还是正在安全检查中。。
                item = new HttpItem()
                {
                    URL = shttp,
                    Method = "get",
                    Cookie = localcookieStr,
                    Allowautoredirect = true,//是否根据301跳转     可选项
                };
                //得到HTML代码
                result = http.GetHtml(item);
                if (result.StatusCode == System.Net.HttpStatusCode.OK)
                {
                    //表示访问成功,具体的大家就参考HttpStatusCode类
                }
                string myresults = result.Html;
                EmailCookie = result.CookieCollection;


想问问这种情况是怎么回事?我该怎么解决。谢谢




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2016-7-6 14:22:02 | 显示全部楼层
正在检查中,是不是就表示成功了,你这时候去访问一下其他页面看行不行
 楼主| 发表于 2016-7-6 16:16:55 | 显示全部楼层
站长苏飞 发表于 2016-7-6 14:22
正在检查中,是不是就表示成功了,你这时候去访问一下其他页面看行不行

没有成功。成功了会有另外的页面内容显示。
 楼主| 发表于 2016-7-6 16:36:29 | 显示全部楼层
站长苏飞 发表于 2016-7-6 14:22
正在检查中,是不是就表示成功了,你这时候去访问一下其他页面看行不行

Cookie = localcookieStr,其中 localcookieStr = __cfduid=dcf29cd8306bde83c8a57a6d5f65df7811467783097; cf_clearance=d694771bada0aba9d4bbf21f570ba31ee5d79f11-1467784332-1800; Hm_lvt_ef483ae9c0f4f800aefdf407e35a21b3=1467784856,1467784929,1467785334,1467785814; Hm_lpvt_ef483ae9c0f4f800aefdf407e35a21b3=1467785814; mail_ck=19; bdshare_firstime=1467783097282; sid=b8092645c4f64701cc71273e64562d28c33edffd
请问飞哥,这种写法用httphelper对吗?
发表于 2016-7-6 16:50:07 | 显示全部楼层
对没有问题,你也可以直接手动登录看看Cookie是什么样的,然后和这个对比一下,确认一下是不是Cookie的问题
发表于 2016-7-6 16:50:55 | 显示全部楼层
或者贴下包我看看
 楼主| 发表于 2016-7-6 21:21:49 | 显示全部楼层
我用浏览器的cookie取出来,然后用咱们论坛的那个工具登录,一样的反馈结果。
 楼主| 发表于 2016-7-6 21:27:34 | 显示全部楼层
站长苏飞 发表于 2016-7-6 16:50
或者贴下包我看看
请求URL
http://24mail.chacuo.net/
编码方式 自动识别 请求方式 GET方式
链接超时 100秒 写入超时 30秒
ContentType text/html UserAgent Mozilla/5.0 (Windows NT 6.1; WO
HTTP版本 不设置 其他设置 自动跳转  自动带cookie  获取图片
设定Header
Upgrade-Insecure-Requests:1
代理ip
例如:8.8.8.8:8080
Referer
http://24mail.chacuo.net/
Post数据
请填写Post数据
Cookie
_cfduid=dfc393aebb9d42cc2ea6a3c8c3afa96c11467792753; mail_ck=1; sid=b915d0f666bc57a092ff2640a54dcd368ab45e2b; Hm_lvt_ef483ae9c0f4f800aefdf407e35a21b3=1467792754; Hm_lpvt_ef483ae9c0f4f800aefdf407e35a21b3=1467792754; bdshare_firstime=1467792754495; cf_clearance=053e3a5ca62fae55b1089b1fc4acd9244063b4d7-1467811330-1800

返回的Header:  
Transfer-Encoding:chunked  
Connection:close  
X-Frame-Options:SAMEORIGIN  
CF-RAY:2be36468d0d11a0a-LYA  
Cache-Control:no-cache  
Content-Type:text/html; charset=UTF-8  
Date:Wed, 06 Jul 2016 13:27:06 GMT  
Set-Cookie:__cfduid=d58bee6752f050a455336acd4981118651467811626; expires=Thu, 06-Jul-17 13:27:06 GMT; path=/; domain=.chacuo.net; HttpOnly  
Server:yunjiasu-nginx  
  
  
返回的Cookie:  
__cfduid=d58bee6752f050a455336acd4981118651467811626; expires=Thu, 06-Jul-17 13:27:06 GMT; path=/; domain=.chacuo.net; HttpOnly  
  
最后访问URL:http://24mail.chacuo.net/  
  
301跳转URL:  
  
返回的HTML:  
<!DOCTYPE HTML>  
<html lang="en-US">  
<head>  
  <meta charset="UTF-8" />  
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />  
  <meta http-equiv="X-UA-Compatible" content="IE=Edge,chrome=1" />  
  <meta name="robots" content="noindex, nofollow" />  
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1" />  
  <title>安全检查中...</title>  
  <style type="text/css">  
    html, body {width: 100%; height: 100%; margin: 0; padding: 0;}  
    body {background-color: #ffffff; font-family: Helvetica, Arial, sans-serif; font-size: 100%;}  
    h1 {font-size: 1.5em; color: #404040; text-align: center;}  
    p {font-size: 1em; color: #404040; text-align: center; margin: 10px 0 0 0;}  
    #spinner {margin: 0 auto 30px auto; display: block;}  
    .attribution {margin-top: 20px;}  
  </style>  
  
    <script type="text/javascript">  
  //<![CDATA[  
  (function(){  
    var a = function() {try{return !!window.addEventListener} catch(e) {return !1} },  
    b = function(b, c) {a() ? document.addEventListener("DOMContentLoaded", b, c) : document.attachEvent("onreadystatechange", b)};  
    b(function(){  
      var a = document.getElementById('yjs-content');a.style.display = 'block';  
      setTimeout(function(){  
        var s,t,o,p,b,r,e,a,k,i,n,g,f, KFwosdR={"wy":+((+!![]+[])+(!+[]+!![]+!![]+!![]))};  
        t = document.createElement('div');  
        t.innerHTML="<a href='/'>x</a>";  
        t = t.firstChild.href;r = t.match(/https?:\/\//)[0];  
        t = t.substr(r.length); t = t.substr(0,t.length-1);  
        a = document.getElementById('jschl-answer');  
        f = document.getElementById('challenge-form');  
        ;KFwosdR.wy-=!+[]+!![]+!![]+!![]+!![]+!![]+!![]+!![];KFwosdR.wy-=+((!+[]+!![]+!![]+!![]+[])+(!+[]+!![]+!![]+!![]+!![]+!![]+!![]));KFwosdR.wy*=!+[]+!![]+!![]+!![]+!![]+!![]+!![];KFwosdR.wy+=+((!+[]+!![]+[])+(!+[]+!![]+!![]+!![]));a.value = parseInt(KFwosdR.wy, 10) + t.length; '; 121'  
        f.submit();  
      }, 4000);  
    }, false);  
  })();  
  //]]>  
</script>  
  
  
</head>  
<body>  
  <table width="100%" height="100%" cellpadding="20">  
    <tr>  
      <td align="center" valign="middle">  
          <div class="yjs-browser-verification yjs-im-under-attack">  
  <noscript><h1 data-translate="turn_on_js" style="color:#bd2426;">请打开游览器的javascript,然后刷新游览器</h1></noscript>  
  <div id="yjs-content" style="display:none">  
    <div>  
      <div class="bubbles"></div>  
      <div class="bubbles"></div>  
      <div class="bubbles"></div>  
    </div>  
    <h1><span data-translate="checking_browser">浏览器安全检查中…</span> chacuo.net.</h1>  
    <p data-translate="process_is_automatic"></p>  
    <p data-translate="allow_5_secs">还剩 5 秒…</p>  
  </div>  
  <form id="challenge-form" action="/cdn-cgi/l/chk_jschl" method="get">  
    <input type="hidden" name="jschl_vc" value="f62c92f7846e4153675772ef6fbbc073"/>  
    <input type="hidden" name="pass" value="1467811630.38-fowGUwMFs+"/>  
    <input type="hidden" id="jschl-answer" name="jschl_answer"/>  
  </form>  
</div>  
  
  
          <div class="attribution"><a href="http://su.baidu.com/" target="_blank" style="font-size: 12px;">百度云加速防护中</a></div>  
      </td>  
    </tr>  
  </table>  
</body>  
</html>  

发表于 2016-7-7 08:08:47 | 显示全部楼层
那就很明显了不是Cookie问题,应该是别的参数,好好检查一下包,比如Header的值,
 楼主| 发表于 2016-7-7 09:39:10 | 显示全部楼层
但是我发现删除掉cookie以后再访问这个页面就又出现那个安全检查了。如果不删除这个cookie就不会出现。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-22 23:38

© 2014-2021

快速回复 返回顶部 返回列表