http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

12
返回列表 发新帖
楼主: zxd36383

[求助] HttpHelper 要疯了

[复制链接]
 楼主| 发表于 2018-2-4 20:27:12 | 显示全部楼层
这个办法早就想过了.我那个DO的网站不行.另外一个看到都没办法弄下来


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2018-2-4 20:31:20 | 显示全部楼层
biwinner 发表于 2018-2-4 02:40
所有网页操作按F12都可以看浏览器咋操作的,登录的POST,返回的COOKIES,实际GET或者POST的页面 全在F12里

我已经想过这个方法了.提取出来的COOKIES不行.只有苏飞那个助手里的COOKIE可以.登录.而且是要手工登录了才可以.然后可以获取到所有的路径这些.
发表于 2018-2-5 08:39:17 | 显示全部楼层
zxd36383 发表于 2018-2-4 20:31
我已经想过这个方法了.提取出来的COOKIES不行.只有苏飞那个助手里的COOKIE可以.登录.而且是要手工登录了 ...

这源码你直接下载就行了,我网上发布的有源码
发表于 2018-2-5 08:39:39 | 显示全部楼层
[C#] 纯文本查看 复制代码
//取当前webBrowser登录后的Cookie值   
        [DllImport("wininet.dll", CharSet = CharSet.Auto, SetLastError = true)]
        static extern bool InternetGetCookieEx(string pchURL, string pchCookieName, StringBuilder pchCookieData, ref int pcchCookieData, int dwFlags, object lpReserved);
        //取出Cookie,当登录后才能取    
        private static string GetCookieString(string url)
        {
            // Determine the size of the cookie      
            int datasize = 256;
            StringBuilder cookieData = new StringBuilder(datasize);
            if (!InternetGetCookieEx(url, null, cookieData, ref datasize, 0x00002000, null))
            {
                if (datasize < 0)
                    return null;
                // Allocate stringbuilder large enough to hold the cookie    
                cookieData = new StringBuilder(datasize);
                if (!InternetGetCookieEx(url, null, cookieData, ref datasize, 0x00002000, null))
                    return null;
            }
            return cookieData.ToString();
        }

 楼主| 发表于 2018-2-7 16:08:56 | 显示全部楼层
biwinner 发表于 2018-2-4 02:40
所有网页操作按F12都可以看浏览器咋操作的,登录的POST,返回的COOKIES,实际GET或者POST的页面 全在F12里

这个我相信,是可以看到这些.但是网页里的内容不一定可以看到.只能在页面上看到.我从VFP到VB.到vb.net花了7年时间.要是能弄下来.我早就弄下来了.
 楼主| 发表于 2018-2-7 16:10:48 | 显示全部楼层
抓包我都试过了抓不下来.也不知道坛主里面那个获取COOKIE的方法是怎么做到的
 楼主| 发表于 2018-2-7 16:15:24 | 显示全部楼层
站长苏飞 发表于 2018-2-5 08:39
[mw_shl_code=csharp,true]//取当前webBrowser登录后的Cookie值   
        [DllImport("wininet.dll", Ch ...

这个是获取Cookie的.这个我看到了.单用这个不知道怎么玩才能像你那个帮助里的Cookid一样,可以获取到Cookie,获取到每步的地址和他的HTML内容.不知道你是怎么把他连起来处理的.
 楼主| 发表于 2018-2-7 16:39:00 | 显示全部楼层
站长苏飞 发表于 2018-2-5 08:39
[mw_shl_code=csharp,true]//取当前webBrowser登录后的Cookie值   
        [DllImport("wininet.dll", Ch ...

我现在想到的方法就是你COOKIE的方法.先自己登录WEBB控件.然后获取cookie,然后进入我要的内容那个页面.然后把数据弄下来处理了挨个的打开我那几个网页.现在是我获取了COOKIE都没办法获取的到HTML里的内容.更不要说处理了去那价格页面了
发表于 2018-2-8 16:52:19 | 显示全部楼层
你不需要了解他COOKIES里是啥内容啊,只要保证获取并继承就行了,GET/POST附上就OK,方便将就留个网址,干说你在死角是转不过这个弯的
 楼主| 发表于 2018-2-8 17:03:10 | 显示全部楼层
给你也没用.我的网地是个内网地址.呵呵.我现在已经可以获取到COOKIE了.但是扒不下来数据
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-22 06:35

© 2014-2021

快速回复 返回顶部 返回列表