http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4910|回复: 2

[其他] 爬虫如何获取执行完js后的html源文件

[复制链接]
发表于 2014-12-9 11:06:09 | 显示全部楼层 |阅读模式
20金钱
DP95MGX$WIAZU_{N@R3Q0.png 实际上天猫的页面已经有数据,我这抓取不到 咋办呢?

网上说这个方法在浏览器加载文档完成后 可以得到js加载的数据 好像不行 大家帮忙看看 哪里出了问题
private void PrintHelpPage()
        {
            // Create a WebBrowser instance.
            WebBrowser webBrowserForPrinting = new WebBrowser();

            // Add an event handler that prints the document after it loads.
            webBrowserForPrinting.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(PrintDocument);
            // Set the Url property to load the document.
            webBrowserForPrinting.Url = new Uri("http://rate.taobao.com/user-rate-UMCkWvCIyvCcy.htm?spm=a220o.1000855.d4918101.2.SvdDdK&qq-pf-to=pcqq.c2c");
        }

        private void PrintDocument(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
            //MessageBox.Show("000");
            //MessageBox.Show();//不可以用InnerItem
            // Print the document now that it is fully loaded.
            //((WebBrowser)sender).Print();
            // Dispose the WebBrowser now that the task is complete. ((WebBrowser)sender).Dispose();
            richTextBox1.Text = ((WebBrowser)sender).Document.GetElementById("relalist").InnerHtml;
        }



1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2014-12-9 11:06:49 | 显示全部楼层
飞哥求助啊
回复

使用道具 举报

发表于 2014-12-9 11:37:08 | 显示全部楼层
直接取是不可能取到的,只能分析JS算法来生成。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-24 15:47

© 2014-2021

快速回复 返回顶部 返回列表