苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4919|回复: 6

[咨询站长] 关于抓取网页数据乱码的问题

[复制链接]
发表于 2018-12-7 16:02:40 | 显示全部楼层 |阅读模式
本帖最后由 a20089668 于 2018-12-7 16:06 编辑

http://www.okooo.com/soccer/league/17/handicap/12651/     这个地址能抓取网页部分的数据。使用下面3个地址时抓不到任何内容。

这个网址打开后,需要滚动鼠标几次才能加载完毕。

http://www.okooo.com/soccer/league/17/handicap/12651/?action=ajax&page=1
http://www.okooo.com/soccer/league/17/handicap/12651/?action=ajax&page=2
http://www.okooo.com/soccer/league/17/handicap/12651/?action=ajax&page=3
上面3个网址分别粘贴到浏览器看到的是乱码。

        public static string GetHtml(string URLstr) //获取html源码
        {
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = URLstr,    //URL这里都是测试     必需项
                Method = "get",      //URL     可选项 默认为Get
                ResultType = ResultType.String,
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            return html;
        }

      private void linkLabel5_LinkClicked(object sender, LinkLabelLinkClickedEventArgs e)/
        {
            string URLstr = "http://www.okooo.com/soccer/league/17/handicap/12651";
            string html = Common.GetHtml(URLstr);
            //
             整理html得到想要的内容
            //
        }

把前面4个网址代入上面的代码,只有第一个网址能得到部分的数据,
站长,我对HttpHelper这个还不怎么会用,麻烦帮我看看怎么解决这个问题,谢谢




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2018-12-7 16:06:34 | 显示全部楼层
http://tool.sufeinet.com/HttpHel ... ?action=ajax&page=1

用我的框架直接就能获取到源码的


现在搞活动,可以充个会员,直接就能获取,类的功能毕竟有限

http://www.sufeinet.com/thread-24099-1-1.html
 楼主| 发表于 2018-12-7 16:15:08 | 显示全部楼层
谢站长,仅仅你的一个类就够我折腾了,我是初学者,没什么功底,你那些更高端的功能我哪能看得懂啊?东西下载下来看不懂,又不会用,充个终身VIP会员有什么用?若是c#知识进步了,才会考虑了。
发表于 2018-12-7 16:38:53 | 显示全部楼层
a20089668 发表于 2018-12-7 16:15
谢站长,仅仅你的一个类就够我折腾了,我是初学者,没什么功底,你那些更高端的功能我哪能看得懂啊?东西下 ...

看我上面给你的链接,代码是可以生成的,可以在线测试

http://tool.sufeinet.com/HttpHelper.aspx

你的这个链接放上去就行了。
发表于 2018-12-7 16:39:04 | 显示全部楼层
用类应该也是可以的。
发表于 2018-12-7 18:33:03 | 显示全部楼层
我只是路过打酱油的。
发表于 2018-12-8 18:21:13 | 显示全部楼层
我只是路过打酱油的。
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-26 04:19

© 2014-2021

快速回复 返回顶部 返回列表