抓取Web网页数据分析

dyyyj

苏飞老师：能否提供一个源码，能运行的。可以下载的。
这个论坛什么都好，就是没有“网络爬虫”之类的东东。不然就是太深奥将人拒之门外。

站长苏飞

什么叫没有爬虫之类的，http://www.sufeinet.com/thread-3-1-1.html这里没有例子吗，还有代码生成器，我就想不明白了，你还要什么？如果这样你都不会，我只能说懒，还有一种可能就是不识字

南方

dyyyj

是我没说清楚，说的具体点吧：
用百度搜素某一关键字。将搜素到的网址放入datagridview中。（前十位即可）。添麻烦了。

站长苏飞

这种直接用我的Httphelper写就是了，例子中请求的网址换成百度的，分析部分得自己写。你要是想找一个需求一样，什么都一样的我看是难，你这个直接用生成 器就能生成，最重要是分析

[C#] 纯文本查看 复制代码

            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://www.baidu.com/s?ie=utf-8&mod=0&isid=c65ae80700007663&pstg=0&wd=asp.net&rsv_sid=5570_5182_1449_5224_5288_5722_5849_4261_5830_4759_5659_5856_5734&f4s=1&_cr1=9831",//URL     必需项    
                Method = "get",//URL     可选项 默认为Get   
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
                Cookie = "",//字符串Cookie     可选项   
                Referer ="",//来源URL     可选项   
                Postdata = "",//Post数据     可选项GET时不需要写   
                Timeout = 100000,//连接超时时间     可选项默认为100000    
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型，版本，操作系统     可选项有默认值   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = false,//是否根据301跳转     可选项   
                //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
                //Connectionlimit = 1024,//最大连接数     可选项 默认为1024    
                ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数    
                //ProxyPwd = "123456",//代理服务器密码     可选项    
                //ProxyUserName = "administrator",//代理服务器账户名     可选项   
                ResultType = ResultType.String
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;

这个wd=asp.net就是输入的关键字
上面的是第一页这是第二页
http://www.baidu.com/s?ie=utf-8& ... 4s=1&_cr1=10940
你分析一下就明白了，这个其实不难，完全可以自己分析出来。
主要看下这个pn=10
参是什么意思这个百度一下就知道了，有很多说明的
我也写过文章可以参考下http://www.sufeinet.com/thread-380-1-1.html
另外我给你个建议，问问题之前先自己能明白你的问题是什么，说清楚，
别人并不知道你要干什么，你在想什么，你不说出来谁也不知道是什么。

dyyyj

谢了

a1989516

楼主是想找html 解析器把 推荐一个：HtmlAgilityPack