谷歌网页抓取问题

xlj_qq

谷歌网页抓取源码时，提示“基础连接已经关闭: 接收时发生错误。”。但是通过浏览器可以访问页面。这个求解？

yangying

亲上下代码吧

xlj_qq

1. HttpHelper httpHelper = new HttpHelper();
   
2.                 HttpItem item = new HttpItem();
   
3.                 HttpResult result = new HttpResult();
   
4.                 try
   
5.                 {
   
6.                     item.URL = urlModel.URL;
   
7.                     item.ResultType = ResultType.Byte;
   
8.                     if (urlModel.Method == "GET")
   
9.                     {
   
10.                         item.Allowautoredirect = false;
    
11.                         item.Method = "GET";
    
12. 
    
13.                     }
    
14.                     else
    
15.                     {
    
16.                         item.Allowautoredirect = false;
    
17.                         item.Method = "post";
    
18.                         item.PostDataType = PostDataType.String;
    
19.                         item.ContentType = "application/x-www-form-urlencoded";
    
20.                         item.Postdata = urlModel.PostData;
    
21.                     }
    
22.                     
    
23.                     result = httpHelper.GetHtml(item, false);
    
24.                     
    
25.                     html= result.Html;
    
26.                     contentType= result.ContentType;
    
27.                 }
    
28.                 catch (Exception ex)
    
29.                 {
    
30.                 }

复制代码

我现在使用的获取源码方法就是飞哥的HttpHelper类。我的调用方式是这样的

yangying

xlj_qq 发表于 2013-5-4 13:21
我现在使用的获取源码方法就是飞哥的HttpHelper类。我的调用方式是这样的

访问的网址也发下吧

xlj_qq

http://www.google.com.hk/search? ... ;start=100&sa=N。这个不是每次都会有的，只是访问一段时间后出现的

yangying

xlj_qq 发表于 2013-5-4 13:35
http://www.google.com.hk/search?q=%E9%9D%96%E6%B1%9F&num=100&hl=zh-CN&newwindow=1&c2coff=1&safe=stri ...

我现在不方便上网，你先看看，是不是封了，可能是你访问的太快，或者太频繁都有可能

xlj_qq

我也是这么想的。但是我网上找的一个工具是可以获取的到得。

yangying

xlj_qq 发表于 2013-5-4 13:54
我也是这么想的。但是我网上找的一个工具是可以获取的到得。

网上的工具是一直都获取吧？什么工具，google如果你请求的太快，或者过于频发是一定会被封的，建议你可以到网上找一些免费的代理IP，Httphelper是支持使用代理IP来查询的，一个IP查询几个就再换一个IP这样应该会减少封的机率
亲给你提个建议你，建议你的代码参数下教程上的写法，不建议你的这种写法

yangying

xlj_qq 发表于 2013-5-4 13:54
我也是这么想的。但是我网上找的一个工具是可以获取的到得。

网上的工具是一直都能获取到吗？什么工具，google如果你请求的太快，或者过于频发是一定会被封的，建议你可以到网上找一些免费的代理IP，Httphelper是支持使用代理IP来查询的，一个IP查询几个就再换一个IP这样应该会减少封的机率
亲给你提个建议你，建议你的代码参数下教程上的写法，不建议你的这种写法