最近想爬取下百度的搜索结果,但是什么也爬不到！

dengyonghua

string kw = Convert.ToString(keywordsarylist[0]);
HttpHelper http = new HttpHelper();
HttpItem item = new HttpItem()
{
     URL = "http://www.baidu.com/s?wd=" + kw + "&pn=10&oq=" + kw + "&tn=baiduhome_pg&ie=utf-8&usm=1",//URL     必需项   
     Method = "GET",//URL     可选项 默认为Get     
     IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
     UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",  
     Accept = "text/html, application/xhtml+xml, */*",//    可选项有默认值   
     ContentType = "text/html",//返回类型    可选项有默认值   
     Referer = "http://www.baidu.com",//来源URL     可选项   
};
HttpResult result = http.GetHtml(item);
string respHtml = result.Html;


以上就是代码，我用的是万能框架dll，求各位大佬帮帮忙。

dengyonghua

kw  是我输入的要查询的关键词

dengyonghua

有时返回的是百度的安全验证
https://wappass.baidu.com/static ... imestamp=1585731502

站长苏飞

百度新算法

dengyonghua

站长苏飞 发表于 2020-4-2 07:50
百度新算法

飞哥，这该怎么整呢

站长苏飞

分析一下算法吧，我最近也看到了，但还没研究

dengyonghua

站长苏飞 发表于 2020-4-2 09:33
分析一下算法吧，我最近也看到了，但还没研究

我刚刚试了下，不带cookie请求十几次就不行了，但是带了cookie请求的话我试了一百多次还可以，不知道这是不是个突破口

站长苏飞

可以通过换Cookie保持，算是一个不错的路，随着技术的进步，很少会有网站让直接爬取的，都需要来回的调整策略。