万能框架爬出来的百度搜索结果源码和普通浏览器有差异，何因？

akenzhang

万能框架爬出来的百度搜索结果源码和普通浏览器有差异，何因？
代码：
            String strKeyword = textBox1.Text;

            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "https://www.baidu.com/s?wd=" + strKeyword + "&pn=10",
                Method = "GET",
                Allowautoredirect= false,
                AutoRedirectCookie = false
            };

            HttpResult result = http.GetHtml(item);
            String html = HttpHelper.ReplaceNewLine(HttpHelper.StripHTML(result.Html));
            richTextBox1.Text = html;


程序搜索结果：


使用框架爬出来表示此文章百度尚未收录。

IE搜索结果


用普通浏览器搜索表示此文章百度已经收录

求助，请问有哪里出了问题？

客服~小小

汉字要转码的吧

客服~小小

[C#] 纯文本查看 复制代码

public static string URLDecode(string text)
       {
           return HttpUtility.UrlDecode(text, Encoding.Default);
       }
       public static string URLEncode(string text)
       {
           return HttpUtility.UrlEncode(text, Encoding.Default);
       }

akenzhang

应该不是转码的问题，看看搜索结果就知道，虽然不能完全匹配的出现整个标题，但是标题的核心词都出现了。另外，加入了UTF8编码（百度页面是这个编码），结果也是一样的！

小哲

设置UA啊   一般都是00正常的