采集微信搜狗老是提示：用户您好，您的访问过于频繁，为确认本次访问为正常用户行...

noxlong

在IE里访问正常。。这个是什么原因呢？我设置了采集一条后暂停几秒钟

[C#] 纯文本查看 复制代码

HttpHelper http = new HttpHelper();
        HttpItem item = new HttpItem()
        {
            URL = "http://weixin.sogou.com",//URL这里都是测试     必需项
            Encoding = null,//编码格式（utf-8,gb2312,gbk）     可选项 默认类会自动识别
            //Encoding = Encoding.Default,
            Method = "get",//URL     可选项 默认为Get
        };
        //得到HTML代码
        HttpResult result = http.GetHtml(item);
        item = new HttpItem()
        {
            URL = "http://weixin.sogou.com/weixin?type=1&query=caipiaobao_cp365&ie=utf8&_sug_=y&_sug_type_=",//URL这里都是测试URl   必需项
            Encoding = null,//编码格式（utf-8,gb2312,gbk）     可选项 默认类会自动识别
            //Encoding = Encoding.Default,
            Allowautoredirect=true,
            UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0",
            Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
            Method = "get",//URL     可选项 默认为Get
            Cookie = result.Cookie,
        };
        //得到新的HTML代码
        result = http.GetHtml(item);

站长苏飞

详细看一下包，搜索引擎一般会验证鼠标位置，时间贞等，意思就是Useragent不能一直不变，

helloword

站长苏飞 发表于 2016-4-20 16:58
详细看一下包，搜索引擎一般会验证鼠标位置，时间贞等，意思就是Useragent不能一直不变，

鼠标什么的还会影响useragent？

站长苏飞

helloword 发表于 2016-4-21 09:11
鼠标什么的还会影响useragent？

你使用IE搜索一下看看传的参数就明白了，我说Useragent，并不是特指的这个参数，而是说的用户端带过去的信息

noxlong

只能暂时用火狐抓包，手动填COOKIE。临时方案。
唉，不知道他的具体规则，采集频繁了还是要输入验证码。。。:@