有个网址不知道使用了什么反爬新技术，大家帮忙看下呢

2949497060

https://www.qcc.com/web/search?k ... 0%E5%85%AC%E5%8F%B8，这是企查查网用于查询的一个网址，抓包看了下cookie和header每次都没什么区别，但是用苏飞助手或者其它http测试都抓取不到下面的2个公司，抓出来的结果跟浏览器里的结果就是不同，不知道这是什么新技术反爬吗？大家有遇到过这种情况吗？

2949497060

自己先顶下

clrscr

是请求头问题,你请求头中加入这一句
contenttype: text/html; charset=utf-8
就可以返回和网页相同的数据了,包括你说的下面的2个公司

注意: content和type中间没有横杠符号
@2949497060

2949497060

clrscr 发表于 2020-12-23 17:33
是请求头问题,你请求头中加入这一句
contenttype: text/html; charset=utf-8
就可以返回和网页相同的数 ...

老兄3牛掰啊我抓包里面咋没看见contenttype这个头呢？老兄你是用啥抓的啊？

2949497060

clrscr 发表于 2020-12-23 17:33
是请求头问题,你请求头中加入这一句
contenttype: text/html; charset=utf-8
就可以返回和网页相同的数 ...

貌似加了这个header还是不行呢，还是没有那2个公司的

clrscr

[C#] 纯文本查看 复制代码

 private static string GetHttp20201224105748()
        {
            SufeiUtil.HttpHelper http = new SufeiUtil.HttpHelper();
            SufeiUtil.HttpItem item = new SufeiUtil.HttpItem()
            {
                URL = "https://www.qcc.com/web/search?key=%E5%B9%BF%E5%B7%9E%E5%AE%89%E8%82%A4%E5%A0%82%E7%94%9F%E7%89%A9%E7%A7%91%E6%8A%80%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8",
                Method = "GET",
                ContentType = "",
                Cookie = "__guid=84250399.3243085855446564400.1607327083788.647; zg_did=%7B%22did%22%3A%20%221763c28f3b75e7-085bfa27e4ae99-3c604504-1fa400-1763c28f3b8702%22%7D; UM_distinctid=1763c28f85b48d-054e9a4a7365f4-3c604504-1fa400-1763c28f85c52b; CNZZDATA1254842228=813077936-1607326710-https%253A%252F%252Fwww.baidu.com%252F%7C1607326710; _uab_collina=160732708746904411338901; QCCSESSID=1cc9da5c4476b2aad9e67d4c31; monitor_count=5; zg_de1d1a35bfa24ce29bbf2c7eb17e6c4f=%7B%22sid%22%3A%201608715015291%2C%22updated%22%3A%201608715752018%2C%22info%22%3A%201608715015293%2C%22superProperty%22%3A%20%22%7B%5C%22%E5%BA%94%E7%94%A8%E5%90%8D%E7%A7%B0%5C%22%3A%20%5C%22%E4%BC%81%E6%9F%A5%E6%9F%A5%E7%BD%91%E7%AB%99%5C%22%7D%22%2C%22platform%22%3A%20%22%7B%7D%22%2C%22utm%22%3A%20%22%7B%7D%22%2C%22referrerDomain%22%3A%20%22www.sufeinet.com%22%2C%22cuid%22%3A%20%22undefined%22%2C%22zs%22%3A%200%2C%22sc%22%3A%200%7D",
            };
            item.Header.Add("ContentType", "text/html");
            SufeiUtil.HttpResult result = http.GetHtml(item);
            string html = result.Html;
            return html;
        }

clrscr

2949497060 发表于 2020-12-23 21:41
貌似加了这个header还是不行呢，还是没有那2个公司的

啊这,上面附代码了,你运行试试,我测试是可以的

clrscr

2949497060 发表于 2020-12-23 21:17
老兄3牛掰啊我抓包里面咋没看见contenttype这个头呢？老兄你是用啥抓的啊？

用Fiddler,我也没看到

2949497060

clrscr 发表于 2020-12-24 11:08
用Fiddler,我也没看到

哦，我像你一样把WebRequest请求里的ContentType置为空就可以了，之前用的application/x-www-form-urlencoded或者text/html反而都不行，header也不用再另外加ContentType也可以，好奇怪啊！！那你是怎么发现的呢？

clrscr

2949497060 发表于 2020-12-24 13:38
哦，我像你一样把WebRequest请求里的ContentType置为空就可以了，之前用的application/x-www-form-urlenc ...

我说猜的你信吗