一个国外网站的采集问题

clalj520

https://www.mcxindia.com/market-data/market-watch

上面的网站需要采集列表里面显示的一些价格这样的数据!
需要post方式,但是抓包没看到有什么参数,不传参数获取不到内容

            HttpHelper http = new HttpHelper();
            HttpItem item = null;

            //参数类
            item = new HttpItem()
            {
                URL = "https://www.mcxindia.com/backpage.aspx/GetMarketWatch",//URL     必需项
                Encoding =null ,//编码格式（utf-8,gb2312,gbk）     可选项 默认类会自动识别
                Method = "Post",//URL     可选项 默认为Get
                Referer = "https://www.mcxindia.com/market-data/market-watch",
                ContentType = "application/json",//返回类型    可选项有默认值
                UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2900.0 Iron Safari/537.36",
                Postdata = ""

            };

            HttpResult result = http.GetHtml(item);


采集这块我还是新手!请大神指教这个数据怎么采集!

站长苏飞

没有抓对包吧，post不应该是没有数据的。

站长苏飞

最少应该是带上Cookie的。

clalj520

Request URL:https://translate.googleapis.com ... 3.343330&mode=1
Request MethodOST
Status Code:200
Remote Address:203.208.41.37:443

access-control-allow-origin:*
alt-svc:quic=":443"; ma=2592000; v="46,44,43,39"
cache-control:private, max-age=600
content-disposition:attachment; filename="f.txt"
content-encoding:gzip
content-language:zh-CN
content-length:257
content-type:application/json; charset=UTF-8
date:Thu, 18 Apr 2019 02:30:45 GMT
expires:Thu, 18 Apr 2019 02:30:45 GMT
server:HTTP server (unknown)
status:200
x-content-type-options:nosniff
x-xss-protection:0
:authority:translate.googleapis.com
:methodOST
:path:/translate_a/t?anno=3&client=te_lib&format=html&v=1.0&key=AIzaSyDRSLSB5jh_yAvRzjykeUfyZGDxbSpXcZg&logld=vTE_20181015_01&sl=mr&tl=zh-CN&sp=nmt&tc=1&dom=1&sr=1&tk=240323.343330&mode=1
:scheme:https
accept:*/*
accept-encoding:gzip, deflate, br
accept-language:zh-CN,zh;q=0.8
alexatoolbar-alx_ns_ph:AlexaToolbar/alxg-3.3
content-length:571
content-type:application/x-www-form-urlencoded
dnt:1
origin:https://www.mcxindia.com
referer:https://www.mcxindia.com/mr/market-data/market-watch
user-agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2900.0 Iron Safari/537.36

抓包抓到了

clalj520

Request URL 就带了很多参数 !这个 post 就需要传参数了吧?

clalj520

抓包里面没有cooks

站长苏飞

clalj520 发表于 2019-4-18 10:44
抓包里面没有cooks

cookie有啊带上，换个抓包软件试试，别用流量器自带的。