有谁能够抓取京东下拉框关键词的？请给个提示思路！传统的抓包之后拼链接不行

我是MT

越狱 发表于 2015-7-1 10:15
大神，能不能把你的代码贴出来，我写的怎么老是获取不到？

搞个年费会员直截了当。

越狱

站长苏飞 发表于 2015-7-1 14:01
请求带的参数不够，页面自然会跳转，这个没有什么吧。

你说的参数是Url参数还是request的参数？

越狱

我是MT 发表于 2015-7-1 20:02
搞个年费会员直截了当。

我想知道不用httphelper为什么抓取不到，这是一个学习的过程

站长苏飞

不清楚你的代码是怎么写的，所以也不知道应该给你说什么，你贴下代码，我看下

越狱

站长苏飞 发表于 2015-7-1 21:47
不清楚你的代码是怎么写的，所以也不知道应该给你说什么，你贴下代码，我看下

string Url = "http://dd.search.jd.com/?ver=2&zip=1&key=%E9%AD%85%E8%93%9Dnote2";
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);
            request.Method = "GET";
            request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0";
            request.Accept = "*/*";
            request.ContentType = "text/json;charset=UTF-8";
            request.Timeout = 10000;
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            Stream myResponseStream = response.GetResponseStream();
            StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);
            textBox.Text = myStreamReader.ReadToEnd();
            myStreamReader.Close();
            myResponseStream.Close();

站长苏飞

request.Referer=""http://dd.search.jd.com/?ver=2&zip=1&key=%E9%AD%85%E8%93%9Dnote2" 加上这个属性试试

越狱

站长苏飞 发表于 2015-7-1 21:52
request.Referer=""http://dd.search.jd.com/?ver=2&zip=1&key=%E9%AD%85%E8%93%9Dnote2" 加上这个属性试 ...

这下确实可以了。

但是站长你好，我想知道，为什么我用火狐浏览器调试的时候，发现refer是：http://www.jd.com/?cu=true&u ... 8f4a527878fd0d42f5b

而不是你给的“http://dd.search.jd.com/?ver=2&a ... AD%85%E8%93%9Dnote2”呢？

还有，我之前抓取淘宝的数据的时候，都是不带refer的，这个refer代表什么意思？主要有什么作用？

求解答，新手小白，谢谢了！

越狱

站长苏飞 发表于 2015-7-1 22:05
带什么都 行，只要是这个网站的，这是来源页面，表示发起请求的当前页面。有些网站会验证一下来源，表示 ...

OK，明白了谢谢