使用Httphelper类爬取网站重定向问题

灵雨飘零

[ 本帖最后由 灵雨飘零 于 2021-7-6 09:25 编辑 ]\n\n最近使用Httphelper搜索一下某网站的数据，在爬取搜索功能时发现网站重定向了。取不到网站的跳转地址。
post参数如下：（查询文本框输入查询条件是“狙击”，post参数转义后是“show=title&tempid=1&keyboard=%BE%D1%BB%F7&Submit=%C1%A2%BC%B4%CB%D1%CB%F7”）
真实的跳转地址是：[url]https://www.dygod.net/e/search/result/?searchid=100243[/url]

代码如下所示：

[C#] 纯文本查看 复制代码

           //创建Httphelper对象
            HttpHelper http = new HttpHelper();
            //创建Httphelper参数对象
            HttpItem item = new HttpItem()
            {
                URL = "https://www.dygod.net/e/search/index.php",//URL     必需项    
                Method = "post",//URL     可选项 默认为Get   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = true,//默认为False就是不根据重定向自动跳转
                Postdata = "show=title&tempid=1&keyboard=%BE%D1%BB%F7&Submit=%C1%A2%BC%B4%CB%D1%CB%F7",//Post要发送的数据
            };
            //请求的返回值对象
            HttpResult result = http.GetHtml(item);
            //获取请求的Cookie
            string cookie = result.Cookie;            //获取302跳转URl
            string redirectUrl = result.RedirectUrl;

请问如何才可以取到正确的地址？？代码该如何写？？？

站长苏飞

这个主要是因为没有加Cookie吧

灵雨飘零

站长苏飞 发表于 2021-7-6 09:37
这个主要是因为没有加Cookie吧

加Cookie

[C#] 纯文本查看 复制代码

//创建Httphelper对象
            HttpHelper http = new HttpHelper();
            //创建Httphelper参数对象
            HttpItem item = new HttpItem()
            {
                URL = "https://www.dygod.net/e/search/index.php",//URL     必需项    
                Method = "post",//URL     可选项 默认为Get   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = true,//默认为False就是不根据重定向自动跳转
                Postdata = "show=title&tempid=1&keyboard=%BE%D1%BB%F7&Submit=%C1%A2%BC%B4%CB%D1%CB%F7",//Post要发送的数据
                ResultCookieType = ResultCookieType.String //默认值可以不写
            };
            //请求的返回值对象
            HttpResult result = http.GetHtml(item);
            //获取请求的Cookie
            string cookie = result.Cookie;

            //获取302跳转URl
            string redirectUrl = result.RedirectUrl;

？？这样写也取不到跳转后的地址。

灵雨飘零

站长苏飞 发表于 2021-7-6 09:37
这个主要是因为没有加Cookie吧

获取不到Cookie呀。这样写对吗？？？

[C#] 纯文本查看 复制代码

 //创建Httphelper对象
            HttpHelper http = new HttpHelper();
            //创建Httphelper参数对象
            HttpItem item = new HttpItem()
            {
                URL = "https://www.dygod.net/e/search/index.php",//URL     必需项    
                Method = "post",//URL     可选项 默认为Get   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = true,//默认为False就是不根据重定向自动跳转
                Postdata = "show=title&tempid=1&keyboard=%BE%D1%BB%F7&Submit=%C1%A2%BC%B4%CB%D1%CB%F7",//Post要发送的数据
                ResultCookieType = ResultCookieType.String //默认值可以不写
            };
            //请求的返回值对象
            HttpResult result = http.GetHtml(item);
            //获取请求的Cookie
            string cookie = result.Cookie;

            //获取302跳转URl
            string redirectUrl = result.RedirectUrl;

            item = new HttpItem()
            {
                URL = redirectUrl,//URL     必需项    
                Method = "get",//URL     可选项 默认为Get   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Cookie = cookie
            };
            //请求的返回值对象
            result = http.GetHtml(item);
            //获取请请求的Html
            string html = result.Html;
            //获取请求的Cookie
            cookie = result.Cookie;

站长苏飞

Allowautoredirect = false  

提交的时候加上Cookie

站长苏飞

https://www.dygod.net/e/search/index.php Post这个之前先获取Cookie，直接请求主页应该就能得到

灵雨飘零

站长苏飞 发表于 2021-7-6 16:15
https://www.dygod.net/e/search/index.php Post这个之前先获取Cookie，直接请求主页应该就能得到

谢谢苏大神的回复，不过我为什么获取不到Cookie呢？

[C#] 纯文本查看 复制代码

  //创建Httphelper对象
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "https://www.dygod.net",//URL     必需项
                ContentType = "text/html",
                Method = "GET",//URL     可选项 默认为Get
                Allowautoredirect = false,
            };

            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;

Cookie为空。。。

灵雨飘零

为什么获取不到Cookie呢？
为什么获取不到Cookie呢？