苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: ale0320

[HttpHelper] 淘宝客短链接,转商品链接,最后一步老是取不到 Location

[复制链接]
 楼主| 发表于 2016-11-18 11:42:51 | 显示全部楼层
客服~小小 发表于 2016-11-18 10:24
把不正确的网址发出来看看,我这边测试都行啊

https://s.click.taobao.com/K5TpVNx 随便找一个淘客短链接就行,都是这个情况


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2016-11-18 12:49:42 | 显示全部楼层
我用你的执行一千次没一次失败,或许是因为你电脑IP被限制了吧
 楼主| 发表于 2016-11-18 21:16:01 | 显示全部楼层
客服~小小 发表于 2016-11-18 12:49
我用你的执行一千次没一次失败,或许是因为你电脑IP被限制了吧

亲啊,你看帖子图片了吗,易语言那个,要取3次 Location 才能取到商品链接,第三次老是取不到 Location
发表于 2016-11-21 09:45:38 | 显示全部楼层
看了啊,易语言我不懂,但是我使用C#都是正常的,没有一次失败。所以我说这个问题应该是出在配置上,你换个电脑试试,先排除是不是你本地环境问题。

 楼主| 发表于 2016-11-21 11:39:54 | 显示全部楼层
本帖最后由 ale0320 于 2016-11-21 11:42 编辑
客服~小小 发表于 2016-11-21 09:45
看了啊,易语言我不懂,但是我使用C#都是正常的,没有一次失败。所以我说这个问题应该是出在配置上,你换个 ...

亲,把你的代码甩出来,我看看,我用易语言的却能正常使用,郁闷了
发表于 2016-11-21 11:55:13 | 显示全部楼层
ale0320 发表于 2016-11-21 11:39
亲,把你的代码甩出来,我看看,我用易语言的却能正常使用,郁闷了

[C#] 纯文本查看 复制代码
HttpHelper http = new HttpHelper();
HttpItem item = new HttpItem()
{
    URL = "https://s.click.taobao.com/k5tpvnx",//URL     必需项
    Method = "GET",//URL     可选项 默认为Get
    Timeout = 100000,//连接超时时间     可选项默认为100000
    ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000
    IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写
    Cookie = "",//字符串Cookie     可选项
    UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型,版本,操作系统     可选项有默认值
    Accept = "text/html, application/xhtml+xml, */*",//    可选项有默认值
    ContentType = "text/html",//返回类型    可选项有默认值
 
};
HttpResult result = http.GetHtml(item);
string strLocation = result.RedirectUrl;
发表于 2016-11-21 11:55:58 | 显示全部楼层
我之前在2楼给你过回复,把这个放循环是一样的,客服给你说的跟我的是一个意思

C#没有问题
发表于 2016-11-21 11:56:51 | 显示全部楼层
同上站长的帖子
发表于 2016-11-21 12:02:20 | 显示全部楼层
[C#] 纯文本查看 复制代码
 int success = 0;
            for (int i = 0; i < 1000; i++)
            {
                HttpHelper http = new HttpHelper();
                HttpItem item = new HttpItem()
                {
                    URL = "https://s.click.taobao.com/k5tpvnx",//URL     必需项
                    Method = "GET",//URL     可选项 默认为Get
                    Timeout = 100000,//连接超时时间     可选项默认为100000
                    ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000
                    IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写
                    Cookie = "",//字符串Cookie     可选项
                    UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型,版本,操作系统     可选项有默认值
                    Accept = "text/html, application/xhtml+xml, */*",//    可选项有默认值
                    ContentType = "text/html",//返回类型    可选项有默认值

                };
                HttpResult result = http.GetHtml(item);
                string strLocation = result.RedirectUrl;

                if (strLocation.Length>10)
                {
                    success++;
                }
            }

            Response.Write(success.ToString());
            Response.End();


QQ截图20161121120204.jpg
 楼主| 发表于 2016-11-21 14:20:14 | 显示全部楼层
站长苏飞 发表于 2016-11-21 12:02
[mw_shl_code=csharp,true] int success = 0;
            for (int i = 0; i < 1000; i++)
             ...

老大,我也是醉了,你老是GET短链接干嘛,你根本没理解我说的,也没看帖子图片

先GET https://s.click.taobao.com/k5tpvnx 取协议头 Location

然后再GET 上面短链接取到的 Location

2次之后,拆分第二次GET到的 Location ,组成新链接

~~~~~~组成的新链接 GET 老是取不到 Location

怎么拆分,怎么组成新链接,帖子易语言图片有
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-28 13:46

© 2014-2021

快速回复 返回顶部 返回列表