不会使用爬虫类实现采集阿里巴巴关键词搜索页面么

86616395

我用站长提供的工具测试了一下有时候可以获取到html有时候不行，站长能帮忙写个示例么？怎么获取关键词搜索链接，怎么获取搜索页面的html代码 麻烦了！

客服~小小

你直接输入当然是不行的，他这个关键字是需要转码的，
不能直接输入手机这样的关键字，而是要转码，

url = string.Format(url, HttpHelper.URLEncode(kw,Encoding.GetEncoding("gbk")), pagesize);

看这一行代码中的HttpHelper.URLEncode(kw,Encoding.GetEncoding("gbk"))部分这就是转码的过程
转过之后再用就行了。

站长苏飞

[C#] 纯文本查看 复制代码

                       string url = "https://s.1688.com/selloffer/offer_search.htm?keywords={0}&beginPage={1}";                   string kw = "手机";
            string pagesize = "2";
            url = string.Format(url, HttpHelper.URLEncode(kw), pagesize);
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = url,//URL     必需项
                Method = "GET",//URL     可选项 默认为Get
                Timeout = 100000,//连接超时时间     可选项默认为100000
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写
                Cookie = "",//字符串Cookie     可选项
                UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型，版本，操作系统     可选项有默认值
                Accept = "text/html, application/xhtml+xml, */*",//    可选项有默认值
                ContentType = "text/html",//返回类型    可选项有默认值
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;

客服~小小

应该再加上个编码，要不可能不管用

[C#] 纯文本查看 复制代码

      string url = "https://s.1688.com/selloffer/offer_search.htm?keywords={0}&beginPage={1}";
            string kw = "手机";
            string pagesize = "2";
            url = string.Format(url, HttpHelper.URLEncode(kw,Encoding.GetEncoding("gbk")), pagesize);
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = url,//URL     必需项
                Method = "GET",//URL     可选项 默认为Get
                Timeout = 100000,//连接超时时间     可选项默认为100000
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写
                Cookie = "",//字符串Cookie     可选项
                UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型，版本，操作系统     可选项有默认值
                Accept = "textml, application/xhtml+xml, */*",//    可选项有默认值
                ContentType = "textml",//返回类型    可选项有默认值
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;

            Response.Write(html);

86616395

站长苏飞 发表于 2016-9-18 10:07
[mw_shl_code=csharp,true]                       string url = "https://s.1688.com/selloffer/offer_sea ...

这个搜索链接不可以  直接用关键词是乱码 跟实际搜索的结果不一样

86616395

客服~小小 发表于 2016-9-18 10:18
应该再加上个编码，要不可能不管用
[mw_shl_code=csharp,true]      string url = "https://s.1688.com/se ...

谢谢  你好  这个搜索链接不可以  直接用关键词是乱码 跟实际搜索的结果不一样，然后就是这个代码我在工具里试过 好像 get几次就获取不到数据了

客服~小小

86616395 发表于 2016-9-18 10:33
谢谢  你好  这个搜索链接不可以  直接用关键词是乱码 跟实际搜索的结果不一样，然后就是这个代码我在工 ...

我刚给你的代码也不可以吗？我刚测试过没有问题啊。另外工具和实际开发环境有所不同，要Copy代码测试

86616395

客服~小小 发表于 2016-9-18 10:35
我刚给你的代码也不可以吗？我刚测试过没有问题啊。另外工具和实际开发环境有所不同，要Copy代码测试

https://s.1688.com/selloffer/offer_search.htm?keywords={0}&beginPage={1}  链接这样不可以  搜索出来的结果 关键词是乱码  跟实际搜索的结果不一样

客服~小小

86616395 发表于 2016-9-18 10:38
https://s.1688.com/selloffer/offer_search.htm?keywords={0}&beginPage={1}  链接这样不可以  搜索出来 ...

我上面发给你的不是转过码了吗？
在三楼的代码，你复制就可以看到，站长发的是不行，但我发给你的是可以的吧

[C#] 纯文本查看 复制代码

      string url = "https://s.1688.com/selloffer/offer_search.htm?keywords={0}&beginPage={1}";
            string kw = "手机";
            string pagesize = "2";
            url = string.Format(url, HttpHelper.URLEncode(kw,Encoding.GetEncoding("gbk")), pagesize);
            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = url,//URL     必需项
                Method = "GET",//URL     可选项 默认为Get
                Timeout = 100000,//连接超时时间     可选项默认为100000
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写
                Cookie = "",//字符串Cookie     可选项
                UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0",//用户的浏览器类型，版本，操作系统     可选项有默认值
                Accept = "textml, application/xhtml+xml, */*",//    可选项有默认值
                ContentType = "textml",//返回类型    可选项有默认值
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;

            Response.Write(html);

86616395

客服~小小 发表于 2016-9-18 10:50
我上面发给你的不是转过码了吗？
在三楼的代码，你复制就可以看到，站长发的是不行，但我发给你的是可以 ...

不是那个问题   https://s.1688.com/selloffer/offer_search.htm?keywords=手机&beginPage=1这样打开直接结果是 而搜索结果是这样的

请问 你知道怎么获取链接么？