苏飞论坛

标题: HttpHelper类登录淘宝联盟并下载淘宝客订单xls [打印本页]

---

作者: 1602264241    时间: 2013-8-7 17:08
标题: HttpHelper类登录淘宝联盟并下载淘宝客订单xls


利用飞哥的HttpHelper 1.3版本（因为我用VS2005开发，1.3报错少）实现模拟登录淘宝联盟并且下载淘宝客订单xls文件。现提供源码下载，有不明白的可以问我，同时如果您有好的修改建议请回复。我是第一次开发Http程序，请多包涵。

本次开发环境与工具如下：
IE9.0浏览器 + IE抓包插件HttpWatch +WIN7 64位系统 + VS2005 IDE + .NET 2.0框架
本想上传HttpWatch抓包插件，但由于文件超过9.6M的限制，无法提供了。请各位到google上面搜索下吧

测试时注意事项：
必须取消淘宝帐号登录保护http://110.taobao.com/protect/protect_web.htm

做这个程序关键是分析数据，只有数据分析出来了，才能动手写代码，当然您如果对HttpHelper类不熟悉的话，请参考飞哥相关的文章。

我看到好多人发文章都是直接发代码，我感觉没什么用，因为拿到代码后还要调试并且要揣摩代码的调用究竟有何用意，对于初学者（比如我）来说真的没有信心把它的代码看完，因为即使知道每句代码的含义，但却完全不知道他为什么要这么做，这么做的目的何在。所以授人以鱼，不如授人以渔。我的目的是要教会大家从如何分析数据开始直到把分析的结果写成代码。

下面来几张截图说明分析数据步骤：
第一步：在淘宝联盟www.alimama.com上面使用淘宝账号登录，输入账号密码点击登录后，截到如下数据，
(, 下载次数: 987)

上传

点击文件名下载附件
（技巧：登录网站即POST数据，重点找POST方式，以及哪个网址中包含login字样，以及请求/回复流中是否包含有价值的信息，如：账号、密码或登录成功的提示信息等）
（思路：使用上面的技巧分析，发现有2个POST其中有个POST的网址包含login字样，并且请求流中包含用户名和密码，回复流中包含登录成功与否的提示，所以他就是我们要找的登录数据。）
现在我们知道了要POST的URL，即"https://login.taobao.com/member/login.jhtml"，以及要POST的数据，还有服务器将会回复的内容，那么请看如下代码：
  private void Login()
        {         
            HttpItem item = new HttpItem();
            item.URL = https://login.taobao.com/member/login.jhtml;   
            item.Method = "post";         
            item.Postdata = string.Format("ua=056u5Ob……&TPL_username={0}&TPL_password={1}&...……", HttpUtility.UrlEncode(txtLoginId.Text.Trim()), HttpUtility.UrlEncode(txtPwd.Text.Trim()));
            item.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";
            item.Allowautoredirect = true;              
            HttpResult result = m_Http.GetHtml(item);
            string html = result.Html;//服务器回复的内容，它是json格式，包括message,token等字段，message为空为登录成功，否则不为空
            string cookie = result.Cookie;//保存cookie便于后面还要使用
Match m = Regex.Match(html, "(?<=,\"message\":\").*?(?=\",)");
            if (string.IsNullOrEmpty(m.Value))  //登录成功账号密码正确的情况下
            {
                Match token = Regex.Match(html, "(?<=\"token\":\").*?(?=\")");//捕获token的值，后面提交的网址中将要使用它
                if (!string.IsNullOrEmpty(token.Value))
                {
                 ……
               }
           }            
       }
如上代码所示，当访问请求提交后，服务器返回的json内容在变量html里面，其中message字段表示是否有错误，如：账号密码不正确，如果账号密码正确message字段值将为""，所以我们利用正则表达式捕获message的值用于判断账号密码是否正确。
（思路：我们发现回复的json里面除了message字段之外，还有个token字段，它有什么作用呢？先不着急，我们看看接下来的数据包里面有哪个地方包含了这个token数据。找到了！他就是接下来请求的网址）
另外token字段我们也要获取下来，因为下一个访问的网址要用到它。
第二步：根据捕获的token值拼装网址并继续访问，如下图
(, 下载次数: 990)

上传

点击文件名下载附件
从上面得到的token值，经过拼装字符串得到下次访问的URL，即"https://passport.alipay.com/mini_apply_st.js?site=0&token={0}&callback=vstCallback62"。
（思路：既然上次访问的结果有价值，那么这次服务器返回的结果是否也有价值呢？我们看下结果，这次访问后服务器会返回一段js代码，其中包含一个"st"的值（看上图的红色框部分），我们发现下次请求的网址中真的用到了这个st哦！好兴奋）
同样，这次我们也像上次一样用正则表达式捕获"st”的值并且保存，因为后面要使用到它。
（小结：其实我一直在做一件事情，即：把这次访问的结果作为参数拼装一下将得到下次要访问的网址）
private void Login(){
                 ……
Match token = Regex.Match(html, "(?<=\"token\":\").*?(?=\")");//获取token值
                if (!string.IsNullOrEmpty(token.Value))
                {
                    item = new HttpItem();
                    item.Method = "get";
                    item.URL = string.Format("https://passport.alipay.com/mini_apply_st.js?site=0&token={0}&callback=vstCallback62", token.Value);
                    item.Accept = "application/javascript, */*;q=0.8";
                    result = m_Http.GetHtml(item);
                    html = result.Html;
                    cookie += result.Cookie;
                    Match st = Regex.Match(html, "(?<=\"st\":\").*?(?=\")");//捕获st的值，后面还要使用它
                   ……
              }
}

第三步：根据捕获的st值，继续访问，如下图
(, 下载次数: 981)

上传

点击文件名下载附件
通过将上面得到的st值再次拼装下网址得到URL即https://login.taobao.com/member/vst.htm?st={0}&……TPL_username%3D{1}……&callback=jsonp75
，{0}处填写上一步的st，{1}处填写淘宝账号
（思路：这次返回的值是否有价值呢？我们看看下面的请求哪个网址中出现这个返回值。找到了！返回值url后面跟的就是下次要访问的网址，好神奇呀）
这次服务器同样会返回下一次要访问的网址，我们将他捕获出来它就是url字段（上图中红框标记），代码如下
private void Login(){
                      ……
Match st = Regex.Match(html, "(?<=\"st\":\").*?(?=\")");
                    if (st.Success)
                    {
                        item.URL = string.Format("https://login.taobao.com/member/vst.htm?st={0}&……TPL_username%3D{1}……&callback=jsonp75
", st.Value, txtLoginId.Text.Trim());
                        item.Cookie = cookie;
                        result = m_Http.GetHtml(item);
                        html = result.Html;
                        cookie += result.Cookie;
                        Match url = Regex.Match(html, "(?<=\"url\":\").*?(?=\")");
                        if (url.Success)
                        {
                             ……
                       }
}

第四步：我们继续访问这个url，服务器将会进行重定向三次，每次重定向的网址从上次的结果HttpResult.Header[Location]属性中获取，再赋值给item.URL进行访问。如下图
(, 下载次数: 964)

上传

点击文件名下载附件
代码如下
private void Login()
{
       ……
       Match url = Regex.Match(html, "(?<=\"url\":\").*?(?=\")");
                        if (url.Success)
                        {
                            #region 这里HttpWatch中重定向三次
                            //阿里妈妈，阿里巴巴旗下网络营销平台
                            item.Method = "get";
                            item.Cookie = cookie;
                            item.URL = url.Value;//上次回复流中捕获的url
                            result = m_Http.GetHtml(item);//第1次重定向
                            cookie += result.Cookie;
                            item.URL = result.Header[HttpResponseHeader.Location];
                            item.Cookie = cookie;
                            result = m_Http.GetHtml(item);//第2次重定向
                            cookie += result.Cookie;
                            item.URL = result.Header[HttpResponseHeader.Location];
                            item.Cookie = cookie;
                            result = m_Http.GetHtml(item);//第3次重定向
                            cookie += result.Cookie;
                            #endregion
                          ……
                       }
}

至此登录就完成了，接下来就是下载xls文件了。对于下载xls文件较简单，直接get方式提交网址，得到byte[]字节数组并利用FileStream类写到文件中。大家根据以上分析的思路学会分析才是最重要的，所以下载这部分就留给大家自已分析了。提示：下载观看我的源码+观察HttpWatch截获的数据2种方式相结合去分析，对于观察HttpWatch截获的数据主要观看他是POST还是GET方式，以及访问的地址和提交的COOKIE以及服务器返回的COOKIE，还有服务器的回复流这几个方面着手分析。

上面我在讲解的过程中分了4个步骤，是从第1步至第4步讲解的，其实我们在分析数据的时候应该首先从第4步开始一直回溯分析网址来源就得到了第1步。第4步中服务器发来的cookie才是最重要的，有了它才能访问淘宝联盟的首页（这个结论当然是通过几次试验得出的），但如果不进行第123步的话第4步的访问地址和cookie无法得出，所以第4步是分析数据的切入点，至关重要。

下载地址：

---

作者: 站长苏飞    时间: 2013-8-7 22:30
强烈支8持楼主ing……

---

作者: 丶皮蛋灬    时间: 2013-8-8 00:39
下载学习下咯

---

作者: wolflee86    时间: 2013-8-8 09:17
44444444444445555555555555

---

作者: wxfy2011    时间: 2013-8-8 10:38
强烈支持楼主ing……

---

作者: qq7480402    时间: 2013-8-8 11:14
强烈支持楼主ing……

---

作者: lcylcyll    时间: 2013-8-8 14:09
强烈支持看得还是不是好懂啊，我还是先看基础的吧

---

作者: 一座城池    时间: 2013-8-8 17:11
要看结果。

---

作者: lhl62411570    时间: 2013-8-8 19:38
不错的东西

---

作者: wmymtx    时间: 2013-8-9 08:56
这个可以有

---

作者: 天山明月    时间: 2013-8-9 11:14
如果使用证书登陆是否可以

---

作者: coody    时间: 2013-8-9 11:19
有事一个好的学习列子!

---

作者: 1602264241    时间: 2013-8-9 11:35

天山明月 发表于 2013-8-9 11:14
如果使用证书登陆是否可以

您好，不能使用证书登录

---

作者: gangn    时间: 2013-8-9 12:41
强烈支持楼主ing……

---

作者: 帅的惊动了党    时间: 2013-8-9 21:15
看看啦

---

作者: scycau    时间: 2013-8-10 00:46
拜求！   一直对https类的调试的不顺利。

---

作者: 站长苏飞    时间: 2013-8-10 08:05

scycau 发表于 2013-8-10 00:46
拜求！   一直对https类的调试的不顺利。

有问题是可以到Httphelper专区发求助帖子http://www.sufeinet.com/forum-135-1.html

---

作者: whydbg    时间: 2013-8-10 14:56
强烈支持楼主

---

作者: st长运    时间: 2013-8-10 22:05
好

---

作者: leenkon    时间: 2013-8-13 03:31
看看这个东西。。感谢分享
本贴由隐藏贴回复机快速回复

---

作者: hnxxd    时间: 2013-8-13 21:20
{:soso_e104:}看了半天，还是迷迷糊糊的，呵呵，水平有效，行下载来，以后慢慢学，谢谢。

---

作者: cswz88    时间: 2013-8-16 22:16
看看，学习一下!!!

---

作者: 背大包的猪    时间: 2013-8-19 09:56
不错～～～～～～～～

---

作者: symsam    时间: 2013-8-19 11:46
非常感谢！

---

作者: 小兰    时间: 2013-8-21 09:32
学习学习~~~

---

作者: agui2200    时间: 2013-8-23 16:34
必须看看

---

作者: lable    时间: 2013-8-25 22:38
版主我用了你的HttpHelper类登录微淘，可以说正常情况下是没有问题的。如果在多次输入密码错误或者多次登录出现了验证码，我也是获取到验证码了，然后拼接起来提交怎么都不行，求指教，代码如下：

1. 
   
2. <p>   HttpItem item = new HttpItem();
   
3.                
   
4. string cookie = "";
   
5. </p><p> string name="XXX"
   
6.                
   
7. item.URL =  string.Format(
   
8.                         
   
9. "<a >https://login.taobao.com/member/request_nick_check.do?_ksTS=1377391470565_83&_input_charset=utf-8&username={0</a>}",
   
10.                         
    
11. HttpUtility.UrlEncode(userName));
    
12.                
    
13. item.Method = "get";
    
14.                
    
15. item.Accept = "Accept application/json, text/javascript, */*; q=0.01";
    
16. HttpResult result = m_Http.GetHtml(item);
    
17.      string html   = result.Html;
    
18.    cookie = result.Cookie;</p><p>      
    
19. <font color="red">//第一步判断是否要输入验证码：</font>
    
20.                  
    
21. Match needcode = Regex.Match(html, "(?<="needcode":)\\w+");</p><p>    if (needcode.Value == "false")
    
22.    {        
    
23. <font color="red">     //模拟登录完全没有问题</font>     
    
24. ｝</p><p>else
    
25. //有验证码</p><p>  {</p><p> //首先得到验证码
    
26. 把它保存到一个目录Codeimg
    
27. Match sessionid = Regex.Match(cookie, "(?<=cookie2=)\\w+");                  
    
28. item.URL =string.Format( "<a >https://regcheckcode.taobao.com/auction/checkcode?sessionID={0}&rad=0.3025266655735114&_r_=1377393595015</a>", sessionid);        
    
29. item.Method = "get"；         
    
30. item.ResultType = ResultType.Byte;                    
    
31. item.Accept = "image/png, image/svg+xml, image/*;q=0.8, */*;q=0.5";
    
32.                   
    
33. result = m_Http.GetHtml(item);                    
    
34. html = result.Html;
    
35.                     
    
36. String path =
    
37. HttpContext.Current.Request.MapPath("/Codeimg");
    
38.                     
    
39. FileUtil.CreateFolder(path);
    
40.                     
    
41. path = path + "<a href="file://\\taobao-code.jpg">\\taobao-code.jpg</a>";
    
42.                     
    
43. FileUtil.writeBytes(path, result.ResultByte);</p>               
    
44. //开始模拟登录            
    
45. item.URL = "<a >https://login.taobao.com/member/login.jhtml</a>";
    
46. //URL     必需项                 
    
47. item.Method = "post"; //URL     可选项 默认为Get                  
    
48. //下面使用POST方式提交用户名和密码，为什么用POST？因为HttpWatch上面有               
    
49. item.Postdata =
    
50. string.Format("ua=<font color="red">用工具抓去的，论坛留言数据不够，先去了</font>","用户名","密码","这里填写生成的验证码");<font color="red"> //Post数据   
    
51. 这个是我安装你的方法抓取</font>
    
52.                     
    
53. item.ContentType = "application/x-www-form-urlencoded;
    
54. 
    
55. charset=UTF-8";//返回类型    可选项有默认值               
    
56. item.Allowautoredirect = true;//是否根据301跳转     可选项                       
    
57. HttpResult result1 =m_Http.GetHtml(item);
    
58.   string html1 = result1.Html;                 
    
59. string cookie1 = result1.Cookie;               
    
60. Match m1 = Regex.Match(html1, "(?<=,"message":").*?(?=",)");
    
61. <p>                   <font color="red"> //在这个token
    
62. 取不到，html直接跑首页去了。如果Post用你之前写阿里妈妈里面的那个，直接报验证码输入失败，我确认了弹出框输入验证码正确了的，怎么也不行，弄的快要疯了，求指点</font>
    
63. </p><p>          }</p>

复制代码

---

作者: 猫星人    时间: 2013-9-1 01:30
不错，来看看如何了。。哇咔咔

---

作者: xjwebs    时间: 2013-9-1 03:42
学而时习之不亦乐乎！

---

作者: www.1d2d3d.com    时间: 2013-9-1 21:51
正在学习登陆与抓取

---

作者: nameaj    时间: 2013-9-2 20:55
什么语言的？

---

作者: 采星    时间: 2013-9-4 16:02

这个可以有               

---

作者: c#net    时间: 2013-9-7 13:36
{:soso_e113:}看下是什么。学习下

---

作者: 火韦    时间: 2013-9-9 23:55
这个不错一定要学习下

---

作者: hhxsh2012    时间: 2013-9-10 15:45
学习学习，嘎嘎新的新手。。。。

---

作者: 中联软件    时间: 2013-9-11 04:18
嗯淘宝经常更新，这个也得常更新呵呵

---

作者: 宁缺毋滥    时间: 2013-9-21 01:24
不错的东西必须支持

---

作者: zhoudong1985    时间: 2013-9-21 23:39
很好的教程 拜读学习了

---

作者: cloa    时间: 2013-9-23 00:09
{:soso_e102:}{:soso_e103:}

---

作者: Batistuta    时间: 2013-9-23 17:29
淘宝经常改

---

作者: 风影流水    时间: 2013-9-28 14:09
这个东西不错，可以看看。正好用到。

---

作者: cload    时间: 2013-10-3 22:21
感谢！我唯一感谢举的是登录的加密啊……{:soso_e102:}

---

作者: 心灵解药    时间: 2013-10-5 22:22
非常好的帖子

---

作者: 一方    时间: 2013-10-25 18:23
学习{:soso_e100:}{:soso_e100:}{:soso_e100:}{:soso_e100:}{:soso_e100:}{:soso_e100:}

---

作者: kenydeng    时间: 2013-10-26 11:10
要好好看看

---

作者: xuying7124    时间: 2013-10-26 12:58
好东西下载看看。

---

作者: kyle250    时间: 2013-10-26 18:48
看看学习一下

---

作者: learndownload    时间: 2013-10-30 23:33
谢谢分享

---

作者: abcd    时间: 2013-10-31 13:49
  很不错的样子 呵呵 {:soso_e100:}

---

作者: pupu123    时间: 2013-11-3 22:06
下载学习下咯

---

作者: 心灵解药    时间: 2013-11-4 07:21
213

---

作者: scghost    时间: 2013-11-4 22:18
看一看，瞧一瞧

---

作者: span    时间: 2013-11-6 09:01
不错，支持一下

---

作者: guboku    时间: 2013-11-6 16:37
看下代码

---

作者: happyplace    时间: 2013-11-8 15:46

下载学习下咯

---

作者: 行乞三年    时间: 2013-11-10 16:00
太棒了 感谢楼主~新手正合适

---

作者: stao987@qq.com    时间: 2013-11-11 13:58
232

---

作者: sunnyLsg    时间: 2013-11-11 14:31
好东西，学习学习。

---

作者: 慧实    时间: 2013-11-12 18:14
有没搞错这还要隐藏啊!!!!

---

作者: 网站网页    时间: 2013-11-14 14:55
学习学习

---

作者: jstony    时间: 2013-11-14 16:16
找了好久终于找到了。

---

作者: 冰风    时间: 2013-11-17 07:51
我要下载源码

---

作者: hzmans    时间: 2013-11-17 16:39
、=0写的好。学习了。【‘；

---

作者: 15173216722    时间: 2013-11-17 20:57
用来参考一下，3Q

---

作者: herr    时间: 2013-11-18 08:17
真需要这个技术

---

作者: a1137815    时间: 2013-11-20 09:55
强烈支持楼主ing……

---

作者: 卡拉奇维奇    时间: 2013-11-23 21:57
看看

---

作者: 十月听涛    时间: 2013-11-28 09:36
学习一下淘宝下订单

---

作者: zyy2010    时间: 2013-11-29 10:52
不错 这个得学习一下

---

作者: King    时间: 2013-12-1 10:29
King，如果您要查看本帖隐藏内容请回复

---

作者: 一分钟    时间: 2013-12-1 20:06
hao.....................

---

作者: 张瑞    时间: 2013-12-3 16:59
楼主好人

---

作者: 吉祥gg    时间: 2013-12-3 21:47
下来看看呗

---

作者: alan.shi    时间: 2013-12-4 20:53
好教程．

---

作者: 东方无及    时间: 2013-12-9 13:42
ok,很好！

---

作者: chinaheart88    时间: 2013-12-9 14:43
向前辈学习！！！

---

作者: tylrr    时间: 2013-12-10 19:04
强烈支持楼主ing……

---

作者: 好鬼叻    时间: 2013-12-10 22:20
牛人啊~~

---

作者: xst    时间: 2013-12-11 10:44
{:soso_e129:}

---

作者: 王冶剑-BOTONG    时间: 2013-12-11 22:15
很好 ，看看

---

作者: 米波820    时间: 2013-12-13 11:20
学习学习 强烈支持楼主ing……

---

作者: scyyzgxh    时间: 2013-12-18 12:25
这个是转载的吗？我用了，不能登录，第一步返回的信息就是false，说明登录失败，但看着代码和截获出来的数据应该没错。。。

---

作者: 这也不给买那也    时间: 2013-12-18 13:40
非常好的分享事例 谢谢

---

作者: qiaoyu918    时间: 2013-12-20 23:02
好东西，现在正需要

---

作者: 刘不凡    时间: 2013-12-21 21:09
学习，共同进步

---

作者: scyyzgxh    时间: 2013-12-22 12:47
你们用了能不能登录？

---

作者: jsjrsxpwr    时间: 2013-12-23 16:10
下载学习下咯

---

作者: jsjrsxpwr    时间: 2013-12-23 16:10

下载学习下咯

{:soso_e100:}

---

作者: kwsslu    时间: 2013-12-23 20:09
非常感谢你帮了我的大忙，真的太感谢你啦！

---

作者: jstony    时间: 2013-12-26 21:48
谁能帮忙看看这个类，好像阿里妈妈改了，现在没办法登陆了

---

作者: bearone    时间: 2013-12-27 19:59
受教了，学习中……

---

作者: Lese    时间: 2013-12-30 18:46
我是打酱油的！！！！！！！！！！

---

作者: fsdsdffdsa    时间: 2014-1-1 17:48
想看看代码

---

作者: 豆豆泡    时间: 2014-1-2 14:24
不错，有没有适合新手的简单例子

---

作者: 赶路人    时间: 2014-1-4 12:38
非常感谢 正需要呢

---

作者: wky65007098    时间: 2014-1-10 00:09
额， 看看

---

作者: hunanxiang    时间: 2014-1-11 09:20
关注一下

---

作者: hidesolo    时间: 2014-1-13 14:01
不错 楼主是好人

---

作者: alfred_woo    时间: 2014-1-19 11:55
回复回复，以后俺也要开店。

---

作者: Alucard    时间: 2014-1-20 23:27
强烈支8持楼主ing……

---

欢迎光临 苏飞论坛 (http://www.sufeinet.com/)

Powered by Discuz! X3.4