采集淘宝分页数据

wxfy2011

有问题请教啊
我遇到一个，采集淘宝彩票网站的数据，只能获取第一页，剩下的页就获取不到
http://caipiao.taobao.com/lottery/order/united_hall.htm?spm=0.0.0.0.DDPcSQ&lottery_type=3D
他这个是不是加了cookie验证啥的，第二页数据 通过下面的网站也不行，
http://caipiao.taobao.com/lottery/order/united_hall.htm?_tb_token_=e56e8b750b7b3&page=2&lottery_type=3D&sort_obj=process&sort=desc&change_sort=&lowAmount=&highAmount=&play_type=0&issue=2013186&status=1&amountSec=0-0&commissionRate=-1&creator=
我把_tb_token_替换了也不行，不知道怎么办了，请高手帮忙解决啊

站长苏飞

可以呀，直接写代码就行
[code=csharp]            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://caipiao.taobao.com/lottery/order/united_hall.htm?_tb_token_=ee91be7eab33a&page=2&lottery_type=3D&sort_obj=process&sort=desc&change_sort=&lowAmount=&highAmount=&play_type=0&issue=2013186&status=1&amountSec=0-0&commissionRate=-1&creator=",//URL     必需项   
                Method = "get",//URL     可选项 默认为Get   
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
                Cookie = "",//字符串Cookie     可选项   
                Referer ="",//来源URL     可选项   
                Postdata = "",//Post数据     可选项GET时不需要写   
                Timeout = 100000,//连接超时时间     可选项默认为100000   
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型，版本，操作系统     可选项有默认值   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = false,//是否根据301跳转     可选项   
                //CerPath = "d:\123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
                //Connectionlimit = 1024,//最大连接数     可选项 默认为1024                    ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数   
                //ProxyPwd = "123456",//代理服务器密码     可选项   
                //ProxyUserName = "administrator",//代理服务器账户名     可选项   
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;
[/code]

wxfy2011

得出的html里面没有任何数据啊

wxfy2011

1.   string dltUrl = "http://caipiao.taobao.com/lottery/order/united_hall.htm?spm=0.0.0.0.DDPcSQ&lottery_type=3D";
   
2. 
   
3.             HttpHelper objhttp    =   new HttpHelper();    //参数对象      
   
4.             HttpItem  objHttpItem =   new HttpItem()            
   
5.             {               
   
6.                 URL = dltUrl,                           
   
7.                 Method = "GET",           
   
8.             };
   
9.             HttpResult result = objhttp.GetHtml(objHttpItem);    //取Html        
   
10.             string html = result.Html;
    
11. 
    
12.             string tb_token = result.Cookie.Substring(result.Cookie.IndexOf("HttpOnly,_t")+20);
    
13.             string[] tb_token_array = tb_token.Split(";".ToCharArray(), StringSplitOptions.RemoveEmptyEntries);
    
14. 
    
15.             dltUrl = "http://caipiao.taobao.com/lottery/order/united_hall.htm?_tb_token_=" + tb_token_array[0] + "&page=2&lottery_type=3D&sort_obj=process&sort=desc&change_sort=&lowAmount=&highAmount=&play_type=0&issue=2013185&status=1&amountSec=0-0&commissionRate=-1&creator=";
    
16.             objHttpItem = new HttpItem()                   //参数对象
    
17.             {
    
18.                 URL = dltUrl,
    
19.                 //  Encoding = "gb2312",
    
20.                 Method = "GET",
    
21.                 Cookie = objHttpItem.Cookie,
    
22.             };            //取Html         
    
23.             result = objhttp.GetHtml(objHttpItem);
    
24.             html = result.Html;
    
25. 
    

复制代码

下面是我的代码，第一次能到得到数据，下面第二页的就得不到了

wxfy2011

站长苏飞 发表于 2013-7-12 10:33
可以呀，直接写代码就行

站长这个代码不行啊，没有任何数据啊

站长苏飞

加上来源，Cookie我估计需要格式化，你用我的类格式化一下试试

wxfy2011

站长苏飞 发表于 2013-7-12 10:53
加上来源，Cookie我估计需要格式化，你用我的类格式化一下试试

谢谢老大啊，果然厉害成功啦

gangn

膜拜中……