http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 4630|回复: 5

[其他] 老大,求分析这个网站、、、

[复制链接]
发表于 2013-8-21 10:53:25 | 显示全部楼层 |阅读模式
http://port.shippingchina.com/tide/index/index.html
现在只知道是post方式,但是试了很多方法都不好使。。。返回的都是默认的数据

求老大抽点时间看看


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-8-21 11:06:44 | 显示全部楼层
提供一下你的抓包数据
不要心急先说清楚你的问题
抓下包不会的上百度查使用Filder2就行
还有你Post什么,查询,还是登录,还是别的什么。
 楼主| 发表于 2013-8-21 11:29:20 | 显示全部楼层
站长苏飞 发表于 2013-8-21 11:06
提供一下你的抓包数据
不要心急先说清楚你的问题
抓下包不会的上百度查使用Filder2就行
  1. HttpHelper http = new HttpHelper();
  2.             HttpItem item = new HttpItem()
  3.             {
  4.                 URL = "http://port.shippingchina.com/tide/index/index.html",
  5.                 Encoding = Encoding.UTF8,
  6.                 Method = "get",
  7.             };

  8.             HttpResult result = http.GetHtml(item);
  9.            
  10.             string cookie = result.Cookie;
  11.             string html = result.Html;
  12.             textBox1.Text = html;


  13.             item = new HttpItem()
  14.             {
  15.                 URL = "http://port.shippingchina.com/tide/index/index.html",//URL这里都是测试URl   必需项
  16.                 Encoding = Encoding.UTF8,
  17.                 Method = "post",
  18.                 Postdata = "port_namec=%E9%9D%92%E5%B2%9B&month=5&day=1&Submit=%E6%90%9C%E7%B4%A2",
  19.                
  20.             };
  21.             //得到新的HTML代码

  22.             result = http.GetHtml(item);
  23.             html = result.Html;
  24.             textBox1.Text = html;
复制代码
是这样的,我需要查询潮汐信息,但是cookie那部分不太会用
  1. POST /tide/index/index.html HTTP/1.1
  2. Accept: text/html, application/xhtml+xml, */*
  3. Referer: http://port.shippingchina.com/tide/index/index.html
  4. Accept-Language: zh-CN
  5. User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)
  6. Content-Type: application/x-www-form-urlencoded
  7. Accept-Encoding: gzip, deflate
  8. Host: port.shippingchina.com
  9. Content-Length: 70
  10. DNT: 1
  11. Connection: Keep-Alive
  12. Cache-Control: no-cache
  13. Cookie: __utma=150640183.800196362.1376889183.1376889183.1376889183.1; __utmz=150640183.1376889183.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=27454718.439679059.1376889740.1376889740.1376893795.2; __utmz=27454718.1376893795.2.2.utmcsr=port.shippingchina.com|utmccn=(referral)|utmcmd=referral|utmcct=/tide/index/; Hm_lvt_846be12a69ca8d5d56a56c10c737edb4=1376889740; PHPSESSID=3c9af8ae7b23c3ba4e095f367809b186

  14. port_namec=%E9%9D%92%E5%B2%9B&month=2&day=11&Submit=%E6%90%9C%E7%B4%A2
  15. 参数 port_namec=港口名&month=月份&day=日&Submit=提交
复制代码
查询的时候,龙口是默认的,我在参数里不管怎么更改,服务器返回的都是龙口的数据

我尝试了好多种方法都不好使,希望老大帮忙看看


发表于 2013-8-21 11:38:47 | 显示全部楼层
[code=csharp]            HttpHelper http = new HttpHelper();
            HttpItem item = new HttpItem()
            {
                URL = "http://port.shippingchina.com/tide/index/index.html",//URL     必需项   
                Method = "post",//URL     可选项 默认为Get   
                IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
                Cookie = "",//字符串Cookie     可选项   
                Referer ="",//来源URL     可选项   
                Postdata = "port_namec=%E7%A7%A6%E7%9A%87%E5%B2%9B&month=2&day=2&Submit=%E6%90%9C%E7%B4%A2",//Post数据     可选项GET时不需要写   
                Timeout = 100000,//连接超时时间     可选项默认为100000   
                ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
                UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型,版本,操作系统     可选项有默认值   
                ContentType = "text/html",//返回类型    可选项有默认值   
                Allowautoredirect = false,//是否根据301跳转     可选项   
            };
            HttpResult result = http.GetHtml(item);
            string html = result.Html;
            string cookie = result.Cookie;
[/code]

Postdata = "port_namec=%E7%A7%A6%E7%9A%87%E5%B2%9B&month=2&day=2&Submit=%E6%90%9C%E7%B4%A2"
这些参数你自己组织一下就行了。

发表于 2013-8-21 11:39:11 | 显示全部楼层
http://www.sufeinet.com/thread-3690-1-1.html 用生成工具直接就可以取到
 楼主| 发表于 2013-8-21 12:04:46 | 显示全部楼层
站长苏飞 发表于 2013-8-21 11:39
http://www.sufeinet.com/thread-3690-1-1.html 用生成工具直接就可以取到

好的老大,我先试试
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-23 00:38

© 2014-2021

快速回复 返回顶部 返回列表