http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 18118|回复: 11

[HttpHelper] 怎么得到这个网站的第二页的源码

[复制链接]
发表于 2015-5-9 22:48:39 | 显示全部楼层 |阅读模式
8金钱
怎么得到这个网站的第二页的网页源代码,网址是 http://www.asepb.gov.cn/newsmore.aspx?channel_id=60&category_id=388&parent_id=358

最佳答案

查看完整内容

任何一个都有这个内容,Fribug Fidder2都可以的。


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2015-5-9 22:48:40 | 显示全部楼层
任何一个都有这个内容,Fribug Fidder2都可以的。
回复

使用道具 举报

发表于 2015-5-9 23:21:04 | 显示全部楼层
抓包就看到了
回复

使用道具 举报

 楼主| 发表于 2015-5-10 08:06:18 | 显示全部楼层

能否给个代码例子,我抓包了,但没弄出来,一般你用什么抓包工具?
回复

使用道具 举报

发表于 2015-5-10 10:04:40 | 显示全部楼层
FirBug就行了,或者Finder2  翻页的时候抓下包看看请求的地址是什么
回复

使用道具 举报

 楼主| 发表于 2015-5-10 11:24:07 | 显示全部楼层
站长苏飞 发表于 2015-5-10 10:04
FirBug就行了,或者Finder2  翻页的时候抓下包看看请求的地址是什么

我用火狐浏览器抓包,第二页是:
请求网址:         http://www.asepb.gov.cn/newsmore ... 8&parent_id=358
请求方法:         POST
状态码:         HTTP/1.1 200 OK
User-Agent:        Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0
Referer:        http://www.asepb.gov.cn/newsmore ... 8&parent_id=358
Host:        www.asepb.gov.cn
Connection:        keep-alive
Accept-Language:        zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding:        gzip, deflate
Accept:        text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

ASP.NET_SessionId:        l0eutozj1pnw0j554kwqsjzv
_gscu_2000851108:        312268773jeltf15
_gscs_2000851108:        31226877ktj81815|pv:6
_gscbrs_2000851108:        1

X-Powered-By:        ASP.NET
X-AspNet-Version:        2.0.50727
Server:        Microsoft-IIS/7.5
Date:        Sun, 10 May 2015 03:18:12 GMT
Content-Type:        text/html; charset=utf-8
Content-Length:        114667
Cache-Control:        private

第三页是:

请求网址:         http://www.asepb.gov.cn/newsmore ... 8&parent_id=358
请求方法:         POST
状态码:         HTTP/1.1 200 OK

User-Agent:        Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0
Referer:        http://www.asepb.gov.cn/newsmore ... 8&parent_id=358
Host:        www.asepb.gov.cn
Connection:        keep-alive
Accept-Language:        zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding:        gzip, deflate
Accept:        text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

ASP.NET_SessionId:        l0eutozj1pnw0j554kwqsjzv
_gscu_2000851108:        312268773jeltf15
_gscs_2000851108:        31226877ktj81815|pv:7
_gscbrs_2000851108:        1

X-Powered-By:        ASP.NET
X-AspNet-Version:        2.0.50727
Server:        Microsoft-IIS/7.5
Date:        Sun, 10 May 2015 03:20:48 GMT
Content-Type:        text/html; charset=utf-8
Content-Length:        113931
Cache-Control:        private

还是看不出来啊
回复

使用道具 举报

发表于 2015-5-10 12:14:03 | 显示全部楼层
页面是Post,看Post内容里肯定有页面信息,
回复

使用道具 举报

 楼主| 发表于 2015-5-10 14:03:51 | 显示全部楼层
站长苏飞 发表于 2015-5-10 12:14
页面是Post,看Post内容里肯定有页面信息,

在哪里看,能否截个图?多谢了
回复

使用道具 举报

发表于 2015-5-10 20:23:57 | 显示全部楼层
没看过,周日休息没开电脑,我是看你发的包上是Post请求,说明肯定有Post内容。说明分页是通过Post发送的,你只获取URl是肯定得不到的,这个你学习一下怎么抓包,或者怎么看抓包数据吧,百度一下比我说的清楚的多,这不什么高深技术,算是一般基础吧。
回复

使用道具 举报

 楼主| 发表于 2015-5-11 08:43:36 | 显示全部楼层
站长苏飞 发表于 2015-5-10 20:23
没看过,周日休息没开电脑,我是看你发的包上是Post请求,说明肯定有Post内容。说明分页是通过Post发送的, ...

其它类型的post我也做过了,但这个没找到post数据,能帮我看看吗,给个源代码吧,多谢了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-24 06:46

© 2014-2021

快速回复 返回顶部 返回列表