苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 13193|回复: 11

[其他] httphelper get不到数据 不知道是怎么回事

[复制链接]
发表于 2013-4-17 23:27:11 | 显示全部楼层 |阅读模式

目的 要获取 搜索结果的  会员列表页内容 目的 是 采集会员的 un
http://www.ylike.com/SearchMember/

http://www.ylike.com/SearchMember/SearchUserList.do?sex=%C5%AE&area=%B9%E3%B6%AB&City=%C9%EE%DB%DA&age1=18&age2=35&a=SearchMember&search=+

用抓包工具 抓包 的数据
----------------------------------------------
GET /g/getSearchMemberList.do?area=%u5E7F%u4E1C&sex=%u5973&quanzi=0&havephoto=&PageNo=1&classid=1&city=%u6DF1%u5733&age1=18&age2=35&Shengao1=-1&Shengao2=-1&MarryState=&Nianxin1=-1&Nianxin2=-1&havecar=&havevideo=&isonline=&action=SearchMember&ContentMark=SearchMember HTTP/1.1
x-requested-with: XMLHttpRequest
Accept-Language: zh-cn
Referer: http://www.ylike.com/SearchMember/SearchUserList.do?sex=%C5%AE&area=%B9%E3%B6%AB&City=%C9%EE%DB%DA&age1=18&age2=35&a=SearchMember&search=+
Accept: */*
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)
Host: www.ylike.com
Connection: Keep-Alive
Cookie: Sky=User%5FPassword=&Sex=&User%5FClassID=0&VipCid=0&User%5FName=&User%5FID=0&Froms=%B9%E3%B6%AB%40%40%40%C9%EE%DB%DA; SkyMark=AdsMyIdFromURLto%5FCook=%2D1; ASPSESSIONIDACSTRTDA=OCDCPNNCMKDEIADOHCEAKBLH; CNZZDATA2294316=cnzz_eid%3D894345531-1366210792-http%253A%252F%252Fwww.ylike.com%26ntime%3D1366210792%26cnzz_a%3D3%26retime%3D1366210782351%26sin%3Dnone%26ltime%3D1366210782351%26rtime%3D0

----------------------


用 httphelper的 get方法 返回的 数据却是
===========================
请求 GET
地址:http://www.ylike.com/g/getSearchMemberList.do?area=%u5E7F%u4E1C&sex=%u5973&quanzi=0&havephoto=&PageNo=1&classid=1&city=%u6DF1%u5733&age1=18&age2=35&Shengao1=-1&Shengao2=-1&MarryState=&Nianxin1=-1&Nianxin2=-1&havecar=&havevideo=&isonline=&action=SearchMember&ContentMark=SearchMember
状态:200
===================================
<!-----记录结束----->
<!-----分页----->
<div class="search_page"><a href="javascript:void(0);" class="search_page_up">首&nbsp;页</a> <a href="javascript:void(0);" class="search_page_up">上一页</a> <a href="javascript:void(0);" class="search_page_next">下一页</a> <a href="javascript:void(0);" class="search_page_next">末&nbsp;页</a><span class="search_page01">,<span class="search_page02">1</span>/<span class="search_page02"></span> 页</span><span class="search_page03">只显示前500条记录</span><div style="clear:both;"></div></div>
<div style="clear:both;"></div>

=================

怎么回事  怎么获取不到
页面的内容呢?


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-4-18 13:16:39 | 显示全部楼层
你请求的地址本身就没有返回用户信息的,这不是HttpHelper没有给你获取到数据,而是这个页面就没有返回数据,你不要看浏览器里的,那是执行过Js之后的(里面有Ajax请求有),你查看源代码看看有吗?如果有那就是HttpHelper没有获取到,如果没有就是你找的地址不对了。
 楼主| 发表于 2013-4-18 13:33:30 | 显示全部楼层
站长苏飞 发表于 2013-4-18 13:16
你请求的地址本身就没有返回用户信息的,这不是HttpHelper没有给你获取到数据,而是这个页面就没有返回数据 ...

抓包工具的 这个 地址 获取的 内容是 有的
不知道 httphelper怎么获取不到 不知道 有js的 Ajax请求的 怎么处理
发表于 2013-4-18 13:51:25 | 显示全部楼层
max 发表于 2013-4-18 13:33
抓包工具的 这个 地址 获取的 内容是 有的
不知道 httphelper怎么获取不到 不知道 有js的 Ajax请求的 怎 ...

抓包工具抓到的那个地址也应该是没有的吧,我刚看了,页面源码里是没有的,HttpHelper获取的是页面源码
发表于 2013-4-18 13:53:15 | 显示全部楼层
强烈支持楼主ing……
 楼主| 发表于 2013-4-18 14:00:26 | 显示全部楼层
站长苏飞 发表于 2013-4-18 13:51
抓包工具抓到的那个地址也应该是没有的吧,我刚看了,页面源码里是没有的,HttpHelper获取的是页面源码

抓包的  那个地址 是有内容的


11.jpg

发表于 2013-4-18 14:01:36 | 显示全部楼层
是不是跳转了?你可以把地址返回回来看看
发表于 2013-4-18 14:02:20 | 显示全部楼层
貌似苏飞童鞋改成最新版的之后,不能拿到了!自己写一下吧!
 楼主| 发表于 2013-4-18 14:11:16 | 显示全部楼层
Eagle 发表于 2013-4-18 14:01
是不是跳转了?你可以把地址返回回来看看

表示不懂,不过还是要支持楼主
发表于 2013-4-18 14:27:24 | 显示全部楼层
max 发表于 2013-4-18 14:11
表示不懂,不过还是要支持楼主

这个要带Cookie而且要动态生成参数的,你直接请求这个肯定不行啊,你不信你把这个直接放Url里看看提示什么肯定是500  你别在同一个浏览器里,直接换个浏览器输入你上面的URL试试,是不行的
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-26 03:50

© 2014-2021

快速回复 返回顶部 返回列表