http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 11920|回复: 11

[HttpHelper] 京东获取商品状态太神奇了,请阅

[复制链接]
发表于 2014-10-21 01:02:56 | 显示全部楼层 |阅读模式
1金钱
参照前人的帖子和代码,自己搞了下,采用 httpHelper来获取,但是发现,为什么网站 F12调试的时候获取得到明确的信息,如“福建预订,而且也有价格等信息”,但是通过 HttpHelper获取到的,确是有很多一部分的信息都没有,比如价格,还有“福建预订”,这些字,httpHelper的httpResult获取到的这部分源码为:
>已有124人评价</a></span></div><div stock="1082540356" class="stocklist"><span class="st33"></span></div><div class="btns"><  “  其中,福建预订,的 class不是 st33,而是st36,但为什么 源码确实 st33, 怎么办?
难道是:页面会连续载入多次,最后一次载入完成后,所有内容才会出现? httpResult 只获取到前面一次的内容,所以很多内容都是空的???

请教各位大侠了。。

F12调试的界面

F12调试的界面


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-10-21 07:59:41 | 显示全部楼层
这是一个老生常谈的问题了,浏览器会执行JS和Ajax,Httphelper只是单次请求,直接查看源码和Httphelper获取到的不一样是正常的,你看下价格部分应该是Ajax调取的
回复

使用道具 举报

 楼主| 发表于 2014-10-21 09:07:29 | 显示全部楼层
我在这方面还是新人,被论坛的N多大牛给强力吸引着。谢谢指点。
那么请再指点下 接下来我要怎么做才能获取到最后按F12的那个源码内的所有内容?
回复

使用道具 举报

发表于 2014-10-21 12:45:42 | 显示全部楼层
maidouwoaini 发表于 2014-10-21 09:07
我在这方面还是新人,被论坛的N多大牛给强力吸引着。谢谢指点。
那么请再指点下 接下来我要怎么做才能获取 ...

要使用抓包的方式来分析数据了。这个一两句话说不清楚,我是从E转过来C#的,具体的C这边怎么写不是很熟悉。但是原理都是差不多,还有就是,你用的正则匹配还是用的什么来提取这些信息,如果有javastript的话,用正则肯定无法匹配到东西的啊。
回复

使用道具 举报

 楼主| 发表于 2014-10-21 14:04:46 | 显示全部楼层
首先,很感谢你的回复。

我获取节点采用的方法是:SelectSingleNode(XPath) ,XPath是XML路径的写法

我差点就去弄E语言了,E语言有很现成的教学材料,但是太贵了 999元,而且就1年,后面的继续交钱
1、发现E语言感觉太封闭了,自己其实C#很多年了,只不过很少弄Post和winForm这块的
2、并且E语言杀毒软件严重报毒,使用起来非常不舒服。
3、中文编程还是很难接受,算了还是返回c#吧。
4、WinForm应该也是都可以解决的,就担心现成的可学习的资料太少而已
回复

使用道具 举报

发表于 2014-10-22 09:53:58 | 显示全部楼层
.net方面的学习资料还是很多的。
回复

使用道具 举报

 楼主| 发表于 2014-10-23 09:05:09 | 显示全部楼层
嗯,感谢各位的指点。

京东商品界面的源码上的JS看懂了,也实际操作了。
1、他的确通过异步调用获取到商品状态(页面Js中有)
2、根据获取到的商品的skuValue值,再通过位移的方式  & 0xffff 得到匹配的数值
3、根据数字判断是什么状态(页面JS中有逻辑处理),然后通过节点插入html插入状态中文值
4、得出最后的结果。

谢谢了
回复

使用道具 举报

发表于 2014-10-23 14:44:21 | 显示全部楼层
我只是路过打酱油的。
回复

使用道具 举报

发表于 2014-10-29 16:04:49 | 显示全部楼层
我只是路过打酱油的。
回复

使用道具 举报

发表于 2014-11-4 13:35:09 | 显示全部楼层
学技术好难,
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-24 15:27

© 2014-2021

快速回复 返回顶部 返回列表