http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 8257|回复: 6

获取京东商品搜索的结果

[复制链接]
发表于 2016-10-25 10:52:25 | 显示全部楼层 |阅读模式
提需求
联系方式: 18038982880
金额: 200 元
京东选择商品分类后,选好筛选内容后,会有一个URL链接,根据这个链接,返回商品的SKU。例如选择京东,笔记本,戴尔,会有链接http://list.jd.com/list.html?cat=670,671,672&ev=exbrand_5821。根据这个链接,返回得到的商品SKU。不要拿到网页所有内容再分析得到结果,这样效率太低。有兴趣联系我。


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2016-10-25 11:02:45 | 显示全部楼层
你这个需求有点无理吧,不获取页面怎么能提取到Sku呢。Sku都在页面里面,除非 你让JD给你额外开一个接口专门返回Sku
 楼主| 发表于 2016-10-25 11:11:13 | 显示全部楼层
站长苏飞 发表于 2016-10-25 11:02
你这个需求有点无理吧,不获取页面怎么能提取到Sku呢。Sku都在页面里面,除非 你让JD给你额外开一个接口专 ...

最后生成的总页面是有SKU。但是这个页面包括其他好多东西。我仅仅是要SKU。应该页面生成过程中某一次页面请求应该会返回这些SKU。我就不知道是哪些。。。
发表于 2016-10-25 11:55:23 | 显示全部楼层
cjhwcrsm 发表于 2016-10-25 11:11
最后生成的总页面是有SKU。但是这个页面包括其他好多东西。我仅仅是要SKU。应该页面生成过程中某一次页面 ...

不是,是直接生成的,就在这个页面,我这我看过。必须访问
http://list.jd.com/list.html?cat=670,671,672&ev=exbrand_5821这个页面才能获取,内容就在这个页面里
发表于 2016-10-25 11:56:43 | 显示全部楼层
恩对,必须访问http://list.jd.com/list.html?cat=670,671,672&ev=exbrand_5821
 楼主| 发表于 2016-11-4 17:11:53 | 显示全部楼层
站长苏飞 发表于 2016-10-25 11:56
恩对,必须访问http://list.jd.com/list.html?cat=670,671,672&ev=exbrand_5821

飞哥。按照你说的直接访问页面,解析html后确实获取到了一部分的商品信息。但是另一部分的商品信息是等到滚动条拉下来才动态加载的,这部分的商品获取我看了几天的js,都没有发现ajax或者其他相关的网络请求能得到这部分商品的信息,求指点啊感恩无私的分享与奉献
发表于 2016-11-5 10:39:16 | 显示全部楼层
这个你能抓到包吧应该,我估计就是一个分页,你单抓这一个包,应该是修改一个分页的问题
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-23 05:40

© 2014-2021

快速回复 返回顶部 返回列表