苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 5827|回复: 8

[求助] 获取网页勾选分类后的html遇到困难

[复制链接]
发表于 2013-9-12 10:16:44 | 显示全部楼层 |阅读模式
我想得到这个地址(https://www.allyouneed.com/cat/Baby-+Kind-Baby-+%26+Kindernahrung?catid=638 )勾选分类后的html,遇到困难,求大神帮助.
步骤:1.打开地址
        2.在左下角选择分类Hipp,或者选择任意分类
        3.想得到刷新之后的html




1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2013-9-12 11:09:13 | 显示全部楼层
这个框的代码如下
[code=html]<input type="checkbox" class="filterCheckbox chkChild" checked="checked" name="navigatorForm:j_idt682:4609.247:j_idt688" id="navigatorForm:j_idt682:4609.247:j_idt688">[/code]

单击时会请求这个页面
https://www.allyouneed.com/pages/shop/catalog/index.jsf
Post参数是
  1. AJAX:EVENTS_COUNT=1
  2. javax.faces.ViewState=7726352396838717108:-6520135245922468782
  3. javax.faces.behavior.event=change
  4. javax.faces.partial.ajax=true
  5. javax.faces.partial.event=change
  6. javax.faces.partial.execute=navigatorForm:j_idt682:4609.247:j_idt688 @component
  7. javax.faces.partial.render=@component
  8. javax.faces.source=navigatorForm:j_idt682:4609.247:j_idt688
  9. navigatorForm=navigatorForm
  10. navigatorForm:categoriesTree__SELECTION_STATE=
  11. navigatorForm:j_idt682:4609.247:j_idt688=on
  12. navigatorForm:j_idt682__SELECTION_STATE=navigatorForm:j_idt682:4609.247:j_idt683
  13. org.richfaces.ajax.component=navigatorForm:j_idt682:4609.247:j_idt688
  14. rfExt=null
复制代码
你自己对接一下吧。
这里面应该有对应的分类Id之类的。



 楼主| 发表于 2013-9-12 11:38:21 | 显示全部楼层

谢谢站长的回答,我之前也这样弄的,直接用httphelper,提交postdata是吗,把postdata全部提交的,得到的html,不包含我勾选分类后页面商品的名称,这方面我是菜鸟,耽误站长时间了.

我本意想获取分类中HIPP商品是否有货,想得到html后解析,现在没有得到想要的html.
发表于 2013-9-12 11:51:23 | 显示全部楼层
这是SJ生成的。光靠获取页面是不行的,需要执行JS生成。你看获取到的数据,我见里面什么有啊。
你看看有吗?
新建文本文档.txt (71.74 KB, 下载次数: 220)
 楼主| 发表于 2013-9-12 11:59:12 | 显示全部楼层
站长苏飞 发表于 2013-9-12 11:51
这是SJ生成的。光靠获取页面是不行的,需要执行JS生成。你看获取到的数据,我见里面什么有啊。
你看看有吗 ...

这样确实是有,我不会执行JS,老大能指导下吗,或者源码,我想学习下,谢了
发表于 2013-9-12 13:04:31 | 显示全部楼层
So论坛有
回复

使用道具 举报

 楼主| 发表于 2013-9-12 13:37:23 | 显示全部楼层

能告诉我需要执行的JS在哪吗?需要模拟选中checheckbox?
发表于 2013-9-12 13:50:58 | 显示全部楼层
你把每一个分类的ID先提取出来就是了。还需要执行时选择吗?想要那个分类的就直接填那个ID
看2楼和4楼的代码,
 楼主| 发表于 2013-9-12 14:29:33 | 显示全部楼层
站长苏飞 发表于 2013-9-12 13:50
你把每一个分类的ID先提取出来就是了。还需要执行时选择吗?想要那个分类的就直接填那个ID
看2楼和4楼的代 ...

老大有空的时候能写个简单的demo吗,万分感激
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-23 19:01

© 2014-2021

快速回复 返回顶部 返回列表