苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 8606|回复: 4

网页信息抓取、比较及后续操作

[复制链接]
发表于 2016-10-27 14:05:40 | 显示全部楼层 |阅读模式
提需求
联系方式: qq 1322508
金额: 5000 元
各位前辈,小弟有个主要需求如下,请各位审视,价格还可再议
1、从第一个网站抓取某div内容。这个网站多帧嵌套,js搞来搞去。
此div的内容在某帧,是由js数据从后台实时推送过来。
比如足球比分网站 http://bf2.310v.net/ ,当有比赛进球时,它左上角的有个div(一开始它是张图,有进球后就换成信息列表)

1.jpg

这个div将会显示一条或者多条信息,比如:
英超  33’  切尔西 2:0 曼城
德甲  56’  拜仁    5:2 多特
..

要求:每隔2秒抓取这个div内容。获得进球的比赛球队,比如 切尔西和多特。

2、画风一转,到另一个网站,这个网站也是多帧构造。脚本调来调去。
这个网站的需求是
1)自动登录
2)点击导航frame上的一个特定链接,打开一个页面到某主要frame里。
3)这个页面的内容也是被js调取出来的,但它的方法跟第一个好像不一样。
4)这个页面里也有同样的多场比赛,我们根据刚才找到的球队,比如切尔西这场比赛正在进行。找到它。
    它的旁边有多个选择,多个链接,我们选定一个特定的。点击。
5)点击这个选择链接后,会在另外一个帧带出一个表格填充页面,自动填入我们配置的信息,并自动点提交按钮。
6)重复第4步,找到多特的比赛,继续进行。

3、提供源码。

这几条是主要的需求,其他的就是一些较为简单的写日志之类。谢谢大家。
我购买了坛主的万能框架,收益良多,但本人基础很弱,希望能得到指教,
请跟我联系 1322508,小弟拜上






1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
 楼主| 发表于 2016-10-27 14:09:13 | 显示全部楼层
哦,忘了提一句,第二个网站的主要数据页面,它是自动1分钟刷新一次的,比如有的比赛打完了,下次刷新它就不见了;而有的比赛开始了,它就出现了。但是有时候刷着刷着它自己刷不动了。

所以建议每隔3,5分钟,程序自动刷它一次,获得最新列表,好跟第一个网页得到的数据进行比较。
发表于 2016-10-31 17:14:20 | 显示全部楼层
我只是路过打酱油的。
 楼主| 发表于 2016-11-2 10:07:33 | 显示全部楼层
谢谢大家关心,已经有经验丰富技术可靠的的工程师接洽。
发表于 2017-5-1 18:09:55 | 显示全部楼层
这个不难。。说到最近还是要捉包,找到那个js调用的那个api就全搞定了
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-12-27 01:03

© 2014-2021

快速回复 返回顶部 返回列表