苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

楼主: pyengwoei

FLASH游戏数据抓取然后入库[1000 RMB]

[复制链接]
 楼主| 发表于 2016-5-9 17:22:39 | 显示全部楼层
站长苏飞 发表于 2016-5-9 16:55
http://www.sufeinet.com/thread-1072-1-1.html 记得我之前做这个的时候是使用这样的技术抓取到的

这个需要用到 万能框架 还是其HTTPHELPER框架啦


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2016-5-9 17:23:21 | 显示全部楼层
pyengwoei 发表于 2016-5-9 17:22
这个需要用到 万能框架 还是其HTTPHELPER框架啦

你直接下载就行了,里面什么都有,直接使用Htttphelper就行了
 楼主| 发表于 2016-5-9 17:25:58 | 显示全部楼层
站长苏飞 发表于 2016-5-9 16:55
http://www.sufeinet.com/thread-1072-1-1.html 记得我之前做这个的时候是使用这样的技术抓取到的

我能不能 把这个项目外包给你。。。飞哥
 楼主| 发表于 2016-5-9 17:36:48 | 显示全部楼层
站长苏飞 发表于 2016-5-9 17:21
试试我上面的方法,肯定能抓到,还是细节或者是方式的问题

那行,我要消化下,很多代码我还看不懂,这个项目是我今年的第一个项目,上个月也才买房,就指望它交房贷了,能搞定一定感谢飞哥
 楼主| 发表于 2016-5-9 17:38:58 | 显示全部楼层
站长苏飞 发表于 2016-5-9 16:55
http://www.sufeinet.com/thread-1072-1-1.html 记得我之前做这个的时候是使用这样的技术抓取到的

整体思路是否是这样的
1、首先请求包含falsh页面的URL
2、然后建立一个socket 去监控当前的端口

后面的我就理解不了了,数据是从哪里得来的啦?
发表于 2016-5-9 17:40:54 | 显示全部楼层
1.打包监听工具,监听整个计算机所有端口
2.访问你需要的数据,然后查看是否提取到。
 楼主| 发表于 2016-5-9 17:50:46 | 显示全部楼层
站长苏飞 发表于 2016-5-9 17:40
1.打包监听工具,监听整个计算机所有端口
2.访问你需要的数据,然后查看是否提取到。

监听工具已经包含在工程里面了吗
发表于 2016-5-9 17:56:47 | 显示全部楼层
是的包含,不过我设置的是固定端口你需要修改一下,你先看看代码吧
 楼主| 发表于 2016-5-9 17:58:17 | 显示全部楼层
站长苏飞 发表于 2016-5-9 17:56
是的包含,不过我设置的是固定端口你需要修改一下,你先看看代码吧

好的
 楼主| 发表于 2016-5-10 15:01:13 | 显示全部楼层
站长苏飞 发表于 2016-5-9 17:56
是的包含,不过我设置的是固定端口你需要修改一下,你先看看代码吧

我有个疑问想请教一下,程序启动的时候
IP只是只能绑定本地的吗?
默认是本地的
但是选择本地
在这个判断
if (ip.TCP != null && ip.SourceAddress.ToString().Trim() == Dns.GetHostByName("index.baidu.com").AddressList[0].ToString().Trim())

本地IP地址是永远不会等于 Dns.GetHostByName("index.baidu.com") 这个的
但是不用默认IP
在 s.Bind(new System.Net.IPEndPoint(IPAddress.Parse(comboBox1.Text), 0));  这里就会报错
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2025-4-5 23:10

© 2014-2021

快速回复 返回顶部 返回列表