http://www.sufeinet.com/plugin.php?id=keke_group

苏飞论坛

 找回密码
 马上注册

QQ登录

只需一步,快速开始

分布式系统框架(V2.0) 轻松承载百亿数据,千万流量!讨论专区 - 源码下载 - 官方教程

HttpHelper爬虫框架(V2.7-含.netcore) HttpHelper官方出品,爬虫框架讨论区 - 源码下载 - 在线测试和代码生成

HttpHelper爬虫类(V2.0) 开源的爬虫类,支持多种模式和属性 源码 - 代码生成器 - 讨论区 - 教程- 例子

查看: 15050|回复: 2

[总群] 对于大数据量的查询 有什么思路吗, 上百万条的数据 查询时间惨目忍睹啊

[复制链接]
发表于 2013-5-14 10:53:50 | 显示全部楼层 |阅读模式
♂羽毛<> 10:38:48
对于大数据量的查询 有什么思路吗, 上百万条的数据 查询时间惨目忍睹啊。
♂[渝]版主-Eagle() 10:39:41
你一下查询那么多干什么?
♂羽毛<> 10:40:02
我也想知道啊,我为什么要查怎么多呢,嘿嘿
♂羽毛<> 10:40:29
正在把数据按月 拆分。
♂羽毛<> 10:41:11
是查询一个 详细记录 表, 数据量比较大。
♂[渝]版主-Eagle() 10:41:43
条件查询
♂羽毛<> 10:41:51
是啊。
♂采星() 10:41:51
什么
♂采星() 10:41:58
新人 大家多多关照
♂羽毛<> 10:42:42
不知道拆开了,查询100W 左右的数据 怎么样。。
♂采星() 10:43:05
什么数据库 100W
♂站长苏飞() 10:43:09
什么数据库啊,
♂采星() 10:43:11
现在查询多长时间啊
♂羽毛<> 10:43:23
评价记录 数据。
♂站长苏飞() 10:43:30
如果是Sql100W,直接用下所引,就行了,这才多大点数据
♂[渝]版主-Eagle() 10:43:27
苦逼了0.0
♂羽毛<> 10:43:29
当月的。
♂[成都]seaven() 10:43:31
是不是需要查询所有的数据?
♂采星() 10:43:32
可以优化 sql  加索引  分表空间
♂[成都]seaven() 10:43:49
是不是需要查询即使数据呢?
♂站长苏飞() 10:43:53
所引应该就够了。
♂[成都]seaven() 10:43:56
如果不需要 ,可以采用缓存的模式
♂[成都]seaven() 10:44:09
定时更新缓存,然后从缓存里面取数据
♂采星() 10:44:29
100W放缓存也够呛
♂羽毛<> 10:44:32
就是查询一下 当月 一个人 对某个人的 评价次数。
♂羽毛<> 10:44:37
实时数据。
♂采星() 10:44:40
可以分页啊
♂采星() 10:44:46
每次只展示一夜
♂采星() 10:44:48
一页
♂[渝]版主-Eagle() 10:44:52
条件查询
♂[渝]版主-Eagle() 10:44:56
♂羽毛<> 10:44:56
不需要显示,我只需要知道条数就行了
♂[成都]seaven() 10:44:58
只要你内存足够大
♂采星() 10:45:09
查条数 那不很快 囧
♂[成都]seaven() 10:45:13
那你就不用质疑了
♂[渝]版主-Eagle() 10:45:15
条件
♂[成都]seaven() 10:45:18
一下就查出来了吧
♂[渝]版主-Eagle() 10:45:19
count(1)
♂采星() 10:45:35
我以为你要查数据。
♂羽毛<> 10:45:38
900W  用了 15秒才查询出条数来。
♂采星() 10:45:58
多表查询?
♂[渝]版主-Eagle() 10:46:09
select count(1) from TableName where ......
♂羽毛<> 10:46:13
这样要疯的,我一次简单的操作 可能就要查询 5次左右,。
♂采星() 10:46:37
那直接proc啊
♂羽毛<> 10:47:18
100W 数据的查询 一下快多了。不到一秒
♂[北京]SillyPGM(1545415453) 10:47:28
♂[成都]seaven() 10:47:32
查询5次?
♂采星() 10:47:33
本来就很快。
♂[成都]seaven()  10:47:38
那你为什么不一次查询出来呢
♂羽毛<>  10:47:48
逐个人判断啊。
未命名.jpg
数据要是不分开会死人的。
♂[渝]版主-Eagle()  10:49:07
你是要做数据库优化,还是什么的
你想问的核心问题
♂羽毛<>  10:49:28
怎么能让查询快一点。
♂[渝]版主-Eagle()  10:49:53
索引
♂羽毛<>  10:51:34
哦。了解
数据表 右键  全文索引  ? 这个。
♂[渝]版主-Eagle()  10:51:20
你百度一下索引


1. 开通SVIP会员,免费下载本站所有源码,不限次数据,不限时间
2. 加官方QQ群,加官方微信群获取更多资源和帮助
3. 找站长苏飞做网站、商城、CRM、小程序、App、爬虫相关、项目外包等点这里
发表于 2014-10-10 19:09:27 | 显示全部楼层
使用数据结构,hash 表或红黑树。
发表于 2023-8-7 14:11:29 | 显示全部楼层
建立合适的索引,再不行分表
您需要登录后才可以回帖 登录 | 马上注册

本版积分规则

QQ|手机版|小黑屋|手机版|联系我们|关于我们|广告合作|苏飞论坛 ( 豫ICP备18043678号-2)

GMT+8, 2024-11-22 06:50

© 2014-2021

快速回复 返回顶部 返回列表