mysql - 关系型数据库用做统计分析

 尤物-tina_549 发布于 2022-11-05 05:45

最近朋友提了个需求,有十亿条记录,放在一个表里面,1-2G左右。字段都是浮点数。

现有情况下,能不能实现SQL count, sum ,group by 这样的分析

起初我以为,1-2G左右,都可以直接加载到内存了,用内存数据库应该是妥妥的。 所以用了一个SQLite,生成了一亿条记录,3G左右,十个字段,都是随机整数。

完了之后,试图用 select count(*) from data,直接报了 Out of Memory 错误 (机器是服务器,32G内存)。

我想问一下,现有的SQL关系数据库,到底可以实现这种 数据不大,但量很多的 统计分析吗?

目前暂不考虑hadoop 和其他分治算法。就是兴趣想研究一下,能不能用 SQL实现。

2 个回答
  • 参考numpy

    2022-11-12 01:56 回答
  • 其实简单来说,最好是数据库做存储和简单查询。复杂条件数据库肯定不如专业软件。比如elasticsearch

    2022-11-12 01:56 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有