按日期细分表的BigQuery最佳实践

 胡敏qiang 发布于 2023-02-11 12:01

我是柱状DB概念和BigQuery的新手.我注意到,出于性能和成本效率的考虑,建议不仅在逻辑上 - 而且在时间上 - 跨表分割数据.

例如 - 虽然我需要一个表来存储我的日志(1个逻辑表称为"日志"),但实际上认为在不同时期有一个单独的表是一个好习惯,例如"logs_2012","logs_2013"​​等......甚至"logs_2013_01","logs_2013_02"等......

我的问题:

1)这实际上是最好的做法吗?

2)最好划线 - 年度表?月表?每日一桌?你明白了......

3)在通过查询检索数据方面 - 最好的方法是什么?我应该使用UNION选项动态构造我的查询吗?如果我将所有日志都放在一个表中 - 我自然会使用where子句来获取所需时间范围的数据,但是将数据分布在多个表中会使它变得奇怪.我来自关系数据库的世界(如果到目前为止还不明显)并且我试图尽可能顺利地实现飞跃...

4)使用分布式方法(不同时期的不同表格)仍然提高了以下问题:在查询数据本身之前 - 我希望能够确定特定的日志类型 - 查询的可用范围是多少.例如 - 对于特定的机器,我想首先向我的用户提供其可用日志的相关范围,并让他们选择该范围内的特定时期以获得洞察力.问题是 - 当我的数据分布在多个表(每个表中有一段时间)时,如何构建这样的查询,我不知道哪些表可用?当我不知道哪些表存在时,如何构造查询?当这个表实际上不存在或者事件最糟糕时,我可能会尝试访问表"logs_2012_12" - 我不知道哪些表与我的查询相关且可用.

希望我的问题有意义......

阿米特

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有