我是柱状DB概念和BigQuery的新手.我注意到,出于性能和成本效率的考虑,建议不仅在逻辑上 - 而且在时间上 - 跨表分割数据.
例如 - 虽然我需要一个表来存储我的日志(1个逻辑表称为"日志"),但实际上认为在不同时期有一个单独的表是一个好习惯,例如"logs_2012","logs_2013"等......甚至"logs_2013_01","logs_2013_02"等......
我的问题:
1)这实际上是最好的做法吗?
2)最好划线 - 年度表?月表?每日一桌?你明白了......
3)在通过查询检索数据方面 - 最好的方法是什么?我应该使用UNION选项动态构造我的查询吗?如果我将所有日志都放在一个表中 - 我自然会使用where子句来获取所需时间范围的数据,但是将数据分布在多个表中会使它变得奇怪.我来自关系数据库的世界(如果到目前为止还不明显)并且我试图尽可能顺利地实现飞跃...
4)使用分布式方法(不同时期的不同表格)仍然提高了以下问题:在查询数据本身之前 - 我希望能够确定特定的日志类型 - 查询的可用范围是多少.例如 - 对于特定的机器,我想首先向我的用户提供其可用日志的相关范围,并让他们选择该范围内的特定时期以获得洞察力.问题是 - 当我的数据分布在多个表(每个表中有一段时间)时,如何构建这样的查询,我不知道哪些表可用?当我不知道哪些表存在时,如何构造查询?当这个表实际上不存在或者事件最糟糕时,我可能会尝试访问表"logs_2012_12" - 我不知道哪些表与我的查询相关且可用.
希望我的问题有意义......
阿米特