热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

新一代数据库的五大标准

新一代的数据库区别传统的数据库的地方在于:对巨量拥有简单数据建模的主要类型数据,能够做到快速处理;对TB级数据(甚至PB级),可以轻松应对;对于我们终端用户,还要实现SQL语句的实时操作。这样的话,新一代的数据库标准就必须包括:MPP—

新一代的 数据库 区别传统的 数据库 的地方在于:对巨量拥有简单 数据 建模的主要类型 数据 ,能够做到快速处理;对TB级数据(甚至PB级),可以轻松应对;对于我们终端用户,还要实现 SQL 语句的实时操作。这样的话,新一代的数据库标准就必须包括: MPP —

新一代的数据库区别传统的数据库的地方在于:对巨量拥有简单数据建模的主要类型数据,能够做到快速处理;对TB级数据(甚至PB级),可以轻松应对;对于我们终端用户,还要实现SQL语句的实时操作。这样的话,新一代的数据库标准就必须包括:

  • MPP — 大规模的并行处理能力。新一代的数据库必须提供大规模的并行处理能力,实现不同机器上同时摄入、处理或者查询等操作。性能必须远甚于只在单台机器上运行,有着数据摄入瓶颈的传统数据库。
  • 无共享架构: 无共享(内存或磁盘等)架构就意味着新一代数据库系统将无懈可击!每个节点工作都是独立的,这样即使其中一台机器出故障,其他机器仍然可以保持继续运行。这在MPP环境中非常重要,因为经常可能有数百台机器同时并行处理数据,机械出故障是难以避免的。
  • 柱状结构:而不是关系数据库中常见的队列式的数据存储或处理。柱状结构下,只有对结果起决定性作用栏目中的数据才会被处理,对比处理所有数据,结果简直是瞬间给出的。这同样意味着数据不用像传统的数据库中一样被有组织的放入整齐的列表中。
  • 卓越的数据压缩能力:卓越的数据压缩能力允许新一代的数据库摄入和储存更多的数据,而且还会比传统的数据库更节约硬件资源。一个拥有10:1压缩能力的数据仓库,举个例子:可以把10TB的数据压缩到1TB。数据压缩的相关技术叫做文件编码,这项技术对数据压缩起着决定性作用。
  • 通用的硬件设施:就像Hadoop集群一样,大部分的新一代数据库都可以在通用的硬件设施上使用,来自Dell、IBM或者其他的,这样使用者就可以在对比一系列来厂商后做出合适的决定。

虽然新的数据库还只是蓝图,但是纵观数据库发展史后不难发现:也许不用多久就会超越上述标准了。

推荐阅读
  • 11月26日,由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,CSDN承办的Hadoop与大数据技术大会(Hadoop&BigDataTechnology ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 本文介绍了如何在MySQL中将零值替换为先前的非零值的方法,包括使用内联查询和更新查询。同时还提供了选择正确值的方法。 ... [详细]
  • 本文介绍了在Win10上安装WinPythonHadoop的详细步骤,包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性,并建议重启电脑以确保安装成功。 ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • 大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记
    本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记,包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件,其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • 本文整理了Java中org.apache.hadoop.hive.ql.plan.ExprNodeColumnDesc.getTypeInfo()方法的一些代码示例,展 ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • 大数据项目为什么失败,2017年将有何不同
    大,数据,项目,为什么,失败,2017 ... [详细]
  • hadoop1.2.1文档中这样写:Nowcheckthatyoucansshtothelocalhostwithoutapassphrase:$sshlocalhostIfyou ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • importorg.apache.hadoop.hdfs.DistributedFileSystem;导入方法依赖的package包类privatevoidtestHSyncOpe ... [详细]
author-avatar
大美女慧慧慧
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有