热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

使用ApacheDoris有什么好处

本篇文章为大家展示了使用ApacheDoris有什么好处,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。 Do

本篇文章为大家展示了使用Apache Doris有什么好处,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。


 
Doris是Apache的孵化项目,作为MPP架构的关系型分析数据库,其性能表现卓越。  此外Doris高度兼容MySQL协议,支持在线表结构变更且不依赖任何外部存储;  扩展能力强,单集群可水平扩展至200台以上;  多副本数据、元数据高可用,同时支持 Kafka流式导入,未来希望吸引更多外部贡献者加入做出有效改进。

Doris作为Apache的孵化项目,有很多体量比较大的企业在使用,例如搜狐 、一点资讯、美团、小米、京东等。  Doris产品在百度的最初研发大概在十年之前,当前内部偏数据仓库的业务基本都运行在其上,作为MPP架构的关系型分析数据库,起初在设计时主要追求便捷与问题解决,支持PB级别。  由于传统数据仓库主要是商业智能的方向,并没有对高并发、高可用做很多优化,而是集中在多维分析与报表查询等功能,而Doris可以确保7×24小时服务,通过滚动升级不中断线上服务,Doris在2017年在Github上开源 ,并于2018年进入Apache孵化器。
 
具体说到Doris的特色,性能卓越是不可忽视的一方面。  了解一种数据库的卓越性能,我们需要看其场景,离开场景泛泛谈数据库性能,是不科学的。  Doris每个单后端可以做到在高并发情况下做到每秒钟8000+次的查询性能,100台节点的集群基本可以达到几万到十几万QPS的性能,这个性能基本可以满足类似百度统计这种,支撑全网几十万网站与APP的查询要求。  此外,Doris高度兼容MySQL协议,支持在线表结构变更;  只设FE、BE两个进程,方便部署,其中FE 负责元数据存储、查询解析和规划,BE 负责数据存储、执行查询算子。
         使用Apache Doris有什么好处         
基于此,我们都知道类似Kylin这类系统在线变更极其不便,仅仅是增加删除列可能都需要重新做表,影响在线服务,并且依赖很多Hadoop组件,使得部署使用非常复杂。  但Doris高度集成并没有过多依赖外部存储,快速安装并可做到主节点高可用,就算是切换也可做到无感知并操作简单。  此外,Doris扩展性强,架构优雅,其单集群可水平扩展至200台以上,支持Kafka流式导入集群,通过ODBC、JDBC链接前端可视化工具或开发应用等,表现出高可用、多副本等优势特性,Doris作为大企业开源的软件,是在实践中千锤百炼累计出来的,对解决实际问题的效果很好。

使用Apache Doris有什么好处
在京东,他们主要采用Doris来解决京东广告平台的报表查询,需要满足每日千万级查询、每日百亿级增量、毫秒级查询延迟以及每日百亿报表查询/多维分析/日志分析等数据指标。  Doris在618大促期间表现突出。  此外在美团数据仓库迁移的过程中,原本是基于Apache Kylin的数据建模,由于 Kylin的Cube预构建会造成较多的数据重复,保持数据时效性还需要每天需要对大量历史数据进行重计算;  但现在主要基于Doris进行数据建模,按天同步维度表和事实表,ad-hoc query查询即可。
         使用Apache Doris有什么好处         
         使用Apache Doris有什么好处            

Doris下一步的主要研发规划,包括存储和计算分离。  我们发现目前有很多的历史数据存在于存储节点之上,未来希望可以存储在云上的对象存储中,将Doris改进为云原生数据库。  毕竟在云上部署弹性的计算资源,一旦计算与存储分离,成本也会相应得到降低;  引入新的存储格式,提升存储效率,包括索引、新的实时更新存储引擎等,以便提升效率;  此外还会在查询优化方面下功夫,例如研发新的查询优化框架,支持CBO。

上述内容就是使用Apache Doris有什么好处,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注编程笔记行业资讯频道。


推荐阅读
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • 你知道Kafka和Redis的各自优缺点吗?一文带你优化选择,不走弯路 ... [详细]
  • kafka教程基本概念
    kafka教程基本概念 ... [详细]
  • 马蜂窝数据总监分享:从数仓到数据中台,大数据演进技术选型最优解
    大家好,今天分享的议题主要包括几大内容:带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程;我个人认为数 ... [详细]
  • Linux如何安装Mongodb的详细步骤和注意事项
    本文介绍了Linux如何安装Mongodb的详细步骤和注意事项,同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库,适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作,能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]
  • 企业数据应用挑战及元数据管理的重要性
    本文主要介绍了企业在日常经营管理过程中面临的数据应用挑战,包括数据找不到、数据读不懂、数据不可信等问题。针对这些挑战,通过元数据管理可以实现数据的可见、可懂、可用,帮助业务快速获取所需数据。文章提出了“灵魂”三问——元数据是什么、有什么用、又该怎么管,强调了元数据管理在企业数据治理中的基础和前提作用。 ... [详细]
  • 【转】腾讯分析系统架构解析
    TA(TencentAnalytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可。本文将从实 ... [详细]
  • 《Spark核心技术与高级应用》——1.2节Spark的重要扩展
    本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章,第1.2节Spark的重要扩展,作者于俊向海代其锋马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看1. ... [详细]
  • 2019我的金三银四
    先讲一下自己的情况吧,二本学生,17年毕业,目前在一家跨境电商从事Java技术开发工作(不是阿里,没那么厉害),技术栈目前偏向于容器云、持续集成持续交付这一块,也就是SpringBoot、Kuber ... [详细]
  • 前言最近一段时间在整公司项目里一个功能的优化,用到了多线程处理。期间也是踩了不少的坑,在这里想说下我遇到的问题和注意事项。以及怎样知道启动的那些多线程都 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 如何用UE4制作2D游戏文档——计算篇
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 大家好,这是一个为了梦想而保持学习的博客。这个专题会记录我对于KAFKA的学习和实战经验,希望对大家有所帮助,目录形式依旧为问答的方式,相当于是模拟面试。一、概述在对kafka有了 ... [详细]
author-avatar
记忆里的Angle
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有