热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

墨天轮国产数据库沙龙|许力:阿里云原生LindormTSDB数据库,驱动工业IT&OT超融合数字化系统升级

墨天轮国产数据库沙龙|许力:阿里云原生LindormTSDB数据库,驱动工业IT&OT超融合数字化系统升级-分享嘉宾:许力阿里云Lindorm数据库产品经理整理:墨天轮导读大家好,
分享嘉宾:许力 阿里云Lindorm 数据库产品经理
整理:墨天轮

导读

大家好,我是阿里云Lindorm 数据库产品经理许力,今天非常有荣幸给大家介绍阿里云 Lindorm 数据库面向工业场景的最佳实践案例,以及产品的特点,同样要结合行业背景以及客户需求来看待它,因此我今天的分享也就由三个主题组成:市场趋势、顺势而为、核心能力。

市场趋势

工业物联网、车联网行业的迅速发展,产生了大量的数据。评测报告显示,2025年实时数据将占到数据总量的30%,几乎所有实时数据都将由物联网系统产生,同时终端设备代码量激增,终端智能设备、传感器数据将流入云端。因此,到2025年绝大多数的云端新增数据将来源于物联网、车联网等智能互联场景

放眼国内与全球市场,工业物联网都有着巨大的潜力。国家在政策层面积极支持我国工业物联网发展,2019 、2020年相继出台了《“5G+ 工业物联网”512 工程推进方案》和《关于推动工业物联网加快发展的通知》,明确了我国要由工业大国发展迈向工业强国的战略目标,加快推进“互联网 + 制造业”、“5G+ 工业物联网” 的融合创新


图1 工业物联网的国内市场容量

因此在这样的市场趋势下,时序数据的诞生与发展应该顺势而为。

顺势而为

1、工业场景数智升级的问题与挑战

新技术在创造新机遇带动产业升级的同时,也带来了新的技术挑战。更加复杂的系统架构和更高的性能、稳定性要求制约了工业物联网系统实施落地,企业需要专业技术公司来帮助解决数据采集、传输、存储、分析及可视化全链数据处理系统建设难点


图2 数智升级中的建设难点与具体问题

2、阿里云Lindorm TSDB 架构

阿里云Lindorm TSDB 作为时序数据库,它有四个关键的价值:

  • 非对称读写和快速处理海量时序数据
  • 数据存储效率非常高,单位数据量存储成本优势明显。
  • 针对时序数据构建独特的数据存储架构,读取处理时序数据方面相比其他数据库更具有性能、成本优势。
  • 边云一体化,方案集成方便简单。

3、阿里云Lindorm 设计愿景

阿里云Lindorm 的设计愿景体现在高通量高性能易用易维护四个方面。

云原生多模数据库Lindorm是面向互联网、物联网、车联网、工业互联网等设计和优化的超融合数据库,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理,并兼容多种开源标准接口和无缝集成三方生态工具,是日志、监控、账单、广告、社交、出行、风控等场景首选数据库,也是为阿里巴巴核心业务提供支撑的数据库之一,真正做到了“让海量数据看得见、存得起“。


图3 Lindorm TSDB 驱动的工业数据云系统架构

阿里云原生数据Lindorm也应用在工业数据云场景上。Lindorm面向BEV新能源电动汽车监控场景,以极致性价比提供海量数据存储、开放生态兼容、多引擎异构数据融合等能力,与江铃和长城汽车等车厂、东软等车联网服务提供商共建联合解决方案支撑未来网联汽车系统数字化升级。


图4 Lindorm 数据库测评证书

核心能力

1、核心能力一:软硬件定义多级存储

首先,在不同的场景下,用户可以通过权衡性能和存储的成本来选择存储方式,比如性能型存储、标准型存储、容量型存储。不仅提供了存储的灵活度,同时也能够在海量数据的场景下,更大地节省存储的投入。

2、核心能力二:自动冷热分离

用关系型数据库来实现冷热数据的分离存储与分库分表的难度很高,因此从工业场景下,更强调的是一个易于维护易用的自动的做冷热数据的一个管理。

Lindorm数据库将数据自动冷热分层,灵活调整分割线,并且应用零改造、全透明访问,冷数据存储成本大幅减少,热数据访问性能有效提升。

3、核心能力三:智能特征压缩

智能特征压缩也是Lindorm TSDB数据库的产品核心能力之一。相比业界通用的SNAPPY, 压缩率提升50%+,压缩比高达10:1


图5 Lindorm TSDB 智能特征压缩的核心能力

4、核心能力四:高性能吞吐

某业务HBase迁移至Lindorm后,写入RT减少为1/3


图6 Lindorm TSDB 高性能吞吐的核心能力

5、核心能力五:流库一体

传统ETL(Extract-Transform-Load,即数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端)存在着使用门槛高,数据延迟大的痛点,而Lindorm数据库流库一体,ELT即开即用的功能。


图7 Lindorm TSDB 流库一体的核心能力

6、核心能力六:时序流计算

时序流计算是产品的第六个核心能力。产品中丰富的时序多维聚合算子,以支持在上层进行异常检测、趋势预测的算法,从而进行复杂的时序数据处理。


图8 Lindorm TSDB 时序流计算的核心能力

7、核心能力七:时序引擎 TSQL

同时在查询语句上,兼容SQL语法,方便进行数据对接与改造。


图9 Lindorm TSDB 时序引擎 TSQL的核心能力

8、核心能力八:时序洞察

最后,Lindorm数据库的核心能力还体现在时序洞察方面。除了有异常检测,预测这类常用的时序分析的算法之外,还有序列数据的降维算法,帮助用户从高维数据里边找到相似性、相关性与因果关系。


图10 Lindorm TSDB 在时序洞察上的核心能力

以上就是我今天的分享内容,谢谢大家!

更多精彩内容,欢迎大家观看视频回放与会议资料
视频回放:https://www.modb.pro/video/6118
会议资料:https://www.modb.pro/doc/56839

  • 查看原文:https://www.modb.pro/db/335237
  • 相关阅读:国产数据库沙龙 | 张玮绚:TDengine,高性能、分布式、支持SQL的时序数据库
  • 查看【国产数据库沙龙】往期生态工具、图数据库专场资源:https://www.modb.pro/topic/157860

墨天轮,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。

关注官方公众号: 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯


推荐阅读
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • 本文介绍了H5游戏性能优化和调试技巧,包括从问题表象出发进行优化、排除外部问题导致的卡顿、帧率设定、减少drawcall的方法、UI优化和图集渲染等八个理念。对于游戏程序员来说,解决游戏性能问题是一个关键的任务,本文提供了一些有用的参考价值。摘要长度为183字。 ... [详细]
  • 2021最新总结网易/腾讯/CVTE/字节面经分享(附答案解析)
    本文分享作者在2021年面试网易、腾讯、CVTE和字节等大型互联网企业的经历和问题,包括稳定性设计、数据库优化、分布式锁的设计等内容。同时提供了大厂最新面试真题笔记,并附带答案解析。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • 关于我们EMQ是一家全球领先的开源物联网基础设施软件供应商,服务新产业周期的IoT&5G、边缘计算与云计算市场,交付全球领先的开源物联网消息服务器和流处理数据 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 无损压缩算法专题——LZSS算法实现
    本文介绍了基于无损压缩算法专题的LZSS算法实现。通过Python和C两种语言的代码实现了对任意文件的压缩和解压功能。详细介绍了LZSS算法的原理和实现过程,以及代码中的注释。 ... [详细]
  • ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES
    一、认识ElasticSearch是一个基于Lucene的开源搜索引擎,通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索,分析系统&# ... [详细]
  • TiDB | TiDB在5A级物流企业核心系统的应用与实践
    TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最 ... [详细]
  • 用LGWR WORKER的例子介绍strace分析Oracle数据库行为的方法
    可观测性能力是IT运维的强有力的支撑。日志告警、指标是两种在运维中很常用的可观测性指标。 ... [详细]
  • 物联网、工业互联网大数据的特点-随着数据通讯成本的急剧下降,以及各种传感技术和智能设备的出现,从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、挖掘机、工业生产线等都在源 ... [详细]
  • Java开发实战讲解!字节跳动三场技术面+HR面
    二、回顾整理阿里面试题基本就这样了,还有一些零星的问题想不起来了,答案也整理出来了。自我介绍JVM如何加载一个类的过程,双亲委派模型中有 ... [详细]
author-avatar
ccccccc_fly_887
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有