热门标签 | HotTags
当前位置:  开发笔记 > 人工智能 > 正文

用内存数据库技术提升高端路由器的性能_MySQL

用内存数据库技术提升高端路由器的性能
1、引言

随着数据通信市场的不断深入发展,运营商对高端路由器系统提出了更加严格的要求,比如丰富的业务特性、大容量、高可靠性和安全性等,这对高端路由器设计和开发是一个巨大的挑战。

研发人员的做法往往是在原有系统的基础上针对业务的特点进行优化,比如优化现有数据结构提高存储、查找效率等,以此提升容量和性能。数据结构优化常用的方法就是利用各种算法重新组织数据,提高各种场景下的存储和查询效率。这种做法的结果是在业务流程中嵌入了很多对数据结构操作的复杂流程,导致系统可维护性很差。

还有,很多常用的业务子系统需要不断叠加新的特性,以满足新的市场需求。很多业务叠加也需要扩展原有的数据结构,甚至需要增加新的数据结构以及新的关系。这种扩展也是比较复杂的工作

目前大多数数据通信路由软件平台都是实时系统,为了提高实时性,大量的数据都是系统自己维护。现在内存数据库已经不断成熟,而且已经有很多成功的应用案例,比如在电信计费、电力自动化等方面都有应用。如果把内存数据库应用在实时通信路由软件平台的某一些子系统中,可以把复杂数据的维护移交给数据库来做,这样系统本身对数据的维护减少到数据库中的几个接口函数,可以聚焦业务本身,降低了系统的复杂度,同时利用数据库现有的高效检索技术提高系统的性能,增加了系统的可扩展性、可维护性。

比较常用的内存数据库有美国MCObject公司的eXtremeDB、Oracle公司的TimeTen等。eXtremeDB可以很好的应用在实时系统中,数据保存在内存而非文件中,访问速度能够满足实时性,而且开放多种检索方法,用户可以根据业务特点选择合适高效的方法。

下面从路由软件平台中拿出一个典型的子系统(PWE3子系统)说明使用内存数据库带来的好处。

2、解决复杂的数据管理问题

PWE3(Pseudowire Emulation Edge to Edge)是MPLS VPN子系统的组成部分,属于L2VPN,是传统网络比如ATM、TDM网络向IP网络迁移的过渡性技术。该业务的特点是业务模型相对简单,但容量需求巨大,可能一个用户需要一条伪线即PW,一个系统需要支撑上万条PW伪线。图1是标准的PWE3参考模型图(摘自RFC4447)。

图1 PWE3参考模型

该业务的数据部分涉及如下几个关键的结构实体。

AC实体(参见图2)是PW的接入部分,需要使用二级HASH组织,一级为主接口索引HASH,二级为子节口索引HASH,以满足如下两个需求,一是主接口状态变化时,会影响到它所有子节口上的PW状态变化,比如主接口状态DOWN,则该接口下所有的子接口上的PW的AC状态都应该置DOWN;二是子接口状态变化时,需要更新该子接口上的PW的AC状态。

图2 AC实体

Local PW实体(参见图3)是本地PW的数据部分,一级通过Peer IP进行HASH,每个Peer IP节点下挂一颗Local PW AVL树,树的Key就是PW的Key,即PW ID + PW TYPE,以满足如下几个需求:

①以Peer IP为单位的会话状态变化时,能够快速定位到依赖于该会话的所有PW,处理PW状态的变化,比如删除转发信息等;

②收到远端信息时能够通过Peer IP、PW ID + PW TYPE快速定位到Local PW,迅速创建FIB并下发转发信息到转发引擎,以便尽可能快的恢复业务。

图3 Local PW实体

Remote PW实体(参见图4)是通过信令(Mapping)学习到的远端PW信息,该数据也通过上述的Peer IP一起组织,在PeerIP节点下再下挂一颗Remote PW AVL树。

图4 Remote PW实体

PW状态UP后创建的转发信息表PW FIB,需要下发到转发引擎指导快速转发,通过一个单向链表组织即可。

图5 PW FIB实体

另外:

①PW创建、删除流程;

②会话DOWN功能,该流程需要删除该会话下所有的远端PW信息以及相关的PW FIB信息;

③PWE3子系统使能、去使能功能,使能时需要初始化各种表项的数据结构,去使能时,需要依次删除所有的数据结构。

根据上面的描述可以看出,PWE3子系统其实就是维护上述几种数据结构,包括表项的添加、删除、更新、查询等,以及尽可能的提高表项的操作效率、节省内存。

如果使用内存数据库完成上述功能就会使系统简单的多,把数据的维护交给内存数据库完成,比如数据的创建、删除以及更新等,而PWE3子系统本身主要完成业务的处理,比如信令的处理等。重新整理数据库表如下:

AC Table如图6所示,增加一个主键AC ID列,增加一个Main IfNet Index列,在IfNet Index和Main IfNet Index上分别创建索引,分别用于接口状态变化能够迅速定位到AC、主接口状态变化时能够迅速定位到所有子节口的AC,再增加一个外键列Local PW ID,用于和Local PW Table关联。

图6 AC实体表

Local PW Table如图7所示,主键为Local PW ID;在PW ID+ PW TYPE、Peer IP上创建索引,分别用于通过PW ID + PW TYPE快速定位PW、在会话状态变化时能够快速定位到所有基于该会话的PW;增加AC ID、FIB ID列,分别建立和AC Table、FIB Table的关联。

图7 Local PW实体表表

Remote PW Table如图8所示,主键为Remote PW ID;在PW ID+ PW TYPE、Peer IP上创建索引,分别用于通过PW ID + PW TYPE快速定位PW、在会话状态变化时能够快速定位到所有基于该会话的PW;增加Local PW ID列,建立和Local PW Table的关联。

图8 Remote PW实体表

PW FIB Table如图9所示,在下发时,实时通过外键查询相关内容,组装后下发给转发引擎。

图9 PW FIB实体表

剩下的工作就是处理业务流程,把数据维护交给数据库管理了。

3、简化热备份的实现

在高端路由器系统中,需要实现HA,其中一项就是热备份,就是双主控备份问题,如图10所示。

图10 热备份板间图

有两块主控板,一个是ACTIVE的,叫着主用主控板,和接口板通讯,一个是INACTIVE,叫着备用主控板,和主用主控板通讯,接受主用主控板备份过来的数据,并进行还原,而且需要实现主备板数据的一致性。当主用主控板出现故障时,备用主控板能够顺速变为ACTIVE状态,替代主用主控板的功能,实现和接口板的通讯。

主备板数据的一致性一般是通过一个HA的模块实现的,该模块实现一个简单的状态机,控制主备板状态的变化以及切换,同时为应用提供一个统一的API,实现数据的备份和恢复。每个应用子系统都会在主板封装数据,通过HA发送到备板,在备板解封装,然后重建。

如果使用实时数据库系统,备份功能可以交给数据库的备份功能实现。在主备板之间分别建立一个数据库,主备板数据的同步交给数据库的备份功能完成。

4、结束语

把实时数据库技术使用在高端路由器软件平台上带来的另一个好处就是缩短开发周期,能够迅速推出产品并占领市场。

参考文献

[1] 卢炎生,潘怡,赵栋,谢晓东 . 一个内存数据库管理系统的数据组织.华中理工大学学报, 1999

[2] 杨武军, 张继荣, 屈军锁 . 内存数据库技术综述.西安邮电学院学报,2005

[3] McObject公司.内存数据库使用说明

推荐阅读
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • 生成对抗式网络GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN介绍
    一、GAN原理介绍学习GAN的第一篇论文当然由是IanGoodfellow于2014年发表的GenerativeAdversarialNetworks(论文下载链接arxiv:[h ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法
    本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数,可以设置密码的有效期、最小间隔时间、最小长度,并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]
  • 学习SLAM的女生,很酷
    本文介绍了学习SLAM的女生的故事,她们选择SLAM作为研究方向,面临各种学习挑战,但坚持不懈,最终获得成功。文章鼓励未来想走科研道路的女生勇敢追求自己的梦想,同时提到了一位正在英国攻读硕士学位的女生与SLAM结缘的经历。 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • 近年来,大数据成为互联网世界的新宠儿,被列入阿里巴巴、谷歌等公司的战略规划中,也在政府报告中频繁提及。据《大数据人才报告》显示,目前全国大数据人才仅46万,未来3-5年将出现高达150万的人才缺口。根据领英报告,数据剖析人才供应指数最低,且跳槽速度最快。中国商业结合会数据剖析专业委员会统计显示,未来中国基础性数据剖析人才缺口将高达1400万。目前BAT企业中,60%以上的招聘职位都是针对大数据人才的。 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • 本文介绍了Java工具类库Hutool,该工具包封装了对文件、流、加密解密、转码、正则、线程、XML等JDK方法的封装,并提供了各种Util工具类。同时,还介绍了Hutool的组件,包括动态代理、布隆过滤、缓存、定时任务等功能。该工具包可以简化Java代码,提高开发效率。 ... [详细]
  • 本文介绍了C#中生成随机数的三种方法,并分析了其中存在的问题。首先介绍了使用Random类生成随机数的默认方法,但在高并发情况下可能会出现重复的情况。接着通过循环生成了一系列随机数,进一步突显了这个问题。文章指出,随机数生成在任何编程语言中都是必备的功能,但Random类生成的随机数并不可靠。最后,提出了需要寻找其他可靠的随机数生成方法的建议。 ... [详细]
  • qt学习(六)数据库注册用户的实现方法
    本文介绍了在qt学习中实现数据库注册用户的方法,包括登录按钮按下后出现注册页面、账号可用性判断、密码格式判断、邮箱格式判断等步骤。具体实现过程包括UI设计、数据库的创建和各个模块调用数据内容。 ... [详细]
  • “你永远都不知道明天和‘公司的意外’哪个先来。”疫情期间,这是我们最战战兢兢的心情。但是显然,有些人体会不了。这份行业数据,让笔者“柠檬” ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
author-avatar
运儿0315
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有