人大金仓KINGBASE分布式数据库助力“数据大脑”建设

发布时间:2022年05月10日
       跟着城市建设的快速开展, 市政务服务中心已成为政府对外形象的最佳窗口。
       打造服务型政府, 为市民供给精准、高效的服务离不开大数据、人工智能等先进技术的支撑。在某市政务服务数据办理局统筹“数据大脑”建设中, 金仓剖析型数据库体系KingbaseAnalyticsDB(以下简称“KADB”)经过供给高价值密度的结构化数据存储及剖析, 为渠道日常运转供给了要害决议计划根据。
       项目全体架构图注:“一湖四渠道”:数据湖、大数据根底渠道、大数据会聚渠道、大数据办理渠道、大数据服务渠道该市“数据大脑”共聚集政务数据资源目录6000+个, 政务数据总量千亿条, 在“数据大脑”的支撑下, 该市完成了一站式归纳服务渠道的打造, 以及“一窗通办”政务服务的完成。KADB作为“数据大脑”大数据根底支撑渠道中的重要人物, 经过20个节点集群布置, 供给多节点并行核算, 快速呼应各种查询、统计剖析、机器学习、队伍混存、高紧缩比算法等手法, 在当时数据容量100+TB的情况下, 为数据大脑供给了精准的决议计划根据。此外, 相对于传统联系型数据解决方案, 金仓剖析型数据库体系KADB具有如下优势:无同享MPP架构, 横向扩展才能:供给与远高于ORACLE等传统数据库的核算才能, 数据散布在一切的并行节点上, 每个节点只处理其间一部分数据, 一切的节点一起进行并行处理, 一起因为一切节点之间完全无同享, 无I/O抵触, 所以能够做到最优化的I/O处理。跟着数据量及核算需求的不断添加, 可横向扩展节点满意算力需求, 查询功能具有随横向扩展准线性提高才能优异的空间数据(GIS)/遥感数据办理剖析才能:集群对空间数据的办理及剖析, 为城市空间数据及职业事务数据的统一办理及剖析供给支撑, 如:市域办理中直观剖析热门区域、区域内统计剖析、根据地理位置的服务等供给杰出的支撑队伍混合存储提高海量数据的剖析注视:可定义的队伍混合存储, 将活泼的交互数据保存内行存分区表中, 而非活泼的库房数据保存在列存分区表中, 空间的运用和功能的优化都能到达需求。支撑多种紧缩方法, 列存储支撑对不同列指定不同的紧缩方法和紧缩等级, 支撑zlib、quicklz、zstd、RLE等高注视紧缩算法, 紧缩比可达1:20;支撑用户挑选最适合数据的存储方法取得最佳存储注视。
       满意事务体系海量数据下的秒级、毫秒级查询呼应, 相较于传统行存, 可完成数量级等级的功能提高高可靠性、高可用:集群布置副本冗余机制, 每个节点上的数据都会有一份冗余, 在解析主节点日志后经过根据日志的数据同步方法, 确保主控节点和数据节点主备之间的数据共同。
       假如相关主节点呈现毛病, 备节主动散步主节点继续供给服务, 无需人工干预内置AI,

支撑机器学习:集群机器学习算法库,

将杂乱的AI剖析内置在数据库中, 体系经过SQL可完成比如聚类、线性回归等剖析才能, 简化了机器学习的难度, 一起为数据大脑供给图核算、机器学习、数据处理、统计剖析、模型评价的常用算法;体系中调用了数据库自带的发掘算法创立自定义函数用于完成库内并行剖析, 这些算法包含了t-统计量、p-值、朴素贝叶斯等。除产品才能“硬核”之外, KADB团队一直秉承以客户为中心的服务理念, 对客户需求的即时呼应, 得到了客户的充沛认可。在国产化浪潮下,

KADB产品广泛应用于政务、动力、军工、金融、公安、卫生等要害范畴, 产品及服务才能得到了充沛的证明。未来, 人大金仓将继续打磨产品才能, 优化服务质量, 为更多客户客户决议计划供给精准的根据。