面向海量信息的并行数据管理平台MDMP

成果简介

该成果紧密结合国家网络与信息安全的重大需求，针对数据的海量性、时序性、即时性和数据流性等特点，在海量数据的加载、查询和管理等方面突破了一系列关键技术，以大规模事务处理中间件技术为基础，研制出具有全局统一视图和管理功能的“面向海量信息的并行数据管理平台”。主要的技术创新点包括：

1、支持数百TB级数据的存储和管理；

2、支持海量数据并行高速实时加载；

3、支持海量数据的并行查询优化与实时分析；

4、具有无单点失效的全系统容错功能；

5、支持基于反馈机制的自适应负载平衡调度；

6、支持并行多数据库的高可扩展性。

该成果获湖南省科技进步一等奖，整体水平居国内领先、国际先进水平，其中数据存储管理的规模、事务吞吐率，以及并行加载和查询优化技术处于国际领先水平。通过了信息产业部的网络与信息安全检测实验室的第三方功能与性能测试，参照Winter Corporation组织颁布的测试标准，测得该平台MDMP的数据库总容量达280TB，数据量为280TB，总记录数为2.5万亿条，最大表的记录数为2.25万亿条，系统吞吐率达到4500条/秒，在以上5项指标中，3项超过了当前国际最好值。

随着社会信息化程度的不断提高，人们对在线海量信息处理的需求也在不断增加，该成果可广泛应用于大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理（传感器网络、天文气象监测系统、卫星监控系统）等领域，市场前景广阔。