何婷婷数据库 达梦数据库DM7揭开国产数据库新篇章

    2012年5月17日,"达梦海量数据处理及云数据库技术研讨会"在北京隆重召开,受到了国家工业和信息化部的大力支持。工业和信息化部软件服务业司司长陈伟,中国软件行业协会理事长赵小凡,中国工程院院士倪光南,中国电子信息产业集团董事长芮晓武等各行业领域的领导、专家、精英与达梦数据库有限公司一同畅谈国产数据库发展之道。

    自主创新,国产数据库艰难破局

    工信部软件服务业司司长陈伟表示,数据库管理系统属于核心基础软件,是支撑各类管理信息系统的公共平台,对信息系统的安全性、可用性和高效性产生至关重要的影响。但是由于核心技术受制于人,我国国民经济的重要部门大量使用非安全可靠的数据库产品,对国家安全、信息安全、产业安全造成巨大的隐患,严重的制约了我国信息产业的发展。中国政府出于国家民族利益要求,必须致力于国产数据库的研发。

    达梦数据库有限公司在这一背景下应运而生,坚持走"自主研发、原始创新,掌握所有源代码和核心技术,保持持续创新能力"的技术路线,从一个仅有12名学生,256K内存计算机的科研小组发展为"华中理工大学数据库研究所",再到拥有集数据库管理系统的设计、研发、测试、生产、技术服务及培训、人才培养为一体的产业化体系的专业数据库公司,一步步成长成为我国数据库行业的中坚力量,打破了国外数据库对国内市场的长期垄断,艰难破局。

    自主可控,国产数据库迎发展春天

    中国电子信息集团董事长芮晓武表示,实施"核高基"重大专项是国家一项长期的战略计划,中国电子信息产业集团作为中国信息产业的国家队和世界500强,承担着国家信息产业"自主可控,安全可靠"的重任和使命。近年来,作为中国电子信息产业集团的下属企业、"核高基"重大专项牵头单位,达梦公司在"自主可控"全国产平台上做了许多具有突破性的重要工作。

    尤其值得一提的是,达梦数据库在国家电网调度指挥和信息化建设中的突出应用。在D5000项目施行前,电力行业前期使用的是国外的硬件平台、操作系统和数据库产品,存在着一定的安全隐患,采购成本和服务成本比较高。为了响应国家提倡的自主创新策略、支持我国自主品牌软硬件产品的发展、提升D5000系统的安全性能,通过多年的考察,最终确定使用国产的硬件平台、操作系统、数据库搭建D5000系统的基础软硬件平台。达梦数据库作为主要的数据库提供厂商,全程参与了国网D5000系统的开发和实施。

    在项目建设中,达梦公司敢于正面和国外数据库巨头竞争,并屡战屡胜,不仅进一步验证了达梦数据库产品在功能和性能上的优异表现,良好的兼容性也为企业在技术层面提供了更多选择,大大降低了企业研发的一次性投入。针对电网调度业务的特点,达梦数据库进行了相关功能的定制开发,使智能电网调度技术支持系统在性能、安全等方面得到了提升,保障了国家电网的信息安全。

    除此之外,中央政法委、中办、审计、电子政务、铁道部等行业、领域均实现了全国产化软件平台,后台无一例外的使用达梦数据库。30多年来,达梦公司取得了60多项成果和30多项奖励,掌握了数据库的核心技术和前沿技术,研发的具有知识产权的数据库管理系统已成功用于我国国防军事、公安、金融、电力、电信、审计、交通、监察、医疗、国土资源、制造业、应急救援、电子商务等30多个重要行业及领域,装机量超过20万套,创造了良好的经济效益和社会效益。以达梦数据库有限公司为代表的国产数据库企业也迎来了发展的春天,呈现出一派生机。

    锐意突破,国产数据库揭开新篇章

    虽然,国产数据库的发展态势令人欣喜,从2008年开始,达梦通过前期的市场积累,已接触到一些更高端的应用。当时已推向市场的DM6产品在中小型应用上已能满足需求,但DM6在更大数据量的条件下的检索效率已开始表现的吃力,而且可优化的地方有限,已明显的碰到了性能上的瓶颈。

    达梦公司副总周淳表示,更为关键问题在于,这已不能通过简单的和局部的调整来显著提升性能,只有通过对底层架构的改造才能实现突破。在这种条件下,公司下定决心,投入人力物力,开始研发新一代的数据库产品。

    周淳介绍到,从DM4到DM6,历经6年左右的时间,达梦公司为了满足各种实际应用的需求,特别是与oracle等产品兼容的目标,增加了非常多没有预先考虑的功能。这些后续添加的功能使系统开始变得臃肿,复杂度急剧上升,可维护性降低,修改成本明显上升,而在实际应用中也始终无法很好的实用化。因此,DM7在总结之前所遇到的各种需求,结合当前"云计算"、"物联网"提出的新的需求,从底层重新编写底层结构,保证系统内核的简洁高效,保证系统的健壮性和可维护性。

    随着信息技术的不断发展和应用的不断扩展、深入,各行业、领域的用户对数据库提出了新的需求。

    达梦数据库有限公司董事长冯玉才介绍,这些需求主要表现在:随着互联网等技术的发展,非结构化和半结构化数据所占数据的比例越来越大,信息结构类型越来越复杂,要求更强的信息处理技术,需要高级分析工具来创建或利用一种更易于人们感知和交互的结构;海量数据的产生大大增加了用户对海量数据处理技术的需求;同时,应用模式的改变使得用户查询需求复杂化,提出了对大规模并发信息进行处理的需求;共享的商业模式对数据库的安全性提出了更高的要求。

    面对不断涌现出的新需求,达梦打造了新一代大型通用商业云数据库管理系统DM7,旨在构建一个统一的、对各类数据库的调用平台。

    DM7最突出的特新表现在,它采用了完全对等无共享(share-nothing)的MPP架构,支持SQL并行处理,可自动化分区数据和并行查询,无I/O冲突。

    说起DM7所采用的MPP技术,冯玉才自豪地说:"我们的MPP技术一点也不比国际同行的RAC技术逊色。" MPP系统工作起来就像是一台单独的计算机,由于采用自动化的并行处理技术,执行速度比传统的单节点数据库大大提高。具体来说,DM7具有六大特色:

    第一,大规模并行处理。DM7的MPP架构最多可以同时部署1024个节点,采用统一的并行操作数据库引擎。由于数据分散在不同的数据库节点上,因此在高速的内部网络环境下,可极大减少海量数据的并发查询的I/O,从而提高查询效率。

    第二,自动化并行。DM7的MPP架构提供数据存储和查询的自动化并行,插入的数据会被自动分区保存到相应的节点,查询时在各节点的数据库引擎上并行执行查询,并将所有结果数据自动汇集到主查询节点上,数据无共享和I/O冲突。

    第三,可靠的数据保护机制。DM7提供了数据守护系统,满足用户对数据可靠性、安全性的需求,解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题,提高系统的可用性。MPP系统中的每个节点都可配置数据守护系统,增加节点数据的完整冗余镜像。节点和镜像节点之间可以互相转换成MPP中的工作节点。

    第四,支持列存储。在数据仓库、数据挖掘等查询密集型应用中使用列存储表,在查询只需要少数几个字段的时候,能大大减少I/O。同时,列存储也利于使用设计更好的压缩/解压算法,进一步减少存储空间。

    第五,功能齐全。DM7的MPP系统和单节点数据库相比,几乎没有任何功能上的限制,支持触发器,支持存储过程、系统函数、复杂查询等。由于功能齐全,配置也不繁琐,从用户的体验来看,整个系统显得更加透明、简单、易用。

    第六,可实现高速数据加载。数据加载可完全并行,所有节点可同时读取数据,然后根据散列算法,将属于自己的数据留下,将其他节点的数据通过网络直接传送给目标节点,实现高速数据加载。

    DM7实现的MPP系统功能,为新一代数据仓库所需的大规模数据和复杂查询提供了先进的软件级解决方案,具有业界先进的架构和高度的可靠性,能帮助企业更好地管理数据,使数据更好地服务于企业,从而推动数据依赖型企业的更好发展。

    DM7是达梦数据库乃至国产数据库发展历史上具有里程碑意义的产品,也是达梦人30多年技术积累的集中展现,它首次实现了对国外数据库安全性能的超越,达到了目前国产数据库最高安全级别。DM7将揭开国产数据库新篇章,打开新的市场局面,为我国信息化建设的快速发展和信息安全提供强有力的保障。