备份是一个长期的过程,恢复往往只在事故发生后进行,且备份数据的可恢复性、可用性在很大程度上依赖于备份数据的完整性。为了保证备份数据的可用性,很多企事业单位会定期进行数据库备份的恢复演练,也就是从备份数据中恢复出一套完整的数据库。执行备份数据的恢复操作,需要备份系统管理人员或者数据库管理人员(DBA)对数据的备份恢复实现原理有深入的了解,并周期性地对备份数据进行恢复操作,以保证备份数据的可恢复性与可用性。这种长期机械性、重复性的备份、恢复及验证工作,无疑会占用DBA大量的时间和精力。在DBA界还流传着这么一句话:“故障一定会发生,只是早晚的问题!”。作为一名DBA,只有时刻记得进行备份和恢复校验,才能避免某一天事故发生时出现难以挽回的悲剧.
敏捷数据管理平台ADM产品数据信创产品,实现了国产数据库的备份与国产操作系统的兼容。国产数据库的副本数据管理
数据副本管理是上讯敏捷数据管理平台ADM功能模块之一,可单独作为企业级副本数据管理(CDM)产品。为应对当前复杂的IT环境,ADM提出集云、物理、虚拟为一体的,面向结构化数据库、非结构化数据、虚拟化和云平台的数据副本分发与交付管理解决方案。主要通过数据副本管理的核心专利技术——数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复,达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标,是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。数据备份系统上讯敏捷数据管理平台ADM产品虚拟数据支持无限副本,几乎不占用额外的存储空间。
敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDMServer)、***服务节点(SDMServer)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、数据脱敏以及管理数据。敏捷数据管理平台(ADM)由4个模块组成:数据服务节点(CDMServer)包括数据备份模块(PDM)、数据校验模块(BDM)、数据交付模块(TDM)3个模块;***服务节点(SDMServer)包括数据脱敏模块(SDM)1个模块。
上讯敏捷数据管理平台(ADM)支持重复数据删除技术,在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。数据备份产品关注数据备份,上讯敏捷数据管理平台ADM产品能用于数据的备份与快速恢复验证。
上讯敏捷数据管理平台(ADM)支持多种备份类型,针对备份方式同时支持有盘挂载备份和无挂载备份(传统数据备份方式),针对备份类型同时支持全量备份、增量备份与全量快照合成、事务日志备份。ADM还支持数据备份,可保护所有应用,其保护对象覆盖文件系统、商业数据库、国产化数据库、虚拟化平台、云平台、容器等。用户通过自定义备份时间点和周期,使系统按照任务策略和计划,自动或手动发起数据备份。当数据丢失或损坏时,根据不同的场景、不同应用类型,用户可以选择灵活高效的恢复方式。上讯ADM能提供面向企业数据使用的成本控制、版本管理与合理合法开发利用。管理日志审计
副本数据管理CDM产品能解决软件开发测试部门的供数需求。国产数据库的副本数据管理
上讯敏捷数据管理平台(ADM)支持并行重删技术,通过在多个不同的节点上构建指纹库,并将指纹并行分布于多个节点,采用内存级指纹库进行重删,所有指纹读写全部保存于内存中,从而提升指纹查询和处理效率,并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据,该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据,可以大幅度减少需要传输的数据量,从而极大地节省数据传输带宽,解决单点性能和存储空间压力。国产数据库的副本数据管理