敏捷数据管理平台(Agile Data Management)简称ADM,是采用基于CDM(副本数据管理)的数据库虚拟化技术,为企业上中下游数据的备份恢复、数据验证、敏感数据处理、分发交付提供的面向数据全生命周期的安全管理解决方案,在保证数据安全使用的同时,提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、敏感数据处理管理组成,实现了数据复制容灾、数据存储管理和数据流程管理,通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用,充分发挥了数据资产的潜在价值。上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。测试基准数据
并行重删技术是在多个不同的节点上构建指纹库,并将指纹并行分布于多个节点,采用内存级指纹库进行重删,所有指纹读写全部保存于内存中,从而提升指纹查询和处理效率,并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据,该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据,可以大幅度减少需要传输的数据量,从而极大地节省数据传输带宽,解决单点性能和存储空间压力。工商银行CDM选择海量数据供数于下游开发测试统计分析场景的数据使用需求该如何满足?
传统的备份方案大多采用周期性的“全量备份+增量备份”策略,其增量备份大多不可持续,经过一段时间就必须执行一次全量备份。因而传统的备份方案经常面临备份窗口过大的问题,而且其增量备份数据的恢复效率相对低下,因为每个时间点的恢复都依赖于上一次全备副本和上一次全备副本后的所有增量数据,恢复操作需要进行逐个迭代恢复。此外,过期增量数据的清理操作也受限于备份副本之间的依赖关系,不一定能及时被***。而长久增量备份与全量快照合成技术,即***执行全量备份,之后只对新增或改动过的数据进行增量备份,此增量备份数据是持续的,而且每个增量备份的数据副本将自动合成为全量快照副本,便于恢复。因此,长久增量备份与全量快照合成技术能够大幅度减少备份时间,节省备份数据所需的存储空间,且提升了恢复效率。长久增量备份与全量快照合成技术适用于单个应用数据量大,执行一次完全备份比较费时费力的应用场景。若用户备份数据量小,也可使用传统的全备+增备技术方式,ADM无挂载备份能够实现此方式。
测试数据版本迭代管理,提升开发测试业务的变更效率企业开发需求更新频繁,对测试环境和测试数据提出了同步变更的要求,ADM的虚拟数据库快照功能解决了测试数据版本迭代的问题,通过对数据库状态进行定时或即时的记录,保留当前虚拟数据库的状态作为测试数据版本,一旦需要调用某个版本时,只需切换到不同时间点的虚拟库快照即可,灵活实现测试数据版本的任意切换,ADM还支持创建和维护虚拟库级联快照,满足回归测试等具体应用场景,通过这一功能明显提升了开发测试效率、升级迭代效率。上讯ADM通过数据备份后获取到的黄金副本开启数据开发利用的创新流程,充分发挥数字资产价值。
上讯敏捷数据管理平台(ADM)数据复制容灾模块主要包括数据远程复制、数据异地容灾两大功能点,是基于ADM系统底层的数据块增量复制功能,全量复制传输,后续增量复制与全量快照合成传输,实现本地和异地均可以同时提供虚拟库对外访问。主要解决数据全生命周期管理中数据传输流转的安全问题,基于数据备份任务和虚拟副本任务,将源数据和副本数据存储到本地ADM的存储池中,在本地ADM和远端ADM之间创建远程复制链路,根据远程复制策略,将本地存储池中的数据同步到远端ADM存储池中,从而为副本数据提供从上游到下游的安全传输路径。基于哪些方面选择CDM产品的厂商?工商银行CDM选择
上讯ADM产品的成本控制体现在节约存储资源降低存储成本,自动化流程节约了人力成本。测试基准数据
ADM支持Oracle/MySQL/DB2/SQLServer/PostgreSQL/Informix/达梦/南大通用GBase/人大金仓KingBase/OpenGauss/MogDB/VastBase/丛云/TDSQL/OceanBase/GaussDB(forOpenGauss)/GaussDB(DWS)分布式容灾功能;支持华为云与阿里云的云服务器ECS、云数据库RDS备份恢复;***保护VMware/SmartX/浪潮/华为FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack等虚拟化平台,支持虚拟化备份和细粒度的挂载恢复,VMware备份无需在虚拟化平台或者各个虚拟机上安装客户端,只需通过VMware代理客户端连接虚拟化平台即可;支持Hadoop等大数据平台的备份恢复;支持自适应源端的全局重删算法与策略,支持任务级与全局指纹库;针对文件备份提供文件粒度与块级粒度的全域重删且支持重删指纹库重建功能,支持多线程文件备份,支持海量小文件场景下的聚合策略,提供并行扫描和高速索引,从而减少需要备份的数据量、缩短备份窗口、节省备份数据传输所消耗的网络带宽以及节约备份数据存储空间;备份传输过程采用压缩加密处理,缓解网络传输的压力,增加网络抖动或短时间断链的超时容错机制,确保备份数据的安全;测试基准数据