上讯敏捷数据管理平台(ADM)支持重复数据删除技术,在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。上讯敏捷数据管理平台ADM产品支持仿真的敏感数据处理。完全恢复
数据备份面临存储成本高的问题,ADM采用内置高效的压缩存储池存放数据,压缩比约为3:1,存储即压缩,降低了备份数据的存储成本;其次,通过ADM的数据库虚拟化技术,一份基础数据即可快速拉起多份虚拟数据库,由于虚拟数据库90%的数据均与原始数据相同,因此拉起时几乎不占用额外的物理存储空间,只对新增的写操作计入容量占用,因此,随着数据分发使用的场景和频率增加,虚拟库的数量越来越多,而存储成本将会呈倍数级节约,例如针对同一份数据创建N个虚拟库,传统方法需要N倍的存储空间占用,而通过ADM只需要占用近乎0TB的存储空间,节约了数据存储环节的资源和成本。自动化联动平台上讯ADM专注于备份数据的合理合法开发利用。
敏捷数据管理平台ADM测试数据管理场景及价值场景:测试环境是数据使用**为频繁的一个场景,涉及到数据交付、数据版本管理、数据安全管控等问题,也是数据治理**容易忽视的一个场景,做好测试数据的管理工作才会使得数据治理方案更加完善。价值:采用ADM实现测试数据管理,可以帮助用户实现测试数据的分钟级交付,提升百倍以上的数据交付能力;同时也可以帮助用户节约十倍以上的存储资源;可以帮助用户实现测试数据的版本管理,杜绝僵尸数据;同时也可以实现测试数据的集中统一管理,降低数据泄露的风险.
上讯敏捷数据管理平台ADM可实现针对数据库的数据保护,ADM采用图形化向导式操作,无需用户手动执行备份和恢复脚本,简化了备份恢复的难度。既支持传统的无挂载备份,也支持全量备份、后续增量备份与全量快照合成、事务日志同步相结合的方式。数据库备份的基本流程如下:通过管理控制中心(Master)的Web管理页面推送客户端(Client)软件到需要保护的生产服务器上,自动完成客户端软件的安装和注册,与Server服务器端保持通讯。客户端将识别生产服务器中的数据库数据,并通过备份API读取数据库数据,然后将其传输至数据服务节点完成备份。管理控制中心(Master)负责向客户端软件和服务节点发送控制信息,管理整个备份任务的运行。例如:Oracle数据库采用RMAN接口进行多通道并行备份,备份粒度支持整个实例备份,恢复粒度支持细化到选定表恢复。CDM主要应用于金融、运营商、能源、交通、卫生、事业单位等行业。
上讯敏捷数据管理平台(ADM)数据复制容灾模块主要包括数据远程复制、数据异地容灾两大功能点,是基于ADM系统底层的数据块增量复制功能,全量复制传输,后续增量复制与全量快照合成传输,实现本地和异地均可以同时提供虚拟库对外访问。主要解决数据全生命周期管理中数据传输流转的安全问题,基于数据备份任务和虚拟副本任务,将源数据和副本数据存储到本地ADM的存储池中,在本地ADM和远端ADM之间创建远程复制链路,根据远程复制策略,将本地存储池中的数据同步到远端ADM存储池中,从而为副本数据提供从上游到下游的安全传输路径。数据备份产品构建了数据保护的基础防线。副本数据管理
上讯敏捷数据管理平台ADM产品能实现敏感数据的自动化扫描发现。完全恢复
管理控制中心(Master)是ADM的集中管理和调度控制中心,是进行可视化管理的Web操作平台。它负责集中管理ADM中的所有模块组件,系统管理员、安全管理员、操作员通过管理控制中心的Web管理页面协调并执行各个角色对应的操作;数据服务节点(CDMServer)是提供数据备份与恢复、备份数据恢复验证、副本数据创建和交付、数据复制容灾功能的服务节点。用于记录数据服务任务的配置信息、存储情况、历史记录等,数据服务节点统一通过MasterIP访问;***服务节点(SDMServer)是提供数据脱敏的服务节点,用于记录接入平台的敏感数据源、数据脱敏策略、***任务记录等信息,***服务节点统一通过MasterIP访问。客户端(Client)*针对数据服务节点(CDMServer)需要保护及管理的生产服务器、目标服务器,如物理服务器、虚拟机等都统称为客户端。为方便与管理控制中心进行网络通信和数据传输,一般会在客户端上安装客户端软件。客户端软件负责响应管理控制中心(Master)的命令,执行数据备份和恢复等指令。客户端软件可通过管理控制中心(Master)进行Web页面的推送安装与注册。***服务节点(SDMServer)无需安装客户端软件。完全恢复