上讯敏捷数据管理平台(ADM)支持重复数据删除技术,在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。数据安全领域的CDM是指copy data management。变形算法不可逆
上讯敏捷数据管理平台适用场景:数据交付速度慢的开发测试部门企业通过交付生产数据辅助第三方业务决策,如开发/测试环境、统计分析、准业务系统环境搭建等,交付生产数据的方式是通过生成业务系统数据副本,而副本的准备通常需要几小时,甚至几天不等,严重拖延了项目进度。
备份数据的有效性验证效率低的运维部门,大部分企业对其**业务系统进行了数据备份,为了检验备份数据的有效性,以及满足相关法律法规的要求,企业对备份数据采取周期性的恢复验证;由于企业的业务系统繁多,而人员相对紧缺,验证工作需要大量重复性动作,成为企业当前面临的一大挑战。
数据副本分散存放难以管理的数据中心数据副本一旦被交付使用,就**存在于使用环境中,随着数据使用场景的日益增多,数据副本在非生产环境中逐渐累积,**分散的存放方式导致副本的辨识度不高,后续使用与销毁难度明显增大。同时,重复存放现象严重造成了存储资源的浪费。u隐私数据泄露风险高的用户无论是通过生产数据库导出,还是通过备份系统恢复,都能够直接获取到企业的**生产数据,其中包含企业内部机密数据和客户个人隐私信息,一旦发生泄露将带来严重后果,不仅影响企业的名誉,也会造成一定的经济损失。 广发银行对CDM的应用场景上讯ADM产品的可管理性体现在数据从上游到下游获取、传输、流转的集中式管理,同时可进行版本管理。
l应用数据一致性保障ADM主要应用原生备份接口获取具有应用一致性保障的数据,如针对Oracle,利用OracleRMAN和归档日志来保障备份数据库数据的一致性;针对VMware虚拟化,利用VMwareSnapshot技术来保障备份虚拟机数据的一致性。l事务日志同步技术支持数据库的事务日志备份,事务日志是数据库中已发生的所有修改和执行每次修改的事务的一连串记录,事务日志备份可将数据恢复到精确的故障点。例如:Oracle支持归档日志备份和删除,MySQL数据库支持redo日志备份和删除等。l文件系统数据保护ADM支持备份非结构化的文件系统。支持全量备份和长久增量备份与全量快照合成,备份策略采用定时执行备份任务,恢复策略支持细粒度恢复,**小粒度为恢复单个文件。支持跨文件系统恢复,例如恢复到EXT3、EXT4、NTFS等文件系统。
敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDM Server)、敏感数据处理服务节点(SDM Server)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、数据脱敏管理四位一体的数据管理产品。
上讯敏捷数据管理平台(ADM)支持增量备份与全量快照合成技术,传统的备份方案大多采用周期性的“全量备份+增量备份”策略,其增量备份大多不可持续,经过一段时间就必须执行一次全量备份。因而传统的备份方案经常面临备份窗口过大的问题,而且其增量备份数据的恢复效率相对低下,因为每个时间点的恢复都依赖于上一次全备副本和上一次全备副本后的所有增量数据,恢复操作需要进行逐个迭代恢复。此外,过期增量数据的清理操作也受限于备份副本之间的依赖关系,不一定能及时被清理。而增量备份与全量快照合成技术,即首先执行全量备份,之后只对新增或改动过的数据进行增量备份,此增量备份数据是持续的,而且每个增量备份的数据副本将自动合成为全量快照副本,便于恢复。因此,增量备份与全量快照合成技术能够大幅度减少备份时间,节省备份数据所需的存储空间,且提升了恢复效率。上讯ADM能提供面向企业数据使用的成本控制、版本管理与合理合法开发利用。过滤不变形的数据
上讯敏捷数据管理平台ADM产品能对接NBU自动恢复。变形算法不可逆
随着信息化程度的不断深入,数据作为企业的资产越来越被重视,虚拟化、云化的不断应用,带来了业务系统及数据的增长,大数据在这种环境中也有了发展和应用。新技术的不断创新与应用,促使着数据不断的被拷贝使用,如何能更好的使用这些数据,如何更好的管理越来越多的拷贝数据,如何能节省新需求下的存储空间,这些都成了当下亟待解决的问题。信息化时代,“数据”的应用较为频繁,海量数据的组成中,备份数据占有很大比例,而这些备份数据在没有发生故障时往往是被搁置不用的,被称为“暗数据”。而对业务数据的分析、统计、运维等操作都会直接作用在业务服务器,如此将会对业务性能产生影响,不利于业务系统的高效使用。如何做到解放业务系统,使其专注于业务处理上,也是IT管理者需要考虑的另一个现实问题。变形算法不可逆