敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDM Server)、敏感数据处理服务节点(SDM Server)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。上讯信息敏捷数据管理平台ADM产品支持全域重删技术,从而减少需要备份的数据量、缩短备份窗口。仿真处理敏感数据
通过智能定义敏感数据类型,自动发现和识别敏感数据,包括数据类型、内容、约束关系,灵活排序减少人为筛选,定位敏感数据源。丰富的算法与仿真的字典库相结合,保证处理后数据仍具有业务属性,数据表间关系仍具有业务一致性,不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据,包括资金财产、个人、企业隐私的对照关系进行敏感数据识别,通过内置的规则进行处理,将数据敏感部分去隐私化,但并不失去数据挖掘的价值特征,减少数据隐私泄露带来的风险和损失,甚至降低可能发生的人身伤害和违法犯罪事件。能源行业如何选择CDM上讯ADM产品的可管理性体现在数据从上游到下游获取、传输、流转的集中式管理,同时可进行版本管理。
ADM贯穿数据收集、数据存储、数据加工、数据传输、数据使用、数据提供、数据回收的各个环节,集中管理存储资源、服务器资源,实现闭环式自动化管理流程,统一授权和全程监控,节省大量人力资源开销,减少了数据恢复的重复性工作,自动化流程任务编排降低了人为因素导致的数据泄露风险。基于数据库虚拟化技术,ADM实现了对数据库、文件、虚拟机等副本的分钟级创建,通过存储级快照快速保留数据副本的状态,实现数据版本的保留,跟踪数据流向。同时,数据副本支持时效性设置,当数据副本超出使用期限,ADM平台会自动停止使用或回收资源,实现对数据资产的全生命周期统一管理。
ADM通过对管理人员、测试需求等内容的不同进行分组划分,将已经数据进行分组管理,从测试数据管理的源头管控数据资源的类别,做到从源头划分类别,使测试数据管理形成数据源----数据中转----数据目标的闭环式数据使用流程,规范化的数据流程使数据管理者成为数据的负责人,自动化的资源管理也更有效地为用户提供安全的测试数据管理方案。敏捷数据管理平台ADM提供对虚拟数据库的树状拓扑结构图,可详细了解测试数据的来源、所属存储池、挂载的测试服务器,以及虚拟数据库快照的上下级关系,方便对系统全局的数据使用结构进行预览,帮助用户了解测试网中测试数据的使用关系,完善测试数据的组织结构,优化测试数据的资源分配。上讯信息的自主产品敏捷数据管理平台ADM是国内副本数据管理CDM领域的重要产品。
ADM支持Oracle/MySQL/DB2/SQLServer/PostgreSQL/Informix/达梦/南大通用GBase/人大金仓KingBase/OpenGauss/MogDB/VastBase/丛云/TDSQL/OceanBase/GaussDB(forOpenGauss)/GaussDB(DWS)分布式容灾功能;支持华为云与阿里云的云服务器ECS、云数据库RDS备份恢复;***保护VMware/SmartX/浪潮/华为FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack等虚拟化平台,支持虚拟化备份和细粒度的挂载恢复,VMware备份无需在虚拟化平台或者各个虚拟机上安装客户端,只需通过VMware代理客户端连接虚拟化平台即可;支持Hadoop等大数据平台的备份恢复;支持自适应源端的全局重删算法与策略,支持任务级与全局指纹库;针对文件备份提供文件粒度与块级粒度的全域重删且支持重删指纹库重建功能,支持多线程文件备份,支持海量小文件场景下的聚合策略,提供并行扫描和高速索引,从而减少需要备份的数据量、缩短备份窗口、节省备份数据传输所消耗的网络带宽以及节约备份数据存储空间;备份传输过程采用压缩加密处理,缓解网络传输的压力,增加网络抖动或短时间断链的超时容错机制,确保备份数据的安全;上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、敏感数据处理四位一体的数据管理产品。预览前后数据
上讯敏捷数据管理平台ADM产品可对数据进行清洗漂白处理,保证隐私数据信息安全。仿真处理敏感数据
(1)国产化数据备份系统兼容性不足当前国产化数据保护系统对国产化数据库、文件、虚拟化平台、容器、云服务器等备份源类型兼容不***,适配过程中需要更多的时间进行功能稳定性验证。(2)数据备份恢复验证耗时耗力当前采用NetBackup等集中备份系统备份的数据需采用手动恢复数据,过程繁琐、重复度高、专业性强,耗费大量的时间和人力成本。(3)数据交付时间长不论是通过数据恢复还是数据拷贝来提供测试数据,需要几小时到几周的时间。(4)占用大量存储资源数以千计的数据副本占用大量存储资源,需要更多的维护成本。(5)数据版本回退困难开发、测试环境中,当完成一轮跑批测试或功能调试后,重置数据状态需要重新导入数据或重新恢复数据,回退数据产生的时间成本巨大。(6)数据安全风险真实数据被用于测试使用后无法及时回收和销毁,造成资源浪费,存在敏感信息泄露的安全风险。(7)敏感数据安全隐患生产数据库中存在着大量的敏感信息,传统的手工***效率低、仿真度差、***不完全,交付给测试环境后存在隐私泄漏的风险。仿真处理敏感数据