敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDM Server)、敏感数据处理服务节点(SDM Server)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。ADM的敏感数据处理灵活性体现在异构引擎可以将大数据平台数据抽取至多类型数据库,满足输出格式多样化。文件系统
敏捷数据管理平台ADM测试数据管理场景及价值场景:测试环境是数据使用**为频繁的一个场景,涉及到数据交付、数据版本管理、数据安全管控等问题,也是数据治理**容易忽视的一个场景,做好测试数据的管理工作才会使得数据治理方案更加完善。价值:采用ADM实现测试数据管理,可以帮助用户实现测试数据的分钟级交付,提升百倍以上的数据交付能力;同时也可以帮助用户节约十倍以上的存储资源;可以帮助用户实现测试数据的版本管理,杜绝僵尸数据;同时也可以实现测试数据的集中统一管理,降低数据泄露的风险.开发利用过程中备份数据的开发利用是唤醒大量沦为暗数据的备份数据,让数据备份即可用。
组织内部应建立一套完善的数据备份恢复体系,部署相应的数据备份恢复平台,实现对生产数据的定期备份和恢复验证。该平台应包括对备份数据进行定期的恢复验证,周期间隔跨越日、月、季度、半年、年等,恢复验证策略设置完毕可自动执行,确保数据的可恢复性和可用性;该平台应能对长期存储的备份数据进行时效性管理,针对数据的分享、存储、使用和删除设定有效期,过期存储数据可进行删除或再次授权使用;该平台应能对备份数据进行压缩或加密存储,保证存储空间的有效利用.
数据分钟级提供,提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库,进而,快速将测试数据传输到下游的开发测试环境,无需繁琐冗长的审核和等待,这一过程有效减少了下游开发测试场景中测试数据的准备时间,通常从以天计算缩短到以小时计算,时间效率提升明显,**缩短了开发测试时间,进而缩短产品的发布周期。(5)敏感数据定义识别与仿真***,保障数据流转环节的安全性通过智能定义敏感数据类型,自动发现和识别敏感数据,包括数据类型、内容、约束关系,灵活排序减少人为筛选,***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合,保证***后数据仍具有业务属性,数据表间关系仍具有业务一致性,不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据,包括资金财产、个人、企业隐私的对照关系进行敏感数据识别,通过内置的***规则进行***处理,将数据敏感部分去隐私化,但并不失去数据挖掘的价值特征,减少数据隐私泄露带来的风险和损失,甚至降低可能发生的人身伤害和违法犯罪事件。上讯ADM产品的成本控制体现在节约存储资源降低存储成本,自动化流程节约了人力成本。
l核心专利技术—数据库虚拟化(1)ADM内置独有的高效压缩存储池,压缩比高达3:1,存储即压缩,***降低了基础数据源获取的存储成本与持续增长的副本数据存储成本。(2)ADM的数据库虚拟化技术,是通过获取一份基础数据源,快速拉起多份虚拟数据库挂载给目标业务使用,虚拟数据库拉起时几乎不占用物理存储空间,在实验室测试环境下拉起一个10TB数据量的虚拟数据库,*占用1GB左右的存储空间,明显节约了存储成本和时间周期,因此针对开发测试场景,需要对同一份数据创建N份副本数据时,存储成本节约近乎N倍。数据备份产品构建了数据保护的基础防线。数据替换
上讯ADM产品采用副本数据管理CDM面向数据全生命周期进行数据安全管理。文件系统
企业开发需求更新频繁,对测试环境和测试数据提出了同步变更的要求,ADM的虚拟数据库快照功能解决了测试数据版本迭代的问题,通过对数据库状态进行定时或即时的记录,保留当前虚拟数据库的状态作为测试数据版本,一旦需要调用某个版本时,只需切换到不同时间点的虚拟库快照即可,灵活实现测试数据版本的任意切换,ADM还支持创建和维护虚拟库级联快照,满足回归测试等具体应用场景,通过这一功能明显提升了开发测试效率、升级迭代效率。文件系统