巴黎奥运会上,由阿里巴巴和国际奥委会联合推出的“奥运 8 分钟”短片《不失色的她》受到关注。短片用 8 分钟浓缩了百年奥运史上伟大女性的影响故事,致敬不断突破和拼搏的女运动员们,如苏珊·朗格伦、张山、凯瑟琳·斯威策。阿里云运用 AI 修复技术,包含清晰化、上色化、基于生成技术的视频插帧补帧等步骤,涉及多种技术方案,解决了运动影像修复中的诸多难题,多轮反复修改才呈现终成片,修复团队也受到女运动员精神的鼓舞。
巴黎奥运会是首届广泛应用 AI 技术的奥运会,AI 技术加强了对历史影像的保护和传播,云计算也替代卫星成为赛事直播的主要方式,云+AI 给全球观众带来新鲜体验,奥委会巴赫称赞中国技术力量为奥运会作出宝贵贡献。
短片名为《不失色的她》(To the Greatness of HER),由阿里巴巴和国际奥委会联合推出。
百年奥运史上伟大女性的影响故事在此被浓缩在宝贵的8分钟里,旨在致敬一代又一代在奥运赛场上不断实现从0到1、不断突破和拼搏的女运动员们。
值得关注的是,这支8分钟短片不仅用上AI为历史时刻重赋色彩,其中还有大模型、AIGC技术的加持。
颁奖时刻,分获银牌和铜牌的对手将张山高高扛起。一张经典照片也有中国射击队另一位传奇——许海峰当场记录下来。
该项目主要包含三大处理步骤。
清晰化:借助图像超分辨率技术,将低分辨率的老照片转化为高分辨率的清晰图像。
上色化:通过先进的图像上色技术,为黑白照片添加逼真的色彩。
基于生成技术的视频插帧补帧。
具体涉及的技术方案,包括基于生成对抗网络和卷积神经网络的图像上色、图像去噪和超分辨率,以及可控图像生成技术等。
《她》背后的AI技术
听上去,老照片、视频修复并不是什么新鲜事,但实际上当修复的对象变成运动影像,背后的技术难度就较大增加了。
举个例子,苏珊·朗格伦的照片拍摄于100年多前,效果是这样的:
一方面,人脸已经看不太清楚了。
另一方面,背景观众众多,增大了修复的复杂性。
阿里云修复团队想到的解决方案,是利用大模型+Stable Diffusion等生成式AI技术,加入文本引导,让AI发挥想象力的同时,对这种想象加以控制,使之不脱离历史本身。
具体来说,技术人员先利用扩散技术对人物面部进行重绘。在重绘过程中,为了保留原始人物信息,会结合真实的史料信息作参考,并采用ControlNet等技术,对人物面部的线条、深度等都进行了控制。
对于复杂的背景,由于透看关系,本身就比较模糊。修复团队采用的方案聚焦照片中的重点人物、元素进行修复,对背景则只进行小范围的修复,后再将前后景拼接起来。
为了让色彩更加自然,阿里云修复团队还结合了历史学家的专业意见,通过对历史色彩库的学习,让AI上色的准确率达到了80%以上。
另外,在超分辨率方面,阿里云的技术方案能在1秒内把640p分辨率图像超分到4k分辨率,清晰度提升25倍。
视频修复方面,阿里云修复团队主要解决了视频前后一致性和连续性问题。
运动影像还有一个特点,是运动变化很快。对此,阿里云修复团队基于生成技术,对老视频进行了插帧补帧,以达到更好的连续性效果。
事实上,由于修复的难度,后我们看到的巴奥这8分钟的成片,是在多轮反复修改后呈现的。
在这个过程中,修复团队一遍又一遍耐心地揣摩,甚至“已经看不出哪一张更像本人了”,重要原因,是在修复的过程之中,技术人员自身也受到了女运动员们的鼓舞:
希望能通过修复这组照片,让更多人了解到历史上的这些重要事件。同时也希望通过修复技术,让凯瑟琳女士等打破障碍、提高竞技标准的女性的精神激励更多人。
联系人:
联系手机:
联系电话:
经营模式:
所在地区:
主营项目:
为不影响业务的正常推广,
请及时向您的服务商续费!