基于AI 技术的电影修复探索与研究

基于AI技术的电影修复探索与研究孙天宇，胡伟屹

（1.洛阳师范学院文学院，河南洛阳471934；2.学习强国学习平台有限责任公司，北京100000）

0引言

早期电影大多以胶片作为载体。随着时间的推移，胶片难免会出现划痕、褪色、收缩、拼接不良或被霉菌弄脏等问题。数码时代的影片修复技术利用人工智能（ArtificialIntelligence，AI）深度学习等技术将原本存放于胶片中的信息重新传递到数字媒体上，利用降噪、着色、插帧等技术手段，能够最大程度地对原有电影的画质和音质进行优化和改善。

1AI修复技术对于经典电影的影响

AI人工智能已经在出行、安防、文物修复等现实场景中实现落地。在电影修复领域，AI人工智能已经崭露头角。AI修复技术大幅提升电影帧数的同时，也提高了电影的清晰度和着色效果。

百年来留存下来的胶片电影记录着历史和时代的变迁，承载着民族的历史记忆[1]。国产经典影片《八千里路云和月》《十字街头》等既承载着我国一代乃至几代人的集体记忆，也寄托了人类理想和情感。这些优秀国产电影的重映，可以激发观众欣赏怀旧影片的浪潮。国内外电影节也相继推出电影修复单元，凸显出老旧影片修复版独特的市场价值。经典影片的修复版不是完全照搬，只单纯对分辨率和画质进行修复提升，更是对经典电影的再创作并对蕴含导演思想的新思考。

2AI重构低分辨率电影

分辨率是图像的精密程度，是指图像所能显示的像素的多少，像素越多，画面就越精细。超分辨率是指经过锐化和缩放来改善电影细节，利用AI来分析低分辨率图形和高分辨率图像之间的关联，并对低分辨率图形进行重构的过程。早期摄影机录制视频格式只能达到标清，无法达到更高画质。如今AI处理软件实现了计算机自动判读影片中的内容，然后对这些内容进行重新绘制。

2.1AI连续性着色

AI电影处理软件对影片镜头像素进行分析，以AI+大数据的算法进行研判，从而实现对像素的修复。这并非简单地对像素进行锐化，而是先分析像素再进行系统的、连贯性且前后帧连续性的着色。早期电影除了画质不好问题外，有的镜头甚至因为失焦而产生画面模糊，或是由于快门速度过慢导致人物或者物体运动产生动态模糊，现在可以通过AI深度学习技术让老旧电影获得一定程度上的改善。

2.2AI交错式扫瞄条纹修复

AI可以通过去条纹功能进一步提升画质。软件采用交错式扫描来去除条纹所导致的画面割裂，这个功能在早期低分辨率电影上有良好效果。影片渲染并输出后会产生轻微的色彩偏移，因此需要与剪辑、特效、调色等软件结合使用来调整修复后的影片色彩，当然工作量也会大幅提升，但相比人工每一帧、每一幅画面都需要修补而言，AI算法的运用则显得更加便利。虽然电影可以通过AI算法获得画质提升，但AI运算要耗费更多的效能，会对设备的处理器和显卡造成较大压力。

3AI插帧让老电影更加流畅

电影是由一张张连贯的图片构成，24帧（每秒）是人眼所感到画面流畅的下限。60帧、120帧的高帧率电影，其视觉效果相比大部分24帧电影提升非常明显[3]。AI技术采用分析前后帧画面来计算出中间帧的方法来进行插帧，将30帧插帧到60帧甚至120帧，从而获得更流畅的体验。

视频插帧是基于深度学习算法的技术生成的，比如目前有对播放视频进行实时补帧的插件。软件在原始视频中前后不同的两个帧之间插入一个由算法模拟两个帧之间画面内容的运动过程生成的中间帧，并对每一个像素进行计算，同时判断场景中目标有无运动，如果有运动则需要按其运动向量做插补，如果没有运动却进行插补，反而会增加整体的模糊程度[2]。

插帧多采用帧采样、帧混合、光流三种插帧方式。假如电影中出现帧缺失或者速度变化效果不明显，可以选择帧采样的视频处理方式，这样对电影整体的影响不明显。对修复效果要求高、时间短、特效多的电影进行处理时可以选择光流法来获得最大限度的效果提升。如果要处理较长、镜头切换频繁、视觉元素复杂的电影，可以选择帧混合方式来产出视频，这样得到的画面不仅流畅，而且对电脑渲染速度更加友好。此外，有些手机、电视为了获得更好的观感，会主动对帧率不足的电影通过运动补偿等算法来插帧，让原本不够流畅的电影变得更加顺滑，部分计算机上的播放器软件也能够通过SVP等视频插件实现类似的效果。

4AI着色让老电影更逼真

随着现代AI图像处理技术的高速发展，人们不仅可以为图像着色，还可以为黑白老电影进行着色。同时，AI深度学习技术为老旧电影的音频修复技术发展提供了契机。AI技术可以消除几乎任何类型的背景噪声，如犬吠声、厨房噪音、音乐、婴儿啼哭声、交通以及户外声音等。

4.1AI基于深度学习技术的视频着色技术

电影彩色化的第一步是先将图像中的各种内含物加以区分，这样在对电影进行彩色化时才不至于发生错误，再找出黑白图像与颜色之间的相对关系就可以着色了。老照片彩色化最经典的模型是视频图像处理工具运用大量基于AI深度学习的技术来为图像和视频着色。它借助新型的、高效的图像到图像的网络对抗训练方式复原影片色彩，同时不会出现电影闪烁等问题。

图像修复迭代技术则主要通过使用期望最大化算法来使修复图象的似然性最优化。这种AI算法，必须对电影资料退化的过程做出客观评价，才能进行精确修正。人工智能除了能够提高修复后电影的稳定性，还能够对人们可知和不可知的事物进行着色，如衣服的颜色和汽车的颜色，甚至是拥有特殊效果的色彩。

4.2AI建构声音数据增强音频质量

电影是一种视听艺术，因此声音修复也十分重要。由于早期电影大多是单声道音响，原胶片保留的单声道声音与4K超高清画质显得格格不入。

电影修复者根据电影专门制作5.1声道甚至7.1声道的环绕立体声，为每一个影片增加一系列的效果声，比如风声、汽笛声、脚步声等，尽可能还原镜头内容所展示的生活状态。通过建构足够强大的数据库来处理声音的失真和退化。虽然AI语音增强拥有较强的降噪能力，但处理后的语音往往会有音质下降的问题。更多的研究集中在如何通过改进数据生成和增强、探索优化目标和改进网络模型来提高语音质量。

5AI修复电影的局限性

对于黑白电影，若想看清它所记录的原有社会风貌，通常需要用画笔和颜料为黑白片进行上色。而现在，AI算法能够让每个人都可以快速对电影着色。但是AI对老旧电影的着色也存在一定的局限性。

AI算法着色之所以会出现偏差，是因为现有的彩色图像需要转换为具有一定灰度的图像并采用算法对其进行重新绘制，而重新着色的图像与原图相比会显得十分暗淡。着色对AI而言更难，这意味着在给定灰度等级的情况下，AI很难分辨应该为景物添加何种颜色。比如说女人的衣服可能是蓝色的，但也可能是红色或者其他颜色，灰度像素中没有信息表明缺少何种颜色。但现有软件没有庞大的选色逻辑系统，而是在AI深度学习中从最有可能出现的颜色数据库中去挑选AI认为正确的色彩。此外，影片修复还需考虑电影发生的地点和时间，人工调色能够知道哪种配色方案对照片和视频更有意义。

国内也有针对老旧电影修复和处理的程序，爱奇艺方面也把AI技术大规模、多方面地应用在视频画质的修复和增强上[4]。爱奇艺视频增强技术ZoomAI提供了一个相对完善的老影片增强解决方案，将AI深度学习技术用于图片和视频修复，从而达到提升和改善画质的效果。人工修复电影会耗时一周甚至几个月的时间，而利用算法来进行自动修复，可以大幅缩减人力成本并节省时间。该技术可以通过锐化处理来突出电影中人物或者物体的纹理和细节，此外，还可以通过色彩增强的手段让镜头中的视觉元素色彩对比更加强烈，让整体的画面变得十分干净整洁；借助超分辨率，则可以把老旧视频的画质从标清提升到高清甚至超清，让影片的观感得到整体上的飞跃[5]。

6结语

电影修复需要技术和艺术相融合。在对老旧电影的修复时，工作人员要充分考虑到影片历史的艺术性。电影降噪时要把握降噪的度，保留影片画面原有的颗粒质感的同时也要突出影片的艺术性。影片调色过程中也应尊重老旧影片本身的色彩特点。改善图像的色彩、层次感和褪色等问题时，需要