天空（kōng）中翱翔（xiáng）的（de）海鸥凭空消（xiāo）失，沙漠中（zhōng）的背包客（kè）在行走中（zhōng）人间蒸发……这些原本需要（yào）电影制作人员完成的视频特效又一次被人工智能“学会了”。

近期，一项收录（lù）于欧洲计算机（jī）视觉国（guó）际会议（ECCV）的（de）研究（jiū）开发（fā）了（le）一种人工（gōng）智能视频处理算法（fǎ），可（kě）以（yǐ）在视（shì）频画面里（lǐ）抹除运（yùn）动（dòng）中（zhōng）的物体，同时（shí）保持（chí）运动边界的清晰度。

这项（xiàng）研究题为《光流 - 边缘引（yǐn）导（dǎo）的视（shì）频补全》（Flow-edge Guided Video Completion），由美国弗（fú）吉尼亚理工（gōng）大（dà）学和Facebook合作完成，第一作者是美国弗吉尼亚理工大学（xué）计（jì）算（suàn）机工程专业的博士生高谌。

高谌目前师从（cóng）弗吉（jí）尼亚理工大学助理教授Jia-Bin Huang，研究领域是计算摄影（yǐng）和计算机视觉，研（yán）究集中在图（tú）像/视频操（cāo）作和视觉（jiào）场景理解。

正（zhèng）在骑马的运动员和马（mǎ）匹（pǐ）一起消失

在高湛及（jí）其（qí）同事展示的研究成果画面中，各类运动中（zhōng）的物（wù）体，如摆动中的秋千、正在骑马的运（yùn）动员、海（hǎi）上行驶的帆船等，通通在（zài）视频（pín）里“无痕”消失（shī），肉眼看不（bú）出（chū）人为的编辑（jí）痕迹。

这项（xiàng）研究的另一位作（zuò）者Jia-Bin Huang在社（shè）交媒（méi）体中透露，该算（suàn）法可以在随意拍摄的视频中无（wú）缝（féng）地移除对（duì）象、水印或扩大（dà）画（huà）面视野。这一算法还得到图灵奖得主、人工智能（néng）科（kē）学家Yann LeCun 的推荐。

高（gāo）湛（zhàn）等人在论文中介绍，这是一（yī）种基（jī）于光流的（de）视频补全算（suàn）法（fǎ）。视频补全（video completion）任务是用新合成的（de）内（nèi）容填（tián）充给定（dìng）的时空区域（yù）。它（tā）有许（xǔ）多应（yīng）用（yòng），例（lì）如修复（去除（chú）划痕）、视频（pín）编辑、特效工（gōng）作流（去除（chú）不（bú）需要的对象）、去水印（yìn）和（hé）标志以及视频稳定。

对于（yú）视（shì）频补（bǔ）全任（rèn）务而言，难点是新生成的内容需要无缝地（dì）嵌入到视频中，并且更改应尽可（kě）能不被察觉。几年前，业界通用的方法是基于补（bǔ）丁的合（hé）成（chéng）技术（shù）。但（dàn）这些（xiē）方法通常合成速（sù）度（dù）慢，合（hé）成新内容的能力有（yǒu）限，只（zhī）能重（chóng）新混合视频中已有的补丁。

后来出现了基于（yú）学习的技术，能够实现（xiàn）更合理的合（hé）成（chéng）效果，但（dàn）是（shì）由于视频（pín）的高内存要求，存在分（fèn）辨率问题（tí）。

作者认为，目前最成功的（de）视频补（bǔ）全方法是基（jī）于光流的技术，其能够（gòu）合成色彩和光流（liú），沿着（zhe）光流的轨迹传递颜（yán）色，以提升（shēng）视频的时间连贯性，从（cóng）而减轻内存问题并实现高分辨率输出。

这项新研究也采（cǎi）用了基于光流的办法。作者表示，以（yǐ）往的光流补全（quán）方法往（wǎng）往（wǎng）无法保持（chí）运（yùn）动边界的（de）清晰度，而（ér）他们所开发的方法首先提取并补全（quán）运动（dòng）物体的边缘（yuán），再（zài）以光流边（biān）缘为引导补（bǔ）全光（guāng）流（liú）。由于并非所有视（shì）频（pín）中缺失的区域（yù）都能通过这种（zhǒng）方法补全，研究人员引入了（le）非（fēi）局部光流，使得视（shì）频内容能够在运动边界（jiè）上传播（bō）。

作者称（chēng），可视化和定（dìng）量结果都表明（míng），他们（men）的方法与最新的算法（fǎ）相比具有更好的性能。他们同时指（zhǐ）出，其方法的运行速度为（wéi）0.12fps（frames Per Second，每秒传输帧（zhēn）数），与其他基于光（guāng）流的方（fāng）法相当，运行速度稍慢是一（yī）大弱点。