虽然，MLS方法仅确保了人脸边界的一致性和视频稳定性，网格优化在校正背景失真方面是有效的。整个研究过程，主要包括2个阶段：稳定面部重构，以及连续视频重构。紧接着，在整个视频中恢复面部表情。金小刚为教授、博导，他所在的CAD&CG实验室隶属于浙大计算机科学与技术学院。其合著的《计算机真实感图形的算法基础》一书获2001年国家科技图书二等奖。
编辑：时光
【新智元导读】最近，浙大研究团队实现了对视频中的人像进行改变，调整参数可以扩大或者缩小。视频可以瘦脸？来看看究竟怎么回事。
这是美国女演员詹妮弗·劳伦斯（Jennifer Lawrence），左边是youtube上的一段原视频，右边则是「瘦脸」之后的她。
微圆的下巴变成了尖的，瓜子脸快成锥子脸了，似乎也显得老了一些。
既然能「瘦脸」，那是不是也可以「宽脸」呢？
没问题，而且效果拔群，都快要变成国字脸啦。
我们再来给小扎变一个：
一边是「宽脸」，一边是「瘦脸」，嘿，中间那个才是屏幕中熟悉的他。
变脸近年来，各大社交媒体流行短视频，如视频号、抖音、快手等等。
那么，除了自带美颜、滤镜功能之外，如何对视频中的人物肖像进行数字化修饰？
因为视频是动态性，技术恐怕没有平面美图那么简单。
最近，一项肖像视频编辑的研究发表，分享了这种视频人脸扩缩技术。
研究主要由浙江大学计算机辅助设计和图形学（CAD&CG）国家重点实验室人员完成，参与研究的还有英国巴斯大学。
论文链接：https://arxiv.org/abs/2205.02538
正如作者所言，「研究的目标是根据现实世界中的自然面部变形，通过编辑肖像面部的整体形状，生成高质量的肖像视频重塑结果。」
团队的训练环境为一台配有32GB内存的AMD Ryzen 9 3950X的台式电脑。
其中，OpenCV的光流法负责运动映射，并由StructureFlow框架进行平滑处理。人脸对齐网络（FAN）负责特征点估计，而Ceres Solver用于解决优化问题。
与基线方法比较。给定一帧人像视频的框架（a），人像重塑方法会在鼻尖附近产生伪影（b），因为鼻子遮挡了侧面，而作者的方法（c）可以使用相同的整形参数产生令人满意的结果。
与仅使用MLS的方法（a）、只使用优化的方法（b）和作者的方法（c）相比较。
虽然，MLS方法仅确保了人脸边界的一致性和视频稳定性，网格优化在校正背景失真方面是有效的。
但是，作者的方法在背景分离、扭曲和人脸边界一致性方面取得了较好的效果。
通过与不固定轮廓网格点的方法（a）和仅使用稀疏轮廓点映射的方法（b）和作者的方法（C）比较。
可以看出，作者提出的方法在性能方面取得了更好的效果，面部边界一致性和重塑一致性。
整个研究过程，主要包括2个阶段：稳定面部重构，以及连续视频重构。
在第一阶段，作者从整个视频估计面部刚性姿势变换。
然后，联合优化多个帧，进行准确的面部识别重构。
这样，这种方法就从重塑一张单眼图像扩展到重塑整个图像序列。
紧接着，在整个视频中恢复面部表情。
在第二阶段，作者首先重塑了重构的3D人脸，使用参数重塑模型人脸的权重变化。
然后，利用重构后的3D人脸引导视频帧的翘曲。
结果表明，作者提出的方法可以稳健地生成连贯的重塑肖像视频，而基于图像的方法很容易导致明显的闪烁伪影。
这种系统的一个有用部署是实现实时变形，必要的计算资源克服了「实时」变形的挑战。
如此，大大方便了社交媒体的肖像视频编辑和视觉效果。
这将在视频演讲、电商主播等方面有广阔的应用前景。
研究团队浙大计算机科学与技术学院的金小刚教授为论文通讯作者。
金小刚为教授、博导，他所在的CAD&CG（计算机辅助设计与图形学）实验室隶属于浙大计算机科学与技术学院。
他的研究主要聚焦在计算机动画、计算机图形学、计算机辅助几何设计等。
根据官网页面显示，他在电影特效模拟、布料动画和虚拟试穿、昆虫群模拟、交通模拟和自动驾驶等具体表现，也有着浓厚的研究兴趣。
另外，他还对人群与群组动画、隐式曲面建模与应用、创造性的建模、Sketch-Based建模、纹理合成等有所研究。
其合著的《计算机真实感图形的算法基础》一书获2001年国家科技图书二等奖。
参考资料：
http://www.cs.zju.edu.cn/csen/27059/list.htm
https://www.unite.ai/restructuring-faces-in-videos-with-machine-learning/
