在CG动画的制作中,面部表情捕捉至关重要。
一般3D动画,表情这部分的传统做法都是通过动画师来手工制作,也就是一帧一帧地去调。
长此以往,这种手工K动画的方式暴露出很多问题:包括效果不尽如人意、所花费的时间还也很长。在动画行业快速发展的趋势下,美国好莱坞开始通过「软件生成」来做表情动画。
在CG行业早已发展得很成熟的美国,我们可以从不少作品中看到他们运用得炉火纯青的面部表情捕捉技术。
《未来学大会》
早在2013年,好莱坞工作室在制作电影《未来学大会》时,就通过扫描演员面部表情和动作,由电脑生成人物角色表演。
《指环王》——咕噜
《阿凡达》
现在很多热门的电影中,但凡涉及CG的都离不了面部捕捉技术:《指环王》中的咕噜、《金刚》中的大猩猩、或是《阿凡达》……一眼看上去都让人难辨真假。
图by腾讯科技
最经典的要数《速度与激情》,影片的男主角保罗·沃克不幸去世,但制作方却通过CG技术“复活”了保罗。
然而,这样一项重要的技术目前在中国仍是空白,我们能看到行业内基于这个技术而产生的两种显著现象:
①一直在借用国外(可能早已淘汰)的技术,缺少本地化升级,CG动画很容易出现对不上口型的尴尬状况;
②为他人做嫁衣,大多数公司都是代理外国的软件在国内销售,却没有一家公司来自主研发。
在国内面部表情捕捉技术已经习惯了借用国外成果的情况下,居然有一个中国团队意图实现国人在这项技术上的大突破。
一款名为FACEGOOD的表情捕捉软件出现了。
FACEGOOD的研发公司量子动力与国内代理国外产品的公司不同,他们以技术研发为主,自创立以来已发表论文、专利数十项。而FACEGOOD则是该公司自主研发的成果,在各方面测评上都有亮眼表现。
小趴要先与大家回忆这部豆瓣评分8.0的国产CG动画——
《地灵曲》
“创意为骨,以华夏文化为髓”,这部耗资数千万的国产3D巨制上映之初就获得了无数好评。
酣畅淋漓的打斗:
丰富自然的表情:
除了内涵丰富的剧情本身,《地灵曲》也向我们展示了国内CG技术,特别是在面部表情捕捉技术上取得的重大突破。
一名动画师力顶多人团队
《地灵曲》是第一部,也可能是当前唯一一部用面部表情捕捉技术来做表情动画的国产动画 剧。
这一切都是基于FACEGOOD的技术支持。
《地灵曲》虽然是 剧,但是制作团队是按照电影级的标准来做的,仅仅是建模绑定就使用了200—300个blendshape。
其次,在表情动画制作上,不同于国内其他使用语音生成表情的3D动画,FACEGOOD完全使用真人进行捕捉,克服了很多3D动画中人物只有口型没有表情的难题,所有角色都活灵活现,你可以从他们的表情中感受到丰富的情绪变化。
而最让人吃惊的是,那些精彩的面部表情全部由一个动画师负责。
传统流程上,光做表情动画可能就需要10到20个人力。但FACEGOOD的制作流程非常简便,建模方式是通过扫描站,用3D扫描的形式去扫描真人,扫描完之后便可以得到FACS表情集作为模型。表情集分解独立表情后,就可以拿去做绑定,绑定完就可以用表情捕捉技术去驱动这套模型了。
人脸模型训练过程
“FACEGOOD使我们的制作周期大大缩短,实现了周更之外,耗费的人力也很少。”
量子动力CEO王全伟解释道,如果采用传统的手工K表情动画的方式,可能一分钟的动画需要整整付出一周的时间,但如果使用面部表情捕捉技术,基于人工智能自动化的便利,不到一个小时就能完成表情动画的创作。
这意味着,假设我们传统K动画需要每天工作八小时、辛苦一周完成表情动画,那么得益技术的发展,可能会实现高达90%的效率提升。
这在传统制作流程中着实难以想象。
解析:面部表情捕捉技术
从诞生至今一年多的时间中,FACEGOOD已经完成了三次软件升级。
FACEGOOD 1.0硬件
FACEGOOD 1.0
头部抖动鲁棒性很差
标记点都跟丢了
FACEGOOD 1.0算是FACEGOOD的雏形,它的硬件是有线的,无法对多人同时捕捉,算法鲁棒性也比较低。
facegood2.0
鲁棒性好一些
但仍然会丢失
随后诞生的FACEGOOD 2.0使用了全新的硬件,除了支持无线表情捕捉外,算法改进也很大。
FACEGOOD3.0硬件
FACEGOOD 3.0
完全不受影响
如今已发布的最新版本——FACEGOOD 3.0版本已经实现了同时支持“加点”与“不加点”两种方式的表情捕捉。
哪怕对比国外知名的同类型面部捕捉软件FACEWARE,FACEGOOD的表现也毫不逊色。
使用的是最新版本 faceware 3.2.1.438
跟丢问题很明显
FACEGOOD 3.0
完全不受影响
而在硬件上,FACEGOOD 3.0已经做到了支持多个摄像头,实时捕捉技术也已经在《地灵曲》中实现,并大获成功。
目前,FACEGOOD正在尝试构建一个表情解算平台。在这个平台上进行表情解算时,可以离线也可以实时、可以选择2D也可以使用3D,具体方法完全交给用户去选择。他们可以根据自己的项目需要去选择适合自己的模式。
手机无标注点解算模式
小科普:面部表情捕捉方案
实时与非实时
2D与3D
3D的面部表情捕捉也就是通过3D重建的方式去进行表情的重建。从直观感受上来看,2D与3D的区别其实就是一个摄像头与多个摄像头的区别。当使用多个摄像头时,就会通过多角度来重建一个3D的人脸,然后通过人脸去呈现某个表情。2D则是使用单个摄像头进行表情捕捉。
“加点”与“不加点”
所谓“加点”,就是在制作一部作品时,为了捕捉更多的运动细节,就可以在某个点上加上一些标记点。
制作人举了一个很形象的例子:“当我再制作脸颊时,因为脸颊本身是很平坦的,并没有很明显的特征,但是它的运动细节非常多。比如眨眼的时候脸颊也会随之运动。在需要捕捉这种微小的动作时,就可以通过“加点”的方式提高动作捕捉的精确度。”如今很多优秀的好莱坞作品都是加点的。
而“不加点”的表情捕捉就是直接通过人脸识别去捕捉。这种方式捕捉精度会很低。它能够捕捉到五官,但像脸颊的这种特征就没了。
表情捕捉的方案虽然有很多种,但具体怎么使用还是要根据项目决定。
量子动力CEO王全伟介绍道:“比如只是要做一个游戏,因为游戏本身精度要求不高,那就可以简化捕捉方案,制作周期也会相应缩短;如果是要制作电影,那就需要提高捕捉精度,可以采用3D、加点等方式。”
而如今的FACEGOOD完全可以做到根据项目调整所需的捕捉方案,这对于广大动画人来说无疑是个福音。
稳定+高精度=完美效果
面部表情捕捉技术的稳定性和捕捉精度一直是两项重要的参数。
传统的面部捕捉经常会出现不稳定的状况。因为在拍摄过程中,演员身体的运动在所难免。当头部进行剧烈运动或是摄像头产生晃动时,测重点很容易丢失。
为了结局这个难题,量子动力进行了数次尝试,终于找到了解决问题的方法。
最新发布的FACEGOOD 3.0版本中,增加了鲁棒性,在演员快速移动身体时,镜头仍能保持超高的稳定性,不会轻易丢失测重点。
可以任意加点也让这款软件拥有明显高于其他同类软件的捕捉精度。
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!