连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作来自北大图灵班 | SIGGRAPH…

我们在打游戏、看动漫的时候,遇到过不少这样的情况:

连情绪都显得更投入了……

甚至肌肉颤动也清晰可见:

现在,只需一个神经 络就能搞定。

不仅如此,它还可以从形象中预测骨骼,并绑定权重,更容易地用运动捕捉来制作动画。

提出神经融合形状技术

团队开发了一套神经 络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。

它由两个部分组成:包裹变形分支(envelope deformation branch)和补偿变形分支(residual deformation branch)。

你可能会说,常用的动画制作工具Mixamo中,也有绑定和蒙皮。

但是新方法能做的不只这些,它还可以准确预测与模型高度匹配的骨骼,并绑定权重。

并且,利用一种神经融合形状(neural blend shapes)技术,补偿变形分支可以根据输入的 格连接,来预测对应的融合形状(blend shapes)。

比如,神经混合形状会纠正肌肉的形状,准确保留鼓起的肌肉:

与三维动画制作软件Blender的效果对比:(小肚腩被完美保留了)

利用这一方法,神经 络只需观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方法有任何限制,极大扩大了适用范围。

最终实现了,实时、高质量的三维人物模型动画端到端自动生成。

他毕业于重庆一中,曾入选信息学竞赛省队,2017年高考以687分考入北大。

目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大学视觉计算与学习实验室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。

此前,他已有论文登上SIGGRAPH。在与量子位交流时,他曾表示对图形学特别感兴趣。

项目主页:
https://peizhuoli.github.io/neural-blend-shapes/
论文地址:
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

参考链接:
[1]https://peizhuoli.github.io/
[2]https://twitter.com/RanaHanocka/status/139186702073242419705
[3]https://mp.weixin.qq.com/s/IuvyNRJ6amJn5ya7fr8L6A
[4]https://mp.weixin.qq.com/s/uU1-DwHnU4pPMLtQZNQyVQ
[5]https://www.youtube.com/watchantc20EFh6k

文章知识点与官方知识档案匹配,可进一步学习相关知识算法技能树首页概览35078 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年4月11日
下一篇 2021年4月11日

相关推荐