虚拟邓丽君,歌声合成真的可以如此逼真吗?数字人技术系列

2022年江苏卫视跨年晚会上,一身优雅深蓝色旗袍的邓丽君与周深一起演绎了《小城故事》,《漫步人生路》,《大鱼》3首歌,让不少观众直呼感动。

不得不说,无论是形象还是声音,还原程度都非常之高,更是有不少人惊叹,如今数字人技术已经到了如此高的地步。

然而,有眼尖的 友注意到,制作片花里某个角落,提到了邓丽君是由陈佳配音的,这引来了 友一片吐槽,那么现在我们是否可以做到模拟真人唱歌呢strong>

Sean

Zhao

想要数字人自己可以唱歌的话,就不得不说一下歌声合成技术了

歌声合成技术就是指使用机器模拟人类唱歌的技术,这项技术历经几百年的发展,经历了数个阶段,大致可以分为三种类型:

# 拼接合成

VOCALOID是日本YAMAHA公司自主开发的一款电子歌声合成软件,输入音调和歌词,就可以合成贴近人类声音的歌声。

目前应用最广泛的基于算法的声码器就是WORLD了,它是基于source-filter模型的,即把发声过程抽象成了声源和滤波器两个部分,我们在唱歌时,声源即声带,而滤波器是我们的口腔,鼻腔等,我们通过改变声带振动频率来唱出不同的音高,再通过改变嘴型来唱出不同的歌词。

所以WORLD所需要的声学参数就是基频(f0)和频谱包络了,其中基频作为声源,而频谱包络担当滤波器的角色。事实上,WORLD合成声音时还需要一些非周期信息,它们代表了我们声音里非周期部分的占比,而非周期部分说人话就是白噪声,比如呼吸声就是白噪声。

不知道各位听了以后是什么想法,这样的歌声效果完全是通过深度神经 络模型合成而来的,感兴趣的朋友可以自己下载app体验。

为了达到这样的效果,我们并没有采用端到端的合成技术,而是将参数合成的思想与深度神经 络结合,将歌声合成分成了几个关键步骤,每个步骤训练一个深度神经 络模型,最终获得歌声音频。

采用这种方式,不仅可以获得神经 络的效果,而且还可以支持很多维度的参数调节,从而获得更多有趣的可能性。

opus

学到了!欢迎大家加入我们的 群#算法作曲,探索AI音乐方向。

备注:算法作曲

文章知识点与官方知识档案匹配,可进一步学习相关知识算法技能树首页概览34699 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年2月4日
下一篇 2022年2月4日

相关推荐