2022年江苏卫视跨年晚会上,一身优雅深蓝色旗袍的邓丽君与周深一起演绎了《小城故事》,《漫步人生路》,《大鱼》3首歌,让不少观众直呼感动。
不得不说,无论是形象还是声音,还原程度都非常之高,更是有不少人惊叹,如今数字人技术已经到了如此高的地步。
然而,有眼尖的 友注意到,制作片花里某个角落,提到了邓丽君是由陈佳配音的,这引来了 友一片吐槽,那么现在我们是否可以做到模拟真人唱歌呢strong>
Sean
Zhao
想要数字人自己可以唱歌的话,就不得不说一下歌声合成技术了
歌声合成技术就是指使用机器模拟人类唱歌的技术,这项技术历经几百年的发展,经历了数个阶段,大致可以分为三种类型:
# 拼接合成
VOCALOID是日本YAMAHA公司自主开发的一款电子歌声合成软件,输入音调和歌词,就可以合成贴近人类声音的歌声。
目前应用最广泛的基于算法的声码器就是WORLD了,它是基于source-filter模型的,即把发声过程抽象成了声源和滤波器两个部分,我们在唱歌时,声源即声带,而滤波器是我们的口腔,鼻腔等,我们通过改变声带振动频率来唱出不同的音高,再通过改变嘴型来唱出不同的歌词。
所以WORLD所需要的声学参数就是基频(f0)和频谱包络了,其中基频作为声源,而频谱包络担当滤波器的角色。事实上,WORLD合成声音时还需要一些非周期信息,它们代表了我们声音里非周期部分的占比,而非周期部分说人话就是白噪声,比如呼吸声就是白噪声。
不知道各位听了以后是什么想法,这样的歌声效果完全是通过深度神经 络模型合成而来的,感兴趣的朋友可以自己下载app体验。
为了达到这样的效果,我们并没有采用端到端的合成技术,而是将参数合成的思想与深度神经 络结合,将歌声合成分成了几个关键步骤,每个步骤训练一个深度神经 络模型,最终获得歌声音频。
采用这种方式,不仅可以获得神经 络的效果,而且还可以支持很多维度的参数调节,从而获得更多有趣的可能性。
opus
学到了!欢迎大家加入我们的 群#算法作曲,探索AI音乐方向。
备注:算法作曲
文章知识点与官方知识档案匹配,可进一步学习相关知识算法技能树首页概览34699 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!