天工 Sky Music 实测:做中文歌还得靠国产音乐大模型|AI 鲜测

科技 2024-04-03 10:59 阅读:27

前段时间,Suno大受欢迎,我们也用它做了一些尝试: 但生成的中文音乐效果相对于英文来说是稍显逊色的,一方面是中文读法跟英文区别很大,生成的中文歌曲老是带着一股儿英语感,总觉得怪怪的。另一方面是如果歌词中有生僻字,Suno 要么唱错,要么直接替换掉。

对于国内的模型来说,中文的优势逐渐凸显出来,咱们中国的首个音乐大模型 Sky Music 也登场了!!「天工SkyMusic」是基于昆仑万维「天工3.0」超级大模型,采用自研类Sora模型架构,其中Large-scale Transformer 负责谱曲,Diffusion Transformer 负责演唱。具有以下五大特点:

图源自公众号天工AI助手

那我们一起来试试中文效果到底如何?

附上内测申请地址,感兴趣的朋友可以试试!

https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md

首先下载天工APP,打开之后用手机号注册,在音乐板块输入邀请码即可。

其次生成音乐的步骤也很简单:

第一种:填完歌词后直接生成,点生成歌曲。

未添加参考音乐的《灯火阑珊处》

第二种:写歌词,添加参考音乐,生成歌曲。

上传参考音乐步骤

我们在上面的基础上”参考周董的歌“生成,请欣赏天工版《阴天》。

天工版《阴天》

华语音乐里面绕不过去的歌手——张国荣,就用这首歌来纪念下哥哥。

这里我们选择了他的经典曲目《风继续吹》,用 ChatGPT作词创作出《灯火阑珊处》,从音色上来说,模仿的很不错。

天工版《灯火阑珊处》

下一首《古城夜雨》,这首歌参考林俊杰的《江南》创作,光听开头就能听出《江南》的味道,整个节奏感特别像!简直是梦回童年,听到了 AI 版林俊杰在呼唤我!!

天工版 《古城夜雨》

在生成音乐的时候,同样的歌词,用不同的参考歌曲,会直接影响生成的歌曲的效果。

比如这首歌《岁月》,当参考歌曲是五月天的《后来的我们》的时候,整体旋律就偏向悲伤和下沉,听起来就很伤感;但是当参考歌曲是五月天的《知足》的时候,整体旋律就开始有向上的感觉,甚至能感受到歌词带来的那种温暖的感觉,就有了下面这首。

天工版《岁月》

现在我们试试不同风格的女声效果如何 :

先来看看《遗忘的城》,这首歌直接开口就是相似度90%的菲姐清唱,那一刻我浑身鸡皮疙瘩了,这首歌直接参考了王菲的《如愿》。它不仅抓住了王菲那种独特的嗓音,而且在后期加入了美声唱法,让整首歌的气势瞬间上了一个档次。重点是AI感很弱,真的很绝!

天工版《遗忘的城》

既然前面能捕捉到王菲独特的的嗓音,那 Sky music 估计对于副歌部分的模仿也不在话下。

所以这次我们参考的是邓紫棋的《光年之外》,我在上传时直接截取了《光年之外》的副歌部分,这个片段无论是伴奏还是人声都具有十分鲜明的特色,加上在歌词中融合了《泡沫》中的温柔、深情和《光年之外》中的壮阔、希望两种情感,最后有了《星辰大海》,效果真的不错!我非常满意!

天工版《星辰大海》

先不说别的,模仿邓紫棋的唱腔这一首,真的可以以假乱真了!

女声一开口真的好惊艳,简直太像了,这是我目前听过的模仿版最像的,妥妥的 AI 版邓紫棋!配个视频都能以假乱真了,尤其是那句“月亮洒在波涛之上”,嗓音模仿的很到位,连颤音都像模像样的。

除此之外,其中有一个特别的地方是竟然生成了人声混合唱法,而且还特别的和谐!它真的学习了演唱技巧然后直接生成了音乐,这真的很夸张!!

方言版:也是毫不逊色呢!!!

既然普通话都模仿的这么好,那我们加大难度,看看生成方言版歌曲如何?

首先出场的是粤语,用陈奕迅的《十年》作为参考音乐,ChatGPT参考经典曲目作词《浮夸》、《十年》、《爱情转移》,生成了这首非常具有陈奕迅特色的粤语歌《夜的第七章》,模仿的音色和唱腔感觉好到位,真的可以以假乱真了!

天工版粤语歌《夜的第七章》

其次是参考 Beyond 经典曲目《海阔天空》、ChatGPT参考《海阔天空》、《真的爱你》、《光辉岁月》作词,生成了这首粤语歌《梦之航》,瞬间一股港乐的味道扑面而来!

天工版 粤语歌《梦之航》

除了粤语之外,最后尝试了参考周延的《威远故事》,生成了成都方言歌《山城旋律》,生成三首中,第一首是普通话,第二首就是下面这个版本,第三首则居于二者之间。听第二首的方言效果特别对味儿,可见 Sky Music 的学习能力有多强!

天工版 成都方言歌《山城旋律 》

不得不说,从这一刻开始,从中文出发,走出了我们自己的特色!国产大模型崛起了!