Udio、Sonauto、Soundation、Spotify、Meta：AI 音乐热潮起，各家产品发不停

现在似乎每个月都会有一款人工智能音乐产品推出。上个月火爆的很快就被2024年4月10日上线的Udio夺走了热度。

Udio

现在似乎每个月都会有一款人工智能音乐产品推出。上个月火爆的Suno[https://www.suno.ai/]很快就被2024年4月10日上线的Udio[https://udio.com/]夺走了热度。Udio只需要用户输入关于音乐流派、主题、歌词以及想要模仿的音乐人的描述词就能生成对应的音乐。一旦生成了音乐，用户可以通过remix能进一步编辑生成的内容进行迭代。Suno和Udio两款产品生成的音乐质量似乎非常接近，并且有用户表示Udio生成的音乐模糊感更少一些。此前我们对包括Suno v3、Google Music FX、Stable Audio v1、Riffusion的几款产品进行了纯音乐生成的横向评测（参见《人工智能拼：Suno 纯音乐 AI 生成评测》）。Midin将在未来合适的时间再对同类产品进行评测。

Udio由谷歌人工智能研究部门DeepMind的四名前研究员Did Ding、Conor Durkan、Charlie Nash、Yarosl Ganin和Andrew Sanchez创立，其中Did Ding、Charlie Nash和Yarosl Ganin同时也是谷歌Lyria（参见《被谷歌的音乐生成工具 Lyria 刷屏了?不如先试试 Riffusion》）的前开发成员之一。Udio的主要投资方包括富豪Andreessen Horowitz（控制的风投机构a16z管理超350亿美元资产）、Mike Krieger（Instagram联合创始人兼首席技术官）和Oriol Vinyals（谷歌Gemini负责人）。其他投资者也有一些知名音乐人，包括说唱歌手Common、制作人Tay Keith、Steve Stoute创立的音乐分销平台United Masters和说唱歌手兼制作人Will.i.am。

滚石对Udio的报道称“尽管Udio和Suno都没有直接证实或否认，但有充分的理由相信Udio和Suno都在未经许可的情况下接受了受版权保护音乐的训练。前Stable Audio副主管Ed Newton-Rex提供的大量证据几乎坐实了Suno训练数据侵权的情况，详见《深入揭发：Suno 的音乐 AI 训练数据是否侵权》。在Music Ally对Udio的采访中，创始人Did Ding和Andrew Sanchez都对训练数据的来源保持回避，只是反复夸赞Udio有多么优秀。滚石在使用Udio时发现生成的两首歌曲中歌声与已故著名歌手Tom Pretty的声音几乎没有区别。Did Ding说他们有一个过滤器可以检测出与某些现有歌手声音太相似的情况，但效果并不完美。

Andreessen Horowitz

相比之下，Udio的投资人Andreessen Horowitz就毫不掩饰对使用侵权训练数据的支持。他在2023年11月向美国版权局提交了一份文件，认为对受版权保护的材料进行人工智能训练应该是合的，并不构成知识产权。Andreessen称如果人工智能公司为支持该技术的版权付费，那么数十亿美元的投资可能会打水漂。Andreessen Horowitz控制的风投机构a16z投资了数十家人工智能公司，表示期望所有这些受版权保护的内容都可以作为训练数据通过“合理使用”获得，无需付费。a16z认为人工智能投资规模如此巨大，以至于围绕用于训练模型的内容的任何新规则“都将严重扰乱”投资界对该技术的计划和期望。Andreessen Horowitz还直接提出了一个疯狂的论点，称如果美国政府不把每一位作家、画家、音乐家和制片人出卖给一小群科技公司和支持他们的金钱主（即他本人）将危及“”，让美国会输掉与中国的战争。Andreessen常常发表技术至上主义的惊人言论，日常赞颂”技术“和”市场“的神圣价值，并几近宣称国家监管是人民的敌人。

Sonauto

Sonauto

Sonauto[https://sonauto.ai/]是最新出现的另一款同类的音乐生成产品，同样具有演唱生成的能。除此之外，Sonauto还具有通过音频上传实现的控制能。用户可以将自己的一段鼓组演奏作为基础再来生成更多相关的音乐。Sonauto表示他们的模型架构与其他产品有所不同，放弃了Vector Quantized Variational Autoencoder，转而使用普通的Variational Autoencoder。关于Sonauto的公开资料目前很少，也没有对训练数据的披露。其主页上最受欢迎的歌曲是“AI Katy Perry”，同时排行榜上也有歌名里就包含诸如Louis Armstrong、Johnny Cash、Frank Sinatra这样著名音乐家姓名的生成作品。

Soundry AI

Soundry AI的创始人

Soundry AI[https://soundry.ai/]是一个专门生成loop和音频采样的文生音频工具，希望能够为音乐人和声音设计师提供帮助。用户在除提示词之外，还可以通过菜单栏对风格、准确度、速度BPM、调性等进行控制。Soundry AI在网页版本之外还提供桌面版以及VST3插件。Soundry表示其训练数据得到过授权。如果你想要将你的音乐或者音频素材加入Soundry AI的训练数据的话，可以通过网站联系他们并获取报酬。Soundry AI的官网显示他们已经与许多电子音乐制作人达成了合作。

Soundation

在线数字音频工作站Soundation[https://soundation.com/]近期推出了Gennie[https://soundation.com/online-studio/studio-tools/gennie]
，同样是通过提示词生成loop采样的工具。Gennie可以根据描述性词语生成12秒的音频。依托Soundation完整的音乐创作平台，生成的音频可以无缝加载进采样乐器或者用作loop使用。Gennie承诺生成高品质音频，不会出现其他人工智能生成音乐中经常听到的数字伪影。

Spotify

作为全球最大的音乐流媒体平台，Spotify将人工智能与创建歌单结合了起来。该公司推出的一项名为AI  Playlist的能允许用户通过文本提示自动生成歌单。该能目前仅在英国和澳大利亚的设备上可以使用。

除了基于音乐风格的提示词外，人们可以发挥想象力来创建更多元的自定义歌单，例如“给猫咪的小夜曲”或“僵尸末日的beat”这样的提示词也可以用。Spotify建议提示词可以是地点、动物、活动、人物、颜色或表情符号。不过测试下来最好用的方式还是使用包含音乐风格、情绪、音乐家和音乐年代的文本提示。生成歌单后，用户可以使用人工智能修改和优化最终结果，例如“节奏更慢点”或“多点流行音乐”等命令。在技术方面，Spotify表示它使用的是大语言模型(LLM)来了解用户的意图，再结合用户播放历史和偏好来实现个性化歌单的创建。

Meta

Meta(cebook)于2023年发布开源的MusicGen[https://m.midin.com/news_body.php?id=47566]后沉寂许久。不过近期的一份专利申请显示Meta并没有在这个领域放慢脚步，而是采取了不同的发展策略。这份于2023年9月29日提交的专利申请标题为”Generating Audio Files from Text Input“[https://www.freepatentsonline.com/y2024/0112687.html]，几乎涵盖了所有通过文本生成音频的技术产品。不清楚覆盖面如此之广的专利申请是否会得到美国专利局的认可。

另外，Meta在最近一份官方新闻稿[https://about.fb.com/news/2024/04/metas-approach-to-labeling-ai-generated-content-and-manipulated-media/]
中承诺将为泛滥的人工智能生成照片、和音频内容添加标记，以示区别。此前Meta仅对生成的进行标记，但近期音频和领域人工智能的突飞猛进已经使得这个问题变得极其迫切。虚假信息常常被用于、诽谤和操纵，需要年长用户特别警惕。Meta作为社交媒体平台和人工智能研究机构的双重身份使其对人工智能生成内容的态度尤其值得关注。