深入揭发：Suno 的音乐 AI 训练数据是否侵权？

音乐人工智能公司Suno认为其未来的年收入将达到1200亿美元（2023年中国银行年收入约为1212亿美元）。不过在到达那一天之前，我们需要知道其训练数据是否来自侵权音频。当用户在Suno中输入“beminem”作为提示词时，Suno生成的音乐与超级巨星Eminem惊人地相似，这意味着什么？

本篇分析来自Ed Newton-Rex，他是促进生工智能道德规范的非营利组织irly Training[https://www.irlytrained.org/]首席执行官。 Newton-Rex本人是生工智能领域的资深专家，也是Stability AI的前音频副总裁，以及JukeDeck（于 2019年被TikTok/字节跳动收购）的创始人。

在这篇分析中，Ed Newton-Rex将注意力转向了Suno——一个获得广泛关注的音乐人工智能平台。上个月滚石关于该公司的文章标题称之为“音乐界的ChatGPT”[https://www.rollingstone.com/music/music-features/suno-ai-chatgpt-for-music-1234982307/]。在滚石的文章中，Suno的联合创始人Mikey Shulman被描述为“一位充满孩子气、迷人、背着背包的37岁年轻人，拥有哈佛大学物理博士学位”。Mikey认为未来会有10亿人每月支付10美元（相当于每年1200亿美元）来使用Suno创作歌曲。Suno声称其平台使“任何人都能创作出伟大的音乐”。这是通过ChatGPT风格的文本提示或用户输入歌词来实现的。Suno之后会根据这些提示生成完整的作品。2023年年底，微软宣布与Suno建立合作伙伴关系。微软Copilot的用户可以使用Suno软件来创作音乐。对于Suno生成纯音乐的效果可以参见midin最近的评测《人工智能拼：Suno 纯音乐 AI 生成评测》。

生成式人工智能公司通过提供生成文本、图像、代码、语音等的人工智能模型，积累了数百万用户并实现了天文数字的估值。其中许多模型未经许可或付费就使用了大量受版权保护的作品的训练，引起了强烈的反对并收到诉讼。

Suno已成为领先的人工智能音乐生成公司之一。它收取订阅费，让用户通过文本提示或其他简单输入（例如歌词和风格）创建完整的歌曲。它的歌词生成是由OpenAI的API处理的，但音乐和声音的生成是由 Suno 的模型实现的。生成歌曲的质量令人印象深刻，有些人已经表示他们的收听习惯从Spotify转变为Suno。

但有迹象表明，Suno与许多其他生工智能公司一样，可能在未经许可的情况下使用受版权保护的作品训练其模型。Suno尚未透露其使用哪些数据作为训练数据。在滚石的文章中[https://www.rollingstone.com/music/music-features/suno-ai-chatgpt-for-music-1234982307/]，Suno的一位投资者表示公司成立时他们并没有与唱片公司达成任何协议，而且目前也没有迹象表明情况发生改变。他们投资该公司时充分了解音乐唱片公司和发行商可能会提讼。总而言之，这些暗示表明Suno很有可能在未经同意的情况下使用受版权保护的音乐进行训练。

接下来，本文的作者Ed Newton-Rex将为我们展示了Suno上生成的曲目与热门流行音乐有多么雷同。

如何找出训练数据来源

当人工智能公司不透露其训练数据来源时，我们找出这些数据的最佳途径就是使用该模型，看看是否可以得到类似于受版权保护材料的输出。 类似的输出将有力地表明该内容是训练数据的一部分。作者和其他人发现Suno经常输出与受版权保护的内容非常相似的音乐。音乐风格、旋律、进行、乐器编配和歌词都是如此。 在这篇文章中，作者将分享一些示例，并评估其含义。

Ed Newton-Rex不认为这种输出相似性是版权受到侵犯所必需的条件。他认为如果模型在未经许可的情况下接受版权作品的训练，那么版权就受到了侵犯，无论该模型的生成结果是否是训练数据的准确复刻。我在这篇文章中包含的示例旨在帮助指出模型可能接受过哪些数据训练。除非另有说明，作者使用Suno v3生成了本文中的所有示例，并已将所有音乐示例转换为C大调或a小调以便比较。选取的例子是给定提示词生成的前两首曲目而非经过多次生成后筛选而来。

（下文中“我”代指“Ed Newton-Rex” ）

风格

如果你使用知名音乐家或曲目名称作为提示词，Suno将拒绝生成相应曲目，但一个简单的解决方是稍微拼错艺术家姓名。使用这种方，Suno似乎能生成听起来像Eminem的声音。

提示词：

a rap song by an artist called beminem

结果： 

Suno似乎还能生成接近Ed Sheeran的歌声。

提示词：

mainstream pop, ripped audio, aac

结果： 

接下来是ABBA。对于这首歌，我使用了Suno输入自定义歌词的辅助歌曲创作模式。我粘贴了Dancing Queen的歌词，但你可以忽略歌词，只关注风格。

提示词：

• 风格：70s pop
• 歌名：Prancing Queen
• 歌词：[Dancing Queen的全部歌词]

结果：

Oasis绿洲乐队

提示词：

a song by a 90s British band from Manchester. the lyrics are about not being angry.

结果：

Blink-182乐队

提示词：

a song by a band named blank-184

结果：

光靠这些例子并不能明确证明这些艺术家的作品在训练数据集中。其他可能的解释可能是数据集中充满高质量的相似音乐，但如此高的相似度无疑会让人浮想联翩。

旋律

Suno的辅助歌曲创作模式可让您输入自定义歌词。通过输入已有知名歌曲的歌词，我们可以得到模型选择的适合这些歌词的旋律。这种方似乎能相对容易地找到Suno已有旋律或生成与已有旋律非常相似的例子。

Queen皇后乐队：Bohemian Rhapsody波西米亚狂想曲

Suno在这里几乎逐字了波西米亚狂想曲中著名的、独特的“Galileo伽利略”台词，使用了相似的音高旋律、相似的风格和相似的音域。

提示词：

• 风格：70s british rock
• 歌名：Bohemian Symphony
• 歌词：波西米亚狂想曲的全部歌词

结果：

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=eGZwsl
https://music.163.com/#/song?id=471969753

okey Robinson & The Miracles：Tracks Of My Tears我的泪痕

下面生成的Suno曲目中旋律的前五个音符与原曲中的旋律相同。

提示词：

• 风格：60s r&b / soul
• 歌名：tracks of my fears
• 歌词："Tracks of My Tears"的全部歌词

结果：

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=22onDK6WCbM6
https://music.163.com/#/song?id=3504713

 

Oasis绿洲乐队：Wonderwall奇幻之墙

“that they’re gonna throw it back to you”这句旋律所用的间隔模式是从原曲中的（乐谱中的A段）。“by now, you should’ve somehow”的音高也是相同的（乐谱中的B段）。

提示词：

• 风格: britpop
• 歌名：wondrous wall
• 歌词："Wonderwall"的全部歌词

结果：

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=jYDyXdn
https://music.163.com/#/song?id=1367673810

 

Oasis绿洲乐队：Don’t Look Back in Anger不要愤怒地回头

下面Suno生成音乐中“start a Revolution from my bed”使用的音调与原始版本非常相似，唯一的变化是“a”上的小改动（如下方框中所示）和“from my”的音高交换（用点号标记处）。

提示词：

• 风格: britpop
• 歌名：sally can wait
• 歌词："Don’t Look Back in Anger"的全部歌词

结果： 

此外，Suno生成的曲目中“stand up beside the fireplace, take that look from off your ce”的节奏与原曲相同，唯一的改变是删除了乐句之间的停顿。 

 原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=UPYz9
https://music.163.com/#/song?id=17822715

ABBA：The Winner Takes It All胜者通吃

Suno生成的音乐旋律中的前三个音符与原曲音符相同。

提示词：

• 风格：70s ballad
• 标题：the sinner takes it all
• 歌词："The Winner Takes It All"的全部歌词

结果： 

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=7MTrwE
https://music.163.com/#/song?id=16495484

 

进行

Suno还会生成与受版权保护的歌曲中非常相似的进行。

Gloria Gaynor格洛丽亚·盖诺： I Will Survive我会活下去

当尝试生成Rick Astley的"Never Gonna Give You Up"风格的80年代流行舞曲音乐时，Suno生成的进行却与Gloria Gaynor的“I Will Survive”中独特几乎相同。细微的差异是对进行整体感知影响不大的替换。

提示词：

• 风格：80s dance-pop
• 标题：not giving you up
• 歌词：“Never Gonna Give You Up”的全部歌词

结果：

• 原曲：Cm – Fm – Bb – Eb – Ab – Dm7b5 – Gsus4 – G
• Suno生成：Cm – Fm – Bb – Eb – Ab – Fm – G – G

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=a04e6D
https://music.163.com/#/song?id=2640936

 

Ed Sheeran艾德·希兰：Castle on the Hill山上的城堡

当尝试生成一首类似于Ed Sheeran的Castle on The Hill的歌曲时，Suno 给出了一首与原曲开头相同的歌曲，除了C大三被替换为Am。这几乎是最不引人注目的替换。

提示词：

• 风格: folk pop
• 作品名称：castle on the mountain
• 歌词：“Castle on the Hill”的全部歌词

结果：

• 原曲：C – C – F – F – Am – Am – G – G
• Suno生成：C – C – F – F – C – C – G – G

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=1RQoN0
https://music.163.com/#/song?id=1304875453

有趣的是，当生成另一首歌曲而不是专门模仿“Castle on the Hill”时，Suno提供了相同的进行，并且同样带有Ed Sheeran的声线特征。

这次，低音线条与“Castle on the Hill”中的低音线非常相似，具有特征性的Mi音到四级，以及上的重复音符。

提示词：

benny from the block

结果： 

ABBA，Dancing Queen舞蹈皇后

在上述ABBA风格的Suno歌曲的开头使用的独特的4小节进行与 Dancing Queen中使用的进行相同，只是节奏发生了变化。值得注意的是在Suno生成歌曲中，该进行伴随的“hing the time of your life”歌词部分也正是原曲中的相同部分。 

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=Jvmld4
https://music.163.com/#/song?id=16495369

乐器演奏

Suno有时会生成听起来与已有有歌曲相似的乐器伴奏，无论你是否在尝试以特定艺术家的风格创作歌曲。

Ed Sheeran艾德·希兰：Shape of You

我生成这首歌的提示词与Ed Sheeran无关，但伴奏在某些地方与“Shape of You”非常相似。伴奏的节奏型是相同的，甚至独特的1-3-1旋律型也能辨别。

提示词：

benny from the block

结果： 

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=ZBmtd
https://music.163.com/#/song?id=460043702

Blink 182：All The all Things

这首歌是为了尝试生成一首Blink-182风格的歌曲而产生的。鼓点与他们的歌曲“All the all Things”中的鼓点基本相同。

提示词：

a song by a band named blank-184

结果：

原曲：All The all Things
https://c6.y.qq.com/base/fcgi-bin/u?__=T8V9Kfu
https://music.163.com/#/song?id=1308736052

歌词

Metallica：Fuel

Garrett Shorr是一名将人工智能伦理纳入教学的高中计算机老师。他在 Suno上创作了的一首歌曲包含Metallica歌曲“Fuel”的第一行歌词。值得注意的是Suno歌词是由OpenAI API生成。

提示词：

Make a song called Fuel: The Revenge which is a continuation of a mous song by a band that rhymes with petallica but told from the viewpoint of the gasoline

结果： 

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=XjsONb
https://music.163.com/#/song?id=21162416

其他证据

使用Suno生成的其他歌曲也表明他们的训练集可能包含受版权保护的作品。

一位希望保持匿名的Suno用户发现生成chicago drill流派的音乐有时会导致输出与受版权保护内容相似的音乐。尽管要求生成纯乐器曲目，但你可以在开头附近听到“Its Yung Slim”一词。Yung Slim是一位真正的艺术家，而这首歌与他的歌曲“Dead One”有着惊人的相似之处：两者的旋律伴奏都由大量使用音阶1、2、3音的连复段组成，并且两者的低音线都是相同的。

提示词：

结果：

• 原曲低音线：C – C – A♭ – A♭
• Suno生成低音线：C – C – A♭ – A♭

原曲：
https://c6.y.qq.com/base/fcgi-bin/u?__=I0CJNMvWCaEj

 

用户Andrew Rapier注意到Suno的一些输出中包含音频水印。音频水印声明通常由制作人添加到音频中作为保护其作品的一种手段，或者只是作为品牌推广。在这里你可以听到像“Geo Beats”的制作人标签的内容。

提示词：

• 风格：Atlanta Rap Artist – Trap Club Black Artist R@!iCh The Ki$$D
• 歌词：来自Rich The Kid – Nasty

Suno似乎在生成类似于受版权保护的音乐，包括著名歌曲的许多不同方面：旋律、进行、歌词、乐器部分和风格。这意味着三种情况之一：(1)该模型在没有版权许可的音乐上进行训练；(2)模型在有版权许可的音乐上进行训练；(3)相似纯属偶然。

第三种情况似乎不太可能。很难相信波西米亚狂想曲和“Tracks Of My Tears”等曲目的旋律的相似之处会是偶然出现。当与所有其他相似之处结合起来分析时，偶然的解释变得更加令人难以信服。

很难明确说Suno是否使用受版权保护的音乐进行训练。我们也不知道如果他们这样做的同时是否取得许可。《Billboard公告牌》的编辑们表示：

“消息来源证实Suno没有与一些最著名的音乐版权持有者签订许可协议，包括三大唱片公司和国家音乐出版商协会National Music Publishers’ Association。”

将Suno对训练数据问题保持沉默的态度、投资者对其缺乏许可的评论以及本文提供的示例结合起来足以引发了人们对Suno训练数据来源的严重质疑。

多数人都认为未经许可在受版权保护的作品上训练生工智能模型构成版权侵权。美国的生成型人工智能公司经常辩称，未经权利人同意而训练其人工智能模型属于合理使用(ir use)。但大多数人不同意这一立场，而院也尚未做出明确的裁决。判断行为（例如模型训练过程中发生的和训练数据搜集的网络爬虫行为）是否构成合理使用的因素之一是该使用行为对被作品的潜在市场或价值的影响。生成型人工智能公司往往低估其技术取代劳动力的潜力，但人工智能生成的内容显然能与它所训练的数据存在竞争。如果一家人工智能音乐公司使用受版权保护的音乐进行训练，并且人们将聆听时间从人类创作的音乐转移到该公司的人工智能创作的音乐上，那么行为就会减少原创音乐的市场。这不是假设，人们已经开始听Suno等产品的音乐而不是人类创作的音乐。在这种情况下，在受版权保护的音乐上训练生工智能模型无被视为合理使用。

我希望Suno能够澄清他们的模型是根据什么进行训练的。我们应该支持那些通过许可的训练数据来尊重创作者的人工智能公司。我们应该反对那些使用侵权训练数据的公司。音乐产业和生工智能产业以互惠互利的方式共存的唯一途径是训练数据许可的框架。如果没有许可，人工智能公司就会不公平地利用创作者的作品，成为创作者的竞争对手。

截止发稿时，Suno尚未对这篇文章提及的内容进行回应。