Semilla.ai 发布 SEMILLA V2 神经网络合成器插件
SEMILLA 的工作原理是:输入音频首先被编码到 RE 模型的潜在空间(Latent Space)中,再通过一个粒子场(Particle Field)对潜在表示进行位移,最后重新合成为输出音频。它可以理解为一种音色迁移(Timbre Transfer),但与传统方式不同的是,在这里,潜在空间本身就是演奏对象。
SEMILLA 的工作原理是:输入音频首先被编码到 RE 模型的潜在空间(Latent Space)中,再通过一个粒子场(Particle Field)对潜在表示进行位移,最后重新合成为输出音频。它可以理解为一种音色迁移(Timbre Transfer),但与传统方式不同的是,在这里,潜在空间本身就是演奏对象。
用户可以在粒子场中放置最多十二颗“种子(Seeds)”,它们会像引力井一样影响粒子的运动。每颗种子都拥有吸引力、方向力和旋转力等参数,而粒子的运动则直接驱动模型潜在空间各个维度的变化。软件提供四种映射模式,用于决定粒子坐标如何投射到潜在空间;同时,Bias与 Scale 参数支持左右声道控制,因此可以分别塑造左右声道的音色。
粒子的运动既可以手动绘制,也可以交由物理引擎自动计算,包括重力、摩擦、弹性碰撞、湍流、速度和运动范围等参数。此外,还有一个 Orbit模块,内置周期轨道和多种混沌吸引子,包括 Lorenz、Rössler、Chua、Aizawa,以及多个 Sprott 系统。所有 Seed
编号都可以复现,因此偶然获得的声音结果也能够再次找回。
其他能还包括:8 个状态槽(State Slots)用于保存种子布局,并支持手动或通过 LFO 在任意两个状态之间进行Morph;左右声道可分别加载不同的神经模型;神经引擎之后还配备了立体声宽度、磁带延迟(Tape Delay)、Shimmer Reverb,以及带延迟补偿的 Dry/Wet 混合控制。此外,用户还可以加载自己的 .ts 格式 RE模型。所有运算均在本地完成,不会上传任何音频,也不会收集任何使用数据。
SEMILLA 目前提供 macOS(Apple Silicon) 和 Windows 10 及以上版本 的 VST3 插件。In Mac 和 Linux 版本正在开发中。软件提供 7 天,之后可选择 Complete 版本(包含 7 个模型,售价 49),或 Extra 版本(包含 12 个模型,售价 99)。
软件内置的所有模型均来自我的原创录音、公共领域素材,或经过版权所有者明确授权的音频内容。艺术家专属模型仅使用艺术家本人提供的数据集进行训练,并获得其授权与署名。所有训练数据集规模都较小,并经过人工筛选,而非从互联网抓取的大规模数据。
软件作者叫 Moisés Horta Valenzuela,是一位现居柏林的墨西哥声音艺术家和技术开发者。多年来,我一直专注于神经音频合成(Neural Audio Synthesis)的研究,而 SEMILLA 正是这项研究所诞生的乐器。