用猫的叫声来奏爵士乐：NVIDIA宣布推出下一代AI语音合成技术"Fugatto"

Fugatto 1 - 基础生成音频转换器作品1 （Fugatto 1 - 基础的生成音频转换器 Opus 1）

2024年11月26日

NVIDIA新发布的生成AI音频模型“Fugatto”是一项创新技术，可以创造前所未有的声音。该模型不仅可以转换现有的音频，还可以产生全新的音效效果，为音乐制作和游戏开发带来新的可能性。
Fugatto：独特的合成技术带来无限的声音世界

Fugatto的核心是ComposableART（音频表示转换）系统，它是一项开创性的音频合成技术，开辟了新的领域。该系统独立控制指示文和任务的组合，使其能够生成超出以往训练数据范围的音频输出。
值得特别注意的是，其能够复杂地组合不同的音效特性。研究团队采用了指令和帧索引，以及模型之间矢量场加权组合的高级数学方法，实现了这一点。例如，“金属呐喊的工厂机器”或“像狗一样叫的喇叭”等，成功地创造了现实中不存在的音效效果。

更值得关注的是，它将每种音效特性作为连续的尺度进行处理。当结合原声吉他和流水声时，通过微调每个元素的权重，可以产生完全不同的音效效果。此外，在调整说话者的情感表达和声音素质方面，也能实现这种连续控制。

Fugatto也可以高度实现现有的音频处理任务。它可以从MIDI数据中检测单个音符，并将它们替换为各种音质的歌唱，还可以检测音乐的节拍，将鼓声、犬吠声、时钟声等音效音乐化。这些功能显示出广泛的应用可能性，如音乐原型设计、电子游戏的动感配乐，以及国际广告制作等。
音乐制作人兼作曲家Ido Zmishlany认为，电力吉他带来了摇滚乐，采样机带来了嘻哈音乐，人工智能则被评价为开创音乐新篇章的工具。然而，NVIDIA将Fugatto定位为不是取代艺术家创造力的东西，而是一种全新的表达工具。这种态度成为追求技术创新与艺术创造力共生的重要指南。

在Fugatto开发中，NVIDIA的研究团队面临了一个困难的挑战，即找出语音和语言之间的重要关系。传统的语言模型能够从文本数据本身推断出各种指示的处理方式，而从语音数据中概括其特性和性质是非常困难的。
为了解决这一问题，研究团队采用了独特的多层学习方法。首先，利用大规模语言模型生成Python脚本，创建各种音频“人物”描述的模板化和自由格式的指示语句。其中包括各种特性，如“标准的”、“面向年轻人的”、“面向30多岁的”、“专业”的特性。此外，生成了绝对指示，如“合成明亮的声音”，以及相对指示，如“增加此声音的明亮度”。
在构建训练数据集方面，采用了创新方法。利用现有的语音理解模型创建训练片段的“合成字幕”，并用自然语言量化特征，如性别、情绪、声音质量。此外，利用声学处理工具对基本频率分散和混响等音频特性进行了量化。

对于关系比较学习，利用固定一个元素的同时改变其他元素的数据集，例如，具有不同情感的同一文本的朗读，不同乐器演奏相同短语等。通过这种方法，模型可以学习“更明亮”的声音特征，以及学会区分萨克斯管和长笛音色之间微妙的差异。
通过这种复杂的学习过程构建的最终数据集包含超过2,000万个样本和超过5万小时的音频数据。由32个NVIDIA张量核心训练的25亿参数模型在各种音质测试中展现出高度可靠的得分。

然而，NVIDIA对Fugatto的公开发布仍持谨慎态度。Bryan Catanzaro先生指出了生成技术内在的风险，并强调了防止在不良用途中使用的必要性。此外，大型音乐公司如Sony、Warner和Universal起诉侵犯版权的AI音乐生成初创公司，女演员Scarlett Johansson在声音未经许可复制方面起诉OpenAI等案例，也需要谨慎对待版权法律风险。
因此，Fugatto的开发旨在追求技术创新和负责任的部署之间的平衡，展示了在AI技术社会实施中重要的指导原则。在探索语音生成技术的潜力的同时，NVIDIA试图适当控制其影响力，这可能成为未来AI开发的一个模范案例。

Fugatto的出现带来了与以往完全不同的音响表现，这是一个开创性的事件。然而，在这项革新背后隐藏着版权问题和伦理挑战。特别是声音复制和转换技术，可能带来冒充和虚假信息传播等风险。NVIDIA展示的谨慎态度是合适的，同时使这项技术民主化也将成为重要挑战。归根结底，科技的发展是不可阻挡的。重要的是要适当控制这股力量，并将其用于开拓创造性表达的新可能性。

来源-用猫的叫声演奏爵士乐：NVIDIA宣布推出下一代AI音频合成技术"Fugatto"