猫の鳴き声でジャズを奏でる：NVIDIAが次世代AI音声合成技術「Fugatto」を発表

Fugatto 1 - Foundational Generative Audio Transformer Opus 1 （Fugatto 1 - 基礎的なジェネレーティブオーディオトランスフォーマー Opus 1）

2024年11月26日

NVIDIAが新たに発表した生成AI音声モデル「Fugatto」は、これまでにない音の創造を可能にする革新的な技術である。このモデルは既存の音声を変換するだけでなく、全く新しい音響効果を生み出すことができ、音楽制作やゲーム開発に新たな可能性をもたらすことが期待されている。
Fugatto：独自の合成技術がもたらす無限の音響世界

Fugattoの中核を成すComposableART（Audio Representation Transformation）システムは、音声合成の新たな地平を切り開く革新的な技術である。このシステムは、指示文とタスクの組み合わせを独立して制御し、これまでの訓練データの範囲を超えた音声出力を生成することを可能にしている。
特筆すべきは、異なる音響特性を複雑に組み合わせる能力だ。研究チームは指示とフレームインデックス、モデル間のベクトル場の重み付き組み合わせという高度な数学的手法を採用し、これを実現した。例えば「金属的な苦悶の叫びを上げる工場機械」や「犬のように吠えるトランペット」といった、現実には存在しない音響効果を創り出すことに成功しているのだ。

さらに注目すべき点は、各音響特性を二元的ではなく連続的な尺度として扱う手法である。アコースティックギターと流水の音を組み合わせる場合、それぞれの要素の重みを微細に調整することで、全く異なる音響効果を生み出すことができる。また、話者の感情表現や声質の調整においても、この連続的な制御が可能となっている。

Fugattoは既存の音声処理タスクも高度に実現する。MIDIデータから個々の音符を検出し、それらを様々な声質の歌唱に置き換えることや、楽曲のビートを検出して、ドラムや犬の鳴き声、時計の音といった効果音をリズミカルに配置することも可能である。これらの機能は、音楽のプロトタイピングやビデオゲームのダイナミックなスコアリング、国際的な広告制作など、幅広い応用可能性を示唆している。
音楽プロデューサーであり作曲家のIdo Zmishlanyは、電気ギターがロックンロールを生み、サンプラーがヒップホップを生んだように、AIは音楽の新しい章を切り開く道具になると評している。しかし、NVIDIAはFugattoをアーティストの創造性を置き換えるものではなく、むしろ新しい表現ツールとして位置づけている。この姿勢は、技術革新と芸術的創造性の共生を目指す重要な指針となっている。

Fugattoの開発において、NVIDIAの研究チームは音声と言語の間の有意な関係性を見出すという困難な課題に直面した。従来の言語モデルがテキストデータ自体から様々な指示の扱い方を推論できるのに対し、音声データからその特性や性質を一般化することは極めて困難であった。
この課題に対処するため、研究チームは独自の多層的な学習アプローチを採用した。まず、大規模言語モデルを活用してPythonスクリプトを生成し、様々な音声「ペルソナ」を記述するテンプレートベースおよび自由形式の指示文を作成した。これには「標準的」「若者向け」「30代向け」「プロフェッショナル」といった多様な特性が含まれる。さらに、「明るい声を合成する」といった絶対的な指示と、「この声の明るさを増加させる」といった相対的な指示の両方を生成している。
訓練データセットの構築においても革新的な手法が採用された。既存の音声理解モデルを活用して訓練クリップの「合成キャプション」を作成し、性別、感情、音声品質といった特性を自然言語で定量化した。また、音響処理ツールを用いて、基本周波数の分散やリバーブといった音響的特性も定量化している。

関係性の比較学習には、同じテキストの異なる感情による読み上げや、異なる楽器による同じフレーズの演奏など、一つの要素を固定しながら他の要素を変化させるデータセットを活用した。この手法により、モデルは「より明るい」音声の特徴や、サックスフォンとフルートの音色の違いといった微妙な差異を学習することが可能となった。
この複雑な学習プロセスを経て構築された最終的なデータセットは、2,000万以上のサンプルと5万時間以上の音声データを含む膨大なものとなった。32基のNVIDIAテンソルコアを用いて訓練された2.5億パラメータのモデルは、様々な音声品質テストで信頼性の高いスコアを示している。

しかし、NVIDIAはFugattoの一般公開については慎重な姿勢を崩していない。Bryan Catanzaro氏は生成技術に内在するリスクを指摘し、望ましくない用途での使用を防ぐ必要性を強調している。さらに、SonyやWarner、Universalといった大手音楽会社がAI音楽生成スタートアップを著作権侵害で提訴している状況や、女優のScarlett Johanssonが声の無断複製でOpenAIを訴えると示唆している事例など、著作権に関する法的リスクも慎重な対応を必要としている。
このように、Fugattoの開発は技術革新と責任ある展開のバランスを追求する試みとして、AI技術の社会実装における重要な指針を示している。音声生成技術の可能性を追求しながら、その影響力を適切にコントロールしようとするNVIDIAのアプローチは、今後のAI開発における一つのモデルケースとなるかもしれない。

Fugattoの登場は、これまでとは全く異なる音響表現をもたらす画期的な出来事だ。しかし、その革新性の裏には、著作権問題や倫理的な課題が潜んでいる。特に、声の複製や変換技術は、なりすましや偽情報の拡散といったリスクをはらんでいる。NVIDIAが示す慎重なアプローチは適切だが、同時にこの技術の民主化も重要な課題となるだろう。結局のところ、テクノロジーの進化は止められない。重要なのは、その力を適切にコントロールし、創造的な表現の新しい可能性として活用していくことだろう。

Source-猫の鳴き声でジャズを奏でる：NVIDIAが次世代AI音声合成技術「Fugatto」を発表