高性能で制限のない、日本語の歌も作れる音楽生成AI「YuE」

中国産のオープンソースソフト「YuE」は、歌詞と音楽スタイルを指定すると、ボーカルの入った楽曲を生成してくれるAI作曲ソフト。10GB以上のVRAMを搭載したNVIDIAのグラフィックスカードが必要です。

YuEは英語、中国語、そして日本語にフル対応。日本語の歌詞を入力して作曲させたら、ちゃんと日本語で歌ってくれるのです。発音はしっかりしているし、歌詞の読み間違いも少なく、なかなかの高性能ぶりです。

YuEでは、歌詞と音楽スタイルを指定して楽曲を生成する通常モードと、参照する楽曲を指定し、それに音楽スタイルと歌詞を指定することで参照する楽曲のニュアンスを込めた音楽を生成できる「Audio Prompt」の2つのモードが使えます。これらのモードを駆使することで、自由に音楽を作れる環境が得られるのです。

現在のYuEで生成できる楽曲は、メロディーや曲の構造はなかなかよくできているのですが、音質はイマイチで、Sunoなどの商用サービスにはまだかないません。曲の長さも、グラフィックスカードのVRAM容量に依存します。1曲を完成させるにはRTX 4090の24GBメモリでも足りないくらいですが、現在はメモリの容量が比較的少なめでも利用できるようになりました。

英語と中国語のみだが高性能なAI作曲ソフト「DiffRhythm」

「DiffRhythm」も中国製のAI作曲オープンソースソフトです。出来上がった楽曲の音質はYuEよりも上なのですが、生成できるボーカル曲は英語と中国語に限定、日本語の歌詞はまだ歌えません。動作にNVIDIA Onlyの記載はありませんが、他のプラットフォームでは動かせないので、事実上NVIDIA グラフィックスカードが必須と見たほうがいいでしょう。

もう一つ注意点があります。それは歌詞の入力フォーマットが他のAI作曲ソフトと違うところ。歌詞の1行ごと、その先頭にその位置を示す秒数を記載したLRCというフォーマットを用意する必要があります。Sunoなど多くのAI作曲ソフトで使われる、[Verse]や[Chorus]などのタグも不要なので、外しておきましょう。

そういった要因もあり、あらかじめ曲のテンポや歌詞をどのタイミングで入れるといったところがわかっていないと上手く曲が作れないという点で、難易度は高いと言えそうです。

なお、このLRCフォーマット化を支援するツールも用意していますが、そのためにはOpenAIのAPI Keyが必要です。

音楽スタイルは、テキストで記述することもできますが、オーディオデータのアップロードでも可能。SunoやUdioなどの商用サービスではアップロードした音楽が利用できないこともありますが、ローカルPCで処理する場合には、私的利用の範囲内であれば自由に利用できます。

例えば商用楽曲を提供しているミュージシャンが音楽生成AIを使おうとすると、自分自身の曲が入力できないという事態もあり得ます。YuEやDiffRhythmの場合にはそうした制限はなく、自分の楽曲をもとにさまざまなバリエーションを生み出すことが可能なのです。

最大で95秒まで生成できます。生成した音楽の中でいいと思ったフレーズをトリミングし、SunoやUdioのオーディオ入力機能で3〜4分の完成品に持っていくことも、自身の演奏を加えて完成させるといった選択肢もあります。

BGMを含む環境音を動画から生成する「MMAudio」

もう一つ、「MMAudio」というソフトも紹介します。

これは、ソニーなどが開発したオープンソースのAIソフトですが、音楽だけを生成するわけではありません。アップロードした動画の内容に合わせてサウンドを自動的に生成するという仕組みです。

登場人物が歩いていれば足音、街中であれば雑踏のサウンド、車が走っていれば走行音などを生成し、話している場面では声も追加してくれます。そういう映像シーンにありがちなBGMも生成することもあります。ただし、歌声が入る場合には意味不明な言語となってしまいます。

MMAudioはNVIDIA専用ではなく、PCへの負荷もそれほど高くないので、気軽に導入できそうです。Hunyuan VideoやWanなどのローカルAIソフトによって生成した動画に音をつけるのに役立ててみてはいかがでしょう。

なお動画だけでなく、静止画でも、テキストプロンプトからでもサウンドの生成が可能です。ネガティブプロンプトも入力できるので、音楽がいらない場合は、そこに「Music」と入れておけばいいでしょう。