Riffusion

Riffusionはテキストから画像を生成することができるオープンソースのAIモデルです。Riffusionはスペクトログラムと呼ばれる画像を作成し、それをオーディオクリップにすることができるようにしました。スペクトログラムは、異なる周波数が異なる時間にどのように聞こえるかを示す絵のようなものです。

無料

使い方

テキストの入力をしてエンターを押すと上のUPNEXTに入力したテキストが表示。
表示されたUPNEXTのテキストを押すとテキストが楽曲に自動生成。
右上の再生マークを押すと楽曲が流れます。
楽曲のリンクをコピーする場合やMP3でダウンロードする場合は再生ボタンの下にあるInfoボタンを押すとコピーボタンやメニューからダウンロードボタンが表示されます。

作ってみた

Riffusionを使って実際にオリジナル楽曲を生成してみました。

https://www.riffusion.com/?&prompt=It’s+amazing+to+make+letters+into+a+song+with+AI!&seed=3&denoising=0.75&seedImageId=og_beat
使用したテキスト「It’s amazing to make letters into a song with AI!」

https://www.riffusion.com/?&prompt=joifjsdiajgfipsjapgnpajdpfjpakdopkjopfapfad&seed=51209&denoising=0.75&seedImageId=og_beat
使用したテキスト「joifjsdiajgfipsjapgnpajdpfjpakdopkjopfapfad」

適当な文字で作ってもループ楽曲としてギリギリ使えそうなものが生成されました！
文字を楽曲にする仕組みが斬新！と思い褒めてあげる文章で作ってみるとちゃんとした楽曲が生成。
使うときはみんな褒めてあげてください。

※作るときは日本語でも大丈夫です。

具体的なアウトプット

ビジネス

• ショートムービーに会社名などから作った楽曲を使用する
• SNSで自社紹介文等を曲にし公開する

一般的

• YOUTUBE等の投稿動画で再生する
• 作成した楽曲をSNSで公開する