multimodal-art-projection/YuE

歌詞と「こういう雰囲気で」という指定を渡すと、歌と伴奏のそろった1曲が返ってくる。ここまではほかの音楽生成と同じだが、YuE2 はその途中に楽譜を挟む。先にメロディと和音の設計図を書き、それを音にするという順番になっている。README はこの設計図を「読めて、鳴らせて、書き換えられる」ものだと説明していて、中身の見えない箱ではないことを売りにしている。

仕組みは、1つの土台となるモデルが楽譜と音の手前の表現を順に予測し、そこから音の材料を作り、最後に別の部品が48kHz・ステレオの音声にほどく、という流れ。Python から呼ぶときも、設計図を作る・音の手前の表現を作る・音の材料を作る・音声にほどく、と段ごとに分かれた形で用意されている。設計図の作り方は切り替えられて、新しい曲を作るときはメロディと和音まで込みの設計図、カバーを作るときはメロディだけの設計図、設計図を使わず歌詞と雰囲気から直接作る、の3つが表に並ぶ。表にはもう1行あって、自分で用意した楽譜を渡す指定も選べる。

周辺の部品も用意されているが、こちらはこのリポジトリの中ではなく Hugging Face で別に配布されている。録音から楽譜を起こす SheetSage2 と、音楽の理解に使う MERT2 がそれにあたる。README によれば SheetSage2 は別の環境で動き、MERT2 はその内側で読み込まれる。録音を楽譜に起こし、歌詞や雰囲気を差し替えて作り直せば、曲を作るのと同じモデルのままカバーになるという組み立てだ。さらに、エージェントに手順を教えるためのスキル（SKILL.md の形式）も同梱されていて、曲を作る・カバーする・楽譜を直す・聴き比べを用意する、といった作業を任せられるようにしてある。なお、以前の YuE（初代）は YuE-v1 ブランチに残されている。

出てきた曲の一部だけ直したいとき

雰囲気は良いのにサビの和音が違う、テンポを落としたい。楽譜の段階まで戻って書き換え、そこからもう一度音にできる。言い直して引き直すのではなく、直した設計図から作るやり方になる。ただし作り直しであって、元の録音の一部だけ差し替わるわけではない。

手持ちの曲を別の雰囲気で作り直したいとき

録音を楽譜に起こし、歌詞や雰囲気を差し替えて鳴らす。README の実演では、1曲を9手・14版かけて中国語のポップスから英語のジャズへ持っていき、和音を替えてサックスのソロまで足す過程が公開されている。

動かすのに GPU が要る。 README が挙げる前提は、Linux・Python 3.12・BF16 に対応した NVIDIA の GPU・VRAM 24GB。手元のノートPCで気軽に、という性質のものではない。

ライセンスが2本立てになっている。 コードとスキルと文書は Apache-2.0。モデルの重みは別扱いで、CC BY-NC 4.0 に作り手の追加の許諾を重ねた形になっている。そのうえで README は用途ごとに線を引いていて、個人・制作者・音楽家は無料で使え、作った曲で収益を得ても手数料や使用料はかからないとある。学術と教育は非商用なら無料。企業の商用利用は、重みについて個別に相談という書き方になっている。

ベンチマークの読み方に、README 自身が釘を刺している。 192問からなる評価（WildSongBench）で、平均点がいちばん高かったのは YuE2 の8回選抜という設定だと書かれているが、同じ段落に上位どうしの差は小さく、統計的な有意を示すものではないと明記されている。指標によって順位が変わるとも書かれている。数字の1位だけを取り出さないほうがいい。

技術報告書はまだ出ていない。 README には「近日公開」とあり、いまの時点では前身の YuE と MERT の論文を引用してほしい、という案内になっている。