magnitudedev/magnitude

ローカルでモデルを動かすこと自体は、いま珍しくない。難しいのはどのモデルなら自分のPCで実用になるかの見当がつかないところで、名前とサイズの一覧を前に、落としては試し、遅くて消す、を繰り返すことになる。Magnitude は、そこを機械に測らせる推論サーバー。README の言葉では、チップ・メモリ・帯域を調べ（“profiles your chip, memory, and bandwidth”）、合うモデルを推定の毎秒トークン数つきで提示し、そのまま落として、調整して、動かす。

動かしたあとの面倒も引き受ける。モデルは要求が来たときに読み込まれ、使われていないときやメモリが埋まってきたときに降ろされる（“loaded on request, unloaded when idle or memory fills”）。速度に効く設定 — README が名前を挙げているのは投機的デコードで、あとは「ほか」とまとめられている — も、機械に合わせて設定済みの状態で渡される。ここは、自分で詰めようとすると時間を取られやすいところでもある。

つなぎ先は、いま使っているエージェントのまま。README が名前を挙げているのは Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline で、付属の実行環境を使うこともできる（これは README ではなく公式ドキュメントに書かれている）。導入は npm のコマンド1つと magnitude setup の2手。エージェント自身に手順を読ませて設定させるやり方も併記されている。対応するのは macOS と Linux、Windows は WSL 経由。

コードを外に出したくないとき

README が挙げている利点は、トークン代・APIキー・レート制限がないことと、モデルもやりとりもファイルも手元から出ないこと。扱いに制約のあるコードで、クラウドのAPIを使う許可が下りないような場面では、選択肢がここに限られる。

ローカルのモデルを試したいが、選定で止まっているとき

「自分の機械で何がどれくらいの速さで動くのか」が分からないまま止まっている人には、測って提示してくれるところが本題になる。推定の毎秒トークン数が先に見えるので、落とす前に見切りをつけられる。

無料なのはトークン代だけ。 電気代・ディスク・待ち時間は自分持ちになる。README は必要な性能について「決まった下限はない（There’s no fixed minimum）」と書いているが、これはどんな機械でも快適に動くという意味ではない。機械の性能がそのまま出る速度を、あらかじめ見込んでおく必要がある。

中で何を使って推論しているかは、README に書かれていない。 投機的デコードという調整項目の名前は出てくるが、推論エンジンの名前は出てこない。基盤を自分で確かめてから入れたい場合は、READMEの外まで読みに行くことになる（公式ドキュメントには、推論部分を Rust と llama.cpp の上に書いたと記されている）。

まだ新しい。 公開は2026年6月。書き手は少人数だが、リリースは高い頻度で続いている。作りが変わる可能性を前提に、使い方を固めすぎないのが無難になる。

Windows は WSL 経由。 素の Windows で直接動かす想定にはなっていない。ライセンスは Apache-2.0。