Osmantic/ODS
手元のPCを、1コマンドで一式そろったAIサーバーに変える
どういうものか
単体のツールではなく、ローカルでAIを動かすのに要るものを丸ごと束ねた導入システムです。推論（llama-server）、チャット画面（Open WebUI）、APIゲートウェイ（LiteLLM）、埋め込み、音声認識（Whisper）と音声合成（Kokoro）、ベクターデータベース（Qdrant）、自前の検索（SearXNG）、画像生成（ComfyUI）、ワークフロー自動化（n8n）まで入っています。
手が入っているのは、導入の摩擦を消すところです。ハードウェア検出が NVIDIA / AMD / Intel Arc / Apple Silicon / CPUのみ を見分け、使うモデルとコンテキスト長を自動で決めます。既定では 1.5B の小さいモデルを1分足らずで先に落とし、2分以内に会話を始められるようにして、本命のモデルは裏でダウンロードする、という順番になっています。
OS によって構成が変わります。Linux はすべてコンテナ。macOS（Apple Silicon）は llama-server だけネイティブで動かし、他は Docker。Windows は WSL2 と Docker Desktop が前提です。いずれも Docker が入っていることが条件になります。
どんなときに使うか
ローカルAIを始めたいが、何をどう繋ぐかで止まっているとき
推論エンジン、UI、ベクターDB、埋め込み——どれも単体では見つかるのに、組み合わせで詰まる、というのがこの領域のいちばん多い足止めです。そこを既に決めてある状態から始められます。
手元のGPUに合う設定を、自分で調べたくないとき
VRAM がいくつなら何Bのモデルが載るか、コンテキストはどこまで伸ばせるか。この対応表を自分で作らずに済みます。
注意点
軽さは目指していません。 llama.cpp や Ollama を単体で使うような最小構成とは方向が逆で、一式そろっていることが前提の作りです。「モデルをひとつ動かしたいだけ」なら、明らかに過剰です。合う人と合わない人がはっきり分かれます。
Linux と macOS の導入は、インストールスクリプトの流し込みです。 ネットから取ってきたスクリプトをそのまま実行する形なので、中身を読んでから実行するかどうかは各自の判断になります。手動で clone してから実行する道も用意されています。Windows はこの形ではなく、zip を展開して PowerShell のスクリプトを走らせる手順です。
環境ごとの個別の但し書きがあります。 Windows は管理者権限での実行を推奨していない（パスの権限の問題）、メモリを CPU と GPU で共有する構成のときは特定のモデルを選ばないよう振り分けている（正確性の問題が記載されているため）、といった記述が README にあります。自分の環境が該当しないかは、先に見ておいたほうがいいです。
未解決のものは、内訳を見たほうがいいです。 GitHub の集計では、不具合や要望（issue）と修正依頼（プルリクエスト）が同じ数にまとめられますが、このリポジトリではその大半が修正依頼で、issue は一部です。合計だけ見ると、問題が山積みのように見えます。導入を決める前に、自分の環境に近い issue が立っていないかを見ておくと安全です。
ライセンスは Apache-2.0、安定版は v2.6.0 です。