trycua/cua

AI エージェントにパソコンを操作させる（computer use）ための部品を集めたリポジトリだ。開発元は Cua AI。エージェントとモデルは基本的に使う側が持ち込み、Cua は「操作するパソコン」と操作の道具を用意する、という分担になっている。README は、1つの作業の中でエージェントがコード、API、画面の操作を行き来することを「Computer-Use 2.0」と呼んでいる。

エージェントに直接つなぐのは Cua Driver。macOS・Windows・Linux のデスクトップアプリやブラウザの中身を調べて操作する道具で、コマンド・MCP・SDK のどれかでつなぐ。Claude Code、Codex、Cursor などへのつなぎ方が用意されている。アプリと OS が対応していれば、人のマウスを動かさず、手前の画面も奪わずに裏で作業できる。

ほかの部品は次のとおり。Lume は Apple シリコンの Mac の上に macOS や Linux の仮想マシンを作る道具。Cua Fleets はクラウド上の隔離されたデスクトップを貸すサービス（run.cua.ai）。Cua Bench は操作の課題を作ってエージェントを採点し、操作の記録を学習用に書き出す。CUA-S1 は、フォームのどの欄に何を入れるかといった小さな判断に絞った小型モデルで、まだ研究段階の公開だ。

API の無いデスクトップアプリを、エージェントに操作させたいとき

Cua Driver を入れて手持ちのエージェントにつなぐと、画面のアプリを調べて操作できる。最初の練習は、電卓で 6 × 7 を計算させ、画面に 42 が出たことをエージェント自身に確かめさせる課題だ。

手元の環境を汚さずに、エージェントの操作を試したいとき

Apple シリコンの Mac なら Lume で仮想マシンを作ってその中で試せる。手元に用意したくなければ、Cua Fleets でクラウドのデスクトップを借りる手もある。

ライセンスが部品ごとに違う。 本体は MIT だが、一部のフォルダは別のライセンスを持つ。任意で入れる cua-som は AGPL-3.0 以上で、Cua Driver の追加機能 cua-perception は MIT ではなく AGPL-3.0 のモデルを含む。README は cua-perception について、配布したりネット越しに提供したりすると、AGPL のソース公開の義務がかかりうると注意している。

Cua Fleets はクラウドの有料容量を使う。 README によれば、使い終わったあとも待機ぶんの有料容量が残ることがあるので、チュートリアルの後片付けの手順まで済ませるよう求めている。

裏での操作は、対応している場合だけ。 マウスを奪わずに作業できるかどうかは、アプリと OS しだいだ。

CUA-S1 は研究段階。 GitHub にあるのはソースだけの初期版で、モデルの重みは Hugging Face に別に置かれている。