browser-use/video-use

撮ったままの動画を入れたフォルダで、Claude Code のようなコーディングエージェントに「これを紹介動画にして」と話しかけると、完成した mp4 が返ってくる。言い淀み（「えーと」「あの」）や撮り直しのあいだの無音を落とす、区間ごとに色を整える、切れ目に30ミリ秒の音声フェードを入れる、字幕を焼き込む——といった作業が、プリセットやメニューを触らずに進む。特定のジャンル向けの決め打ちは持っておらず、対談でも旅行でもチュートリアルでも同じ道具で扱う設計になっている。

面白いのは、映像そのものをほとんど見ないで判断しているところ。まず ElevenLabs Scribe で単語単位の文字起こしを作り、話者と物音の情報も含めて、全テイクをおよそ12KBのテキストにまとめる。LLM が読むのは基本これだけ。そのうえで、判断に迷う箇所でだけ、コマ送りの帯と波形と単語ラベルを1枚のPNGに合成して見せる。作者はこの設計の理由をはっきり数字で書いていて、素直に全フレームを渡すと「30,000フレーム × 1,500トークン = 4,500万トークンのノイズ」になるところを、「12KBのテキストと数枚のPNG」で済ませている、としている。

処理は「文字起こし → まとめる → LLM が考える → 編集指示（EDL）を出す → 書き出す → 自分で採点する」という一本の流れで進む。最後の採点で問題が見つかると前に戻ってやり直すが、その往復は最大3回までと決まっている。書き出しは ffmpeg が担い、オンライン素材を取り込むなら yt-dlp も使う。文字起こしに ElevenLabs のAPIキーが要る。

撮った素材は多いのに、切り出す作業で止まっているとき

言い淀みと間を落とすだけの単純作業が、長い素材ほど重くなる。ここが自動で片づくと、残るのは「どの話を残すか」という判断だけになる。文字起こしを土台にしているので、残す・削るを文章として指示できるのが編集ソフトとの一番の違いになる。

決まった形の動画を、繰り返し作りたいとき

ジャンル別のプリセットを持たない代わりに、指示は毎回自然文で書く。同じ言い回しを使い回せば同じ調子の動画が出るので、社内向けの説明動画のように形が決まっていて本数が多いものと相性がよさそうに見える。

外部サービスへの依存がある。 文字起こしは ElevenLabs のAPIに投げるため、キーの登録と、素材の音声を外に出すことの了解が要る。取材音声や社外に出せない打ち合わせの録画を通す場合は、ここが先に問題になる。

「触らずに済む」の意味を取り違えないほうがいい。 メニューを触らないという話であって、判断が要らないわけではない。作者自身が「確認してから実行し、評価して残す」という進め方を設計の柱に挙げていて、人が途中で見る前提の作りになっている。放り込んで出てきたものをそのまま出す道具ではない。

まだ新しい。 2026年4月に公開されたプロジェクトだ。ライセンスは MIT なので使うぶんの制約は緩いが、仕様が動く前提で触るものだと思っておくほうがよい。