jaredpalmer/kev

TypeSafe が API として提供している判断用モデル「Jev」と同じ呼び方で使える、小さな判断用モデルの一式だ。作者は Jared Palmer。ライセンスは Apache-2.0。Qwen3.5・Qwen3.8 をもとに、0.8B・4B・9B・27B の4つの大きさが公開されている。0.8B は Apple Silicon の Mac でも動き、27B は 80GB の GPU が要る。

使い方は Jev と同じで、文章を1つ渡し、そこへの問いをいくつもまとめて投げる。問いの形は、はい・いいえ（noul）、選択肢から選ぶ（choice）、段階で測る（score）の3種類。答えは文章ではなく確率つきで返る。問い同士はお互いを読めない作りなので、ある問いの答えが別の問いに引きずられない。API の形が Jev と同じなので、TypeSafe の Python SDK は送り先を変えるだけでそのまま使える。

もう1つの柱は、自分のデータで追加学習できること。問いと正解を並べたファイルを用意して、公開済みのモデルから学習を続けさせる。コーディングエージェント向けのスキルを入れると、既存のコードから Jev への問いを見つけ、学習し、元のモデルと比べ、使える API として公開するまでを、GPU を借りられる Modal の上で進める。README は、4B の学習1回を H100 で約1ドルとしている。

Jev を使っているが、判断させる文章を外に出したくないとき

呼び出し側のコードは送り先を変えるだけでよい。手元のマシンや自分の GPU サーバーで動かせば、判断のたびに文章を外部の API に送らずに済む。

自社の振り分けルールに合わせて、判断を鍛え直したいとき

公開モデルは、公開データと生成した例で学習している。README は、自社独自の分類や別の言語の問いなら、問いの書き方を工夫するより、短い追加学習のほうが効くことが多いとしている。

自動に回せる割合は、まだ Jev に届かない。 README によれば、学習に使っていない種類のデータでの正解率は、27B で Jev に1ポイント差まで近づいた（開発用データでの比較。Jev はテスト用データでは測っていない。README は、Jev の学習データが分からないので厳密な比較ではないとも書いている）。ただし、誤りを5%までに抑えた場合に自動で処理できる割合は、Kev が0.45〜0.57、Jev が0.70。確信度の基準は、自分のデータで確かめてから決める必要がある。

知識を問う問題には弱い。 知識の問題は元のモデルの力で決まり、README の比較では MMLU で Kev-9B が0.74、Jev が0.90。日付の引き算も苦手で、日数を文中に書き足す設定が用意されている。

選択肢の並び順で答えが変わることがある。 問い同士は独立しているが、同じ問いの中の選択肢どうしは影響し合うことがある、と README は書いている。

長い文章は学習の範囲外。 学習に使った文章は384トークンまで。それより長い文章も受け付けるが、長い文書では精度が落ちる。27B はこの点で小さいモデルより強い。

手元のサーバーは、既定では鍵なしで開いている。 README によれば、既定では自分のマシンからしか接続できず、鍵もかかっていない。鍵は KEV_API_KEY を設定するとかけられる。ほかのマシンからも使えるようにするなら、鍵をかけておくほうが安全だ。

27B の元モデルの学習データは分かっていない。 README は、27B が Qwen の追加学習済みの版をもとにしていて、その学習内容を把握していないと書いている。学習に使ったデータセットには、それぞれ別のライセンスがある。

公開から日が浅い。 リポジトリが作られたのは2026年9月17日。