LLMを使った処理には、文章やコードを作る生成と、候補から答えを選ぶ判定が混在している。ツールの選択、問い合わせの分類、エスカレーションの要否、出力の合否は、自由な文章を作る仕事ではない。回答候補が呼び出し前に決まっているなら、その処理を生成から独立した判定として扱える。
判定を分離すると、出力形式を強制するためだけのプロンプトと、生成した文章をJSONとして解析する処理が要らなくなる。判定専用モデルが候補ごとの確率を返せば、確率が高い結果は自動処理し、中間の結果は人間に確認してもらうという運用も組み立てられる。複数の評価項目を互いに独立した質問として定義すれば、一つの曖昧な評価指示に異なる判断基準を詰め込まずに済む。
ただし、判定専用モデルは評価基準を決めてくれない。何を真とし、何を偽とするか、情報不足をどの結果へ逃がすか、どの確率から自動処理するかは、用途に合わせて設計し、評価データで較正する必要がある。長い実行履歴をそのまま渡すのではなく、質問に必要な情報だけを入力する設計も精度を左右する。
TypeSafe AIのJevは、この分離をChoice、Score、Noulという型付きの質問で実装する判定専用モデルである。型付きの確率を返すため大量の反復判定に向く一方、判断理由は生成しない。監査や個別事例の説明が必要な場合は、入力とモデルの版を保存し、別の生成モデルまたは人間による確認を組み合わせる。出力の型と判断根拠の違いはjevs-type-safe-output-does-not-guarantee-transparent-evidenceにも記した。
https://langfuse.com/blog/2026-09-18-using-typesafes-jev-for-evals