TypeSafe AIのJevは、Stateと質問を受け取り、自由文ではなく型の付いた判断と確率を返すSystem Oneモデルである。Choiceは指定された候補、Scoreは指定された尺度、Noulは真である確率に出力を制約する。この仕組みは、未定義の候補や不正な構造を返さないことを保証するが、意味的な判断の正しさまでは保証しない。
推論時には、Stateだけでなく、質問のinstructions、criteria、学習済みの重みが判断に使われる。公式文書は、Jevが英語を主要な学習言語とし、RLCDによって調整され、すべての顧客に同じ重みを提供すると説明している。一方、事前学習コーパス、教師データの作成方法、基盤モデル、パラメータ数、RLCDの具体的な報酬設計は公開されていない。顧客のリクエストとレスポンスを学習に使わないことは明記されているが、これは元の学習データを明らかにするものではない。
したがって、ある判断がState中の文章、重みに埋め込まれた一般知識、その両方のどれに由来するかをレスポンスから追跡できない。ChoiceとScoreのprobabilitiesやconfidenceは候補間の確率分布を表し、Noulは真である確率を表すが、いずれも根拠の出典ではない。「Stateだけを根拠にする」とinstructionsへ書いても、それはモデルへの指示であり、参照元を監査できる仕組みにはならない。
根拠を限定した判定が必要なら、参照文書をStateへ含め、criteriaに「根拠が記載されていない」という結果を用意し、入力、質問、確率分布、モデルの版を保存する必要がある。それでも判断過程そのものは観察できないため、用途固有の評価データで誤判定と確率の較正を検証する。型安全性が保証するのは出力の形であり、根拠の忠実性ではない。
https://docs.typesafe.ai/concepts/system-one
https://docs.typesafe.ai/concepts/state
https://docs.typesafe.ai/primitives
https://docs.typesafe.ai/models
https://docs.typesafe.ai/model-jaggedness/jev-1.13
https://typesafe.ai/blog/introducing-system-one-models-and-jev