業務を実行するエージェントは、依頼された操作を完了できるだけでは足りない。利用者の主張を確認し、業務ルールの条件を満たさなければ操作を拒否できる必要がある。同じキャンセル依頼でも、予約時刻や契約内容によって正しい応答が変わるため、依頼文だけでは判断能力を評価しにくい。
EDGEGENは、仕様書から業務ルールを抽出し、そのルールに抵触する依頼を生成する。SQLで具体的なデータを選び、依頼と期待する振る舞いを結び付け、データの整合性と期待する応答の実行可能性を検証する。禁止された操作を実行できる必要はなく、データから拒否の理由を確認できれば、拒否を正解とするケースが成立する。
ここから得たい学びは、あり得る誤実装を区別する入力を、エージェントの依頼文と環境の状態の組として考えることだ。例えば「利用者の説明をそのまま信じて操作する」という誤りを見つけたいなら、利用者の説明と保存済みのデータが食い違い、確認の有無で結果が変わるケースを選ぶ。
ただし、データの整合性が取れていても、期待する振る舞いの定義が正しいとは限らない。EDGEGENの人手検証では、自動で成功とされた実行を各10件調べ、正しいと確認できたのは航空業務で6件、ToolSandboxで4件だった。生成したケースを学習や改善に使う際は、採点モデルの判断も検証対象に含めるという条件が付く。