人間が高く評価する文章をLLMも高く評価できることと、特定の生成元を優遇せずに採点できることは別である。全体の順位が人間に近くても、ある生成元の文章へ系統的に高い点を付ける偏りは残りうる。
G-EVALの要約評価では、GPT-4による採点と人間の評価の平均Spearman相関は0.514で、比較対象のUniEvalの0.474を上回った。一方、別の分析では、人間が人間作成の要約を好んだグループでも、G-EVALは平均でGPT-3.5の要約に高い点を付けた。人間同士の判断の一致も低く、著者らは偏りについての予備的な分析としている。この結果だけで偏りの原因は確定できないが、全体の評価相関を根拠に公平性まで保証することはできない。
https://aclanthology.org/2023.emnlp-main.153.pdf
採点モデルを選ぶときは、全体の相関に加えて、生成元や人間の選好で分けたときに、どちらへ判断がずれるかを見る必要がある。採点結果を学習の報酬に使うなら、モデルが好む文体へ適合することを品質の向上と取り違える可能性もある。評価を改善の運用周期として設計する際には、成果物だけでなく採点モデルの判断も検証対象に含めたい。