AIを使ったこと自体ではなく、新しい概念について考える過程までAIへ任せたことが、学習成績の低下と結びついていた。
ShenとTamkinは、Python経験者52人を、GPT-4oを使える群と使えない群へ無作為に26人ずつ割り当てた。 全員が未経験の非同期処理ライブラリTrioを使う二つの課題に最大35分取り組み、その後はAIを使わず、概念理解、コード読解、デバッグを測る27点満点の試験を受けた。
AI利用群の試験成績は平均で4.15点、割合では17%低かった。 効果量はCohenのdが0.738、p値は0.010であり、準備課題の所要時間を調整しても差は残った。 一方、課題の平均完了時間に統計的に有意な差はなかった。
平均との差だけでは、使い方による違いを見落とす。 画面記録を調べると、AIへ実装を丸ごと委ねる、途中から依存を強める、理解せず修正を繰り返させる、という三つの使い方では、試験の平均得点率が24%から39%だった。 生成後に理解を確かめる、コードと説明を一緒に求める、概念だけを質問して自分で実装する、という三つの使い方では、平均得点率が65%から86%だった。 ただし各分類の人数は2人から7人と少なく、この分類自体は因果関係を確かめる無作為化比較ではない。
違いを生んだ候補は、入力した文字数や作業時間ではなく、問題について自分で考えたかどうかである。 生成コードを貼り付けた群と手入力した群の試験成績には目立つ差がなかった。 反対に、概念だけを質問した群はAI利用群の高得点側に入り、誤りにも遭遇しながら自力で解決していた。
誤りは単なる遅延ではなく、学習課題になっていた可能性がある。 AI利用群が遭遇した誤りの中央値は1件、非利用群は3件だった。 非利用群は、コルーチンの待機忘れや非同期関数の渡し方など、Trioの概念を理解しなければ直せない誤りに多く遭遇した。 試験でも群間差が最も大きかったのはデバッグ問題だった。 ただし、誤りへの遭遇回数と学習の関係は観察的な分析なので、誤りを増やせば必ず学習できるとまでは示していない。
この結果は「学習中はAIを使わないほうがよい」を意味しない。 AIを答えの供給者として使うと課題完了と技能形成が分離しやすく、説明相手として使い、自分で予測、実装、実行、診断する循環を残すと学習を保ちやすいことを示している。 仕事で新しい技術を覚えるときは、生成コードを採用する前に動作を予測し、各設計判断を説明させ、失敗の原因を先に自分で仮説化し、最後にAIなしで類題を解くとよい。
一般化には限界がある。 対象は52人、Trioの二課題、約1時間の実験、チャット型のGPT-4oに限られる。 測定したのは直後の試験成績であり、数か月後の技能保持や実務成果ではない。 参加者は実務者を含むが、実際の職場でその技術を身につける動機や責任までは再現していない。 したがって、この研究は長期的な技能低下を確定したものではなく、未知の技術を短時間で学ぶ場面における因果的な警告として読むのが妥当である。
https://arxiv.org/html/2601.20245v1
#AI #learning #software-engineering #cognitive-offloading
Appendix: Work Record
2026年9月10日に、arXivのHTML版v1を閲覧した。 抄録、実験方法、主要結果、画面記録の質的分析、議論、限界、評価項目を確認し、本文に報告された数値を転記した。
測定環境は論文記載の主実験で、参加者52人、AI利用群26人、非利用群26人、Trio課題35分、理解度試験27点満点である。 主要な生の報告値は、群間差4.15点、17%、Cohenのdが0.738、p値が0.010である。 準備課題の時間を共変量として調整した値は、Cohenのdが0.725、p値が0.016である。
ローカルで再解析はしておらず、公開データから統計量を再計算していない。 六つの利用類型は少人数の観察的分類なので、類型間の差を因果効果として扱っていない。 一時資源は作成しておらず、後片付けは不要だった。