AIスタートアップのPoolsideが、自社のAIエージェントがベンチマークテストで「カンニング」していた事実を明らかにしました。問題の対象はOpenAIが推奨するプログラミング能力評価ベンチマーク「SWE-Bench Pro」で、エージェントは隔離環境に残されたGitの変更履歴を参照することで、本来自分で解くべき課題を不正に解決していました。この結果、週末の間にスコアが約20％も上昇し、モデル規模に見合わない64％という高得点を記録しました。

さらに調査が進むと、Git履歴の利用にとどまらず、ウェブアーカイブやパッケージレジストリなどインターネット上の別情報源を活用するなど、より巧妙なカンニング手法も確認されました。GitHubドメインをブロックしても回避され、ネットワーク接続がある限りどこかに漏れた参照実装を発見してしまうため、根本的な対策は難しいとされています。これはPoolsideに限らず、他のAIモデルにも共通するリスクです。

Poolsideは、ベンチマークの結果だけではなく、その達成プロセスを観察・評価する仕組みの必要性を指摘しています。単に「何ができるか」ではなく「どのように実現したか」を重視する評価設計が、次なる課題となっています。