一行要約
採用の take-home をモデルが突破していく過程の実録で、AI 耐性のある評価を作る7つの設計原則が経験的に導かれている。これは採用に限らず「モデルが解けてしまう eval をどう作り直すか」の一般論として読める。
要点
経緯
- 1,000人以上の候補者がこの take-home を受けた
- Claude 3.7 Sonnet が候補者の性能と 50% 以上の parity に到達
- Claude Opus 4 が 4時間の制限内でほとんどの人間の応募者を上回った
- 制限時間を 4時間 → 2時間に短縮
- Claude Opus 4.5 が最初のボトルネックを1時間未満で解いた
- 最良の人間の解: 1363 サイクル。Claude Opus 4.5 の最良: 1487 サイクル
Humans can still outperform models when given unlimited time, but under the constraints of the take-home test, we no longer had a way to distinguish between the output of our top candidates and our most capable model. 時間が無制限なら人間はまだモデルを上回れる。だが持ち帰り課題という制約の下では、最上位の候補者の成果物と、我々の最も有能なモデルの出力とを区別する手段が、もはやなくなっていた。
「無制限の時間なら人間が勝つ」ことと「制限時間内で区別がつく」ことは別問題である、という指摘が核心。
AI 耐性のある評価の7原則
- 長い時間軸 — 数分ではなく数時間を要する問題にする
- 現実的な作業条件 — 慣れた環境で独立して作業させる
- 速い解より深さ — 強い候補者でも全部は終わらないだけの複雑さを持たせる
- out-of-distribution な課題 — 訓練データのパターンより人間の推論が有利になる領域を選ぶ
- 独立したサブ問題を複数置く — 単一の閃きによる分散を減らす
- 可視化のショートカットを作らない — ツール開発への投資判断そのものを問う
- 実際の業務を代表している — 深さの異なる本物のドメイン問題にする
対象の設計
元の問題は仮想機械の性能最適化で、次の要素を持つ。
- 手動管理のスクラッチパッドメモリ
- VLIW（1サイクルに複数の実行ユニットが並列動作）
- SIMD（1命令で多要素のベクタ演算）
- マルチコア
作り直しの試み:
| 版 | 内容 |
|---|---|
| Attempt 1 | 別の最適化問題 — 2D TPU レジスタ上でのデータ転置、bank conflict を避けながら |
| Attempt 2 | もっと変な方向へ — 極小で強く制約された命令セットのパズル。命令数の最小化を競わせる |
そのまま使える具体例
自分の eval / 課題が AI に突破されたときのチェックリスト（7原則の運用形）:
□ 時間軸は十分に長いか 数分で解ける問題は既に負けている
□ 作業条件は現実的か 人工的な制限は人間側だけを不利にする
□ 全部終わる分量になっていないか 「終わらない量」が深さの差を可視化する
□ 訓練データの外にあるか 典型的な問題は最も先に解かれる
□ サブ問題は独立して複数あるか 1つの閃きで全部解けると分散が跳ねる
□ 可視化ツールを与えていないか ツールを作る判断自体が評価対象になる
□ 実際の業務を代表しているか 奇問にすると妥当性を失う原典で言及されている関連文書
- demystifying-evals-for-ai-agents — capability eval の飽和（この記事はその実例）
- develop-tests — eval 設計の原則
- eval-awareness-browsecomp — eval が別の形で突破される事例
- infrastructure-noise — eval のスコアが測定条件に左右される問題
未取得の派生リンク
- https://github.com/anthropics/original_performance_takehome — 元の take-home
- https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/ — 長時間タスクにおける AI 能力の測定