原典: Measuring AI agent autonomy in practice
一行要約
数百万件の実際の人間-エージェント間のやり取りを分析した実測。核心は 「モデルが扱える自律性は、実際に与えられている裁量を上回っている」（deployment overhang）ことと、熟練者は監督を放棄するのではなく監督の仕方を変えることの2点。
要点
方法 — エージェントの定義を先に決める
エージェントの実証研究が難しい理由が3つ挙げられる。合意された定義が無いこと、急速に変化していること、そしてモデル提供者は顧客のエージェントの構造を見られないこと（API への独立したリクエストを「セッション」に紐づける信頼できる手段が無い）。
an agent is an AI system equipped with tools that allow it to take actions, like running code, calling external APIs, and sending messages to other agents
エージェントとは、行動を取ることを可能にするツールを備えた AI システムである。コードの実行、外部 API の呼び出し、他のエージェントへのメッセージ送信など。
データ源を2つ使い、それぞれの限界も明示している。公開 API は多数の顧客への広い可視性を持つが、個々のツール呼び出しの単位でしか見られず、行動が時間を通じてどう連なるかを再構成できない。Claude Code は逆に、セッションを跨いでリクエストを繋げるので全体のワークフローを追えるが、1製品でしかない。
1. 自律的に働く時間は伸びている（ただし尾の話）
中央値のターンは約45秒で、ここ数ヶ月 40〜55秒の間でわずかに揺れただけ。99パーセンタイル未満はほぼ安定している。動いているのは尾の方。
The 99.9th percentile turn duration nearly doubled, from under 25 minutes to over 45 minutes.
99.9パーセンタイルのターン継続時間はほぼ倍増した。25分未満から45分超へ。
解釈が慎重で、ここが読みどころ。
Notably, this increase is smooth across model releases. If autonomy were purely a function of model capability, we would expect sharp jumps with each new launch.
注目すべきは、この増加がモデルのリリースを跨いで滑らかであることだ。自律性がモデルの能力だけの関数なら、新しいリリースのたびに急な跳ね上がりが見られるはずである。
つまり伸びているのは能力ではなく信頼と使い方の側。社内データではさらに直接的で、8月から12月にかけて最も難しいタスクでの成功率が倍増する一方、セッションあたりの人間の介入回数は 5.4 → 3.3 に減少した。
Both measurements point to a significant deployment overhang, where the autonomy models are capable of handling exceeds what they exercise in practice.
どちらの測定も大きな deployment overhang を指している。すなわち、モデルが扱える自律性が、実際に行使されている自律性を超えている。
METR の評価（Opus 4.5 は人間なら約5時間かかるタスクを50%の成功率で完了できる）との比較も、直接比較できない理由つきで置かれている。METR は人間の介入も現実の帰結も無い理想化された設定での能力を測り、こちらは Claude が質問し人間が割り込む実際を測る。加えて METR の5時間はタスクの難しさであって、モデルが実際に走る時間ではない。
2. 熟練者は自動承認も割り込みも増やす（矛盾ではない）
| 新規（〜50セッション） | 熟練（750セッション） | |
|---|---|---|
| 完全自動承認の割合 | 約 20% | 40% 超 |
| ターンあたり割り込み率 | 約 5%（10セッション時点） | 約 9% |
Both interruptions and auto-approvals increase with experience. This apparent contradiction reflects a shift in users’ oversight strategy. New users are more likely to approve each action before it’s taken, and therefore rarely need to interrupt Claude mid-execution. Experienced users are more likely to let Claude work autonomously, stepping in when something goes wrong or needs redirection.
割り込みも自動承認も経験とともに増える。この見かけの矛盾は、ユーザーの監督戦略の転換を反映している。新規ユーザーは各行動を実行前に承認しがちなので、実行中に割り込む必要がめったにない。熟練ユーザーは Claude を自律的に働かせ、何かがおかしくなったときや方向転換が要るときに入る。
effective oversight doesn’t require approving every action but being in a position to intervene when it matters
有効な監督とは、すべての行動を承認することではなく、重要なときに介入できる位置にいることである。
公開 API でも同じ形が出ている。最小複雑度のタスク（1行のコード編集など）ではツール呼び出しの 87% に何らかの人間の関与があるのに対し、高複雑度のタスク（ゼロデイの自律的発見やコンパイラの作成など）では 67% にとどまる。理由は2つ挙げられている。手順が増えるほど1つずつの承認は構造的に非現実的になること、そして複雑なタスクは熟練ユーザーから不釣り合いに多く来ている可能性。
3. Claude 自身の停止の方が、人間の割り込みより多い
On the most complex tasks, Claude Code stops to ask for clarification more than twice as often as humans interrupt it.
最も複雑なタスクにおいて、Claude Code は人間が割り込むより2倍以上の頻度で、確認のために停止する。
| Claude が自分で止まる理由 | 人間が割り込む理由 |
|---|---|
| 提案した複数の方針から選ばせるため (35%) | 欠けている技術的文脈や訂正を与えるため (32%) |
| 診断情報やテスト結果を集めるため (21%) | Claude が遅い・固まっている・過剰 (17%) |
| 曖昧または不完全な要求を明確にするため (13%) | 十分な助けを得たので自分で進める (7%) |
| 欠けている認証情報・トークン・アクセスを求めるため (12%) | 次の手順を自分でやりたい（手動テスト、デプロイ、コミット等）(7%) |
| 行動前の承認・確認を得るため (11%) | 途中で要件を変えるため (5%) |
原典は自分の発見を過大評価しないよう釘を刺している —— Claude は正しい瞬間に止まっていないかもしれず、不要な質問をしているかもしれず、Plan Mode のような製品機能に影響されているかもしれない。その上で結論はこう置かれる。
Training models to recognize and act on their own uncertainty is an important safety property that complements external safeguards like permission systems and human oversight.
自身の不確実性を認識しそれに基づいて行動するようモデルを訓練することは、権限システムや人間の監督といった外部の安全策を補完する重要な安全特性である。
4. リスクの高い領域での使用は始まっているが、規模はまだ
公開 API 上のエージェントの行動の大半は低リスクで可逆。ソフトウェアエンジニアリングがエージェント活動の約50% を占める。医療・金融・サイバーセキュリティでの使用が立ち上がりつつある。
中心的な結論
Our central conclusion is that effective oversight of agents will require new forms of post-deployment monitoring infrastructure and new human-AI interaction paradigms that help both the human and the AI manage autonomy and risk together.
我々の中心的な結論は、エージェントの有効な監督には新しい形のデプロイ後の監視インフラと、人間と AI が自律性とリスクを一緒に管理することを助ける新しい人間-AI 相互作用のパラダイムが必要になる、というものである。
そのまま使える具体例
自分の監督の仕方が「新規型」か「熟練型」かを見分ける問い:
| 型 | 監督の仕方 |
|---|---|
| 新規型 | すべての行動を事前承認する → 実行中の割り込みはほぼ不要 |
| 熟練型 | 自律的に走らせる → おかしくなったとき・方向転換が要るときに入る |
後者へ移るときに増やすべきは「監視の密度」であって、下げるのは「承認の粒度」だけ。両方下げると監督ではなく放置になる。
原典で言及されている関連文書
- permission-modes — 自動承認と権限の設定
- claude-code-auto-mode — 自動承認まわりの信頼インフラ
- how-anthropic-teams-use-claude-code — 社内の使われ方