原典: Claude in Chrome is generally available
一行要約
ブラウザで動くエージェントは prompt injection に弱いので、モデルの訓練・ツール結果を走査する probe・実行前に行動を依頼と照合する分類器の3層で守り、行動ごとの承認なしに動かせるようにした。強い攻撃でも、probe と分類器を重ねると Sonnet 5 / Opus 5 では成功ゼロ、Fable 5 で0.3%。
要点
3つの防御
- Claude がより多くの攻撃を見抜く —— 社内の自動攻撃者・外部の red-teamer・実運用の監視から集めた攻撃のライブラリで訓練する。今のモデルに通った攻撃はライブラリに加えられ、次のモデルと配備中の防御の訓練に使われる
- probe が、Claude が行動する前に web の内容を走査する
Web content reaches Claude through tool results. … We train probes to scan those results for potential prompt injections. When a probe detects a likely attack, Claude is warned to treat the content with suspicion and, if needed, to check with you before taking an action.
web の内容はツール結果を通って Claude に届く。……私たちは、その結果に prompt injection の可能性がないかを走査する probe を訓練している。probe が攻撃らしきものを見つけると、Claude はその内容を疑ってかかるよう警告され、必要ならば行動の前にあなたに確かめる。
- 行動は実行前に確かめられる —— Claude in Chrome は、Claude Code の auto mode と同じ仕組みで安全と判断した行動を自動で承認する(設定で手動承認に戻せる)。分類器が、これからの行動(新しいサイトへの移動、ページへの入力など)を元の依頼と照合し、合わなければ止める
評価
- 古い評価(Claude in Chrome のパイロット時に作った、Claude Cowork の注入への強さを Cowork の harness で測るもの)では、Fable 5 / Opus 5 / Sonnet 5 に対して、probe と分類器なしでも攻撃は1つも通らなかったので、飽和したとして退役させた
- 今の評価(プロの red-teamer による強い攻撃)では、モデルに届いた攻撃の成功率は、追加の防御なしで Opus 4.5 が17.6%、Opus 5 が3.8%。最強の防御(probe つき)で Opus 4.5 は16.7%
- probe と安全分類器を重ねると、Sonnet 5 / Opus 5 では成功ゼロ、Fable 5 で0.3%(成功した攻撃はすべて低い重大度の場面だと手で確かめた)。Mythos 5 も成功ゼロとする文と、Sonnet 5 / Opus 5 だけを挙げる文が原典に並んでいる
- 成功率はモデルに届いた攻撃のうちの割合で、Opus 4.5 は extended thinking、他は adaptive thinking の medium で走らせた。以前の記事の結果は extended thinking なしで、当時の採点モデルはもう使えない(今回はより強い採点の仕組みと成功例の手での確認に移った)ので、11月の数字とそのまま比べられない
- すべての攻撃がモデルに届くわけではない —— Claude の行動の結果、悪意ある指示に出会わないこともある。Opus 4.5 は届く攻撃が少なかったが、成功率は最も高かった
Prompt injection remains a moving target. While this approach defends against current attacks, we also need to ensure our safeguards stay ahead of the evolving methods of attackers.
prompt injection は動き続ける標的である。 この方法は今の攻撃を防ぐが、防御が攻撃者の進化する手口の先を行き続けるようにもしなければならない。
使い方の範囲
Chrome ウェブストアから入れる。Enterprise では管理者が組織の設定で管理し、承認したドメインに限れる。手元のファイルや他のアプリを扱うには Claude のデスクトップアプリが要る。 Chromium 系の他のブラウザやモバイルではまだ動かない。
そのまま使える具体例
(原典はコマンドや設定例を持たない)
原典で言及されている関連文書
- mitigate-jailbreaks — prompt injection