原典: Working at the frontier: How Balyasny Asset Management evaluates and governs Claude Fable 5
一行要約
運用会社 BAM は、一般のベンチマークではなく、答えの確かめられる数千の実際の金融タスクで新しいモデルを評価し、統制をモデルそのものではなくモデルの周りに置く。より賢いモデルだからといって広い権限は与えない。
要点
評価 —— 実タスクで、単体と環境の中の両方
We test new models on thousands of real-world financial tasks with verifiable outcomes, across equities, macro, and commodities, rather than relying on general benchmarks or isolated demonstrations.
新しいモデルは、株式・マクロ・コモディティにまたがる、結果を確かめられる数千の実際の金融タスクで試す。一般のベンチマークや単発のデモには頼らない。
- モデル単体と、利用者と同じツール・ファイル・要件を持つエージェント環境の中の両方で試す（計画、ツールの選択と使用、証拠の発見と分析、誤りからの回復、途中結果の確認、根拠のある成果物）
- 数値の誤り、取りこぼし、根拠の無い結論、検索の問題のような特定の失敗の型も見る
- 関係する部分集合で Fable 5 は 89.4%（それまでの本番モデルは 86.1%）。どのモデルも解けなかった経済学の問題を解いたとき、まず評価の誤りを疑い、再実行し、タスクと採点の論理を独立に確かめ、Anthropic とも確認してから本物と結論した
統制はモデルの周りに
That means putting controls around the model rather than assuming the model itself is the control.
それは、モデル自体を統制だとみなすのではなく、統制をモデルの周りに置くことを意味する。
承認されたデータの境界、最小権限、ツール単位の権限、ログと追跡、重要な出力の人のレビュー、例外の明確な上げ先。広げる前に敵対的・失敗の場面を試す。
Those controls were a day-one priority, and security did not fundamentally change with Fable.
それらの統制は初日からの優先事項で、Fable になってもセキュリティは根本的には変わらなかった。
A more capable model does not receive broader authority simply because it can reason or plan more effectively. Models can use only the tools and data sources approved for that user and task, and they cannot grant themselves more access.
より上手に推論や計画ができるからといって、より能力の高いモデルが広い権限を受け取るわけではない。 モデルはそのユーザーとタスクに承認されたツールとデータ源しか使えず、自分でアクセスを広げることはできない。
役割の分担
計画と分析の段に最も強いモデルを置く —— そこでの誤りは、後に続くすべての成果物に流れるため。結果は「モデルが推論・統合・多段の問題解決を、自社の harness がワークフロー設計・承認されたデータとツール・権限・監視・人のレビューを受け持ち、本番の品質には両方が要る」。
事例: 合併裁定の分析パッケージが3〜5日から1日未満（エージェントは約30分走り、重要な出力は人がレビューしてから使う）、中央銀行の定例分析が約2日から約30分（判断はエコノミストに残す）。
そのまま使える具体例
評価で見ること（原典の問いを並べたもの）:
- 計画できるか / 正しいツールを選んで使えるか / 証拠を見つけて分析できるか / 誤りから回復できるか / 途中結果を確かめるか / 根拠のある成果物を出すか
- 数値の誤り・取りこぼし・根拠の無い結論・検索の問題が無いか
原典で言及されている関連文書
（原典は他の sources へのリンクを本文に持たない）