一行要約
作業するエージェントと判定するエージェントを分けるのが最も強いレバーであり、その効果は主観的な品質（フロントエンドのデザイン）ですら採点可能にするが、コストは 20 倍になりうるので「evaluator を置くかどうか」自体が判断の対象になる。
要点
Harness design is key to performance at the frontier of agentic coding. エージェント的コーディングの最前線では、harness の設計が性能を左右する。
素朴な実装が失敗する理由
Claude Sonnet 4.5 は “context anxiety”（context への不安）を示し、compaction だけでは足りず context のリセットが必要だった。
主観的な品質を採点可能にする — フロントデザインの4基準
Separating the agent doing the work from the agent judging it proves to be a strong lever（自己評価バイアスへの対処）
| 基準 | 問い |
|---|---|
| Design quality | 部品の寄せ集めではなく、一貫した全体として感じられるか |
| Originality | 独自の判断の痕跡があるか。それともテンプレのレイアウト、ライブラリの既定値、AI 生成のパターンか |
| Craft | タイポグラフィの階層、余白の一貫性、色の調和、コントラスト比 |
| Functionality | 美しさとは独立した使いやすさ |
1回の生成につき 5〜15 回の反復。フルの実行は 最大4時間に及んだ。
フルスタックへの拡張 — 3エージェント構成
| エージェント | 役割 |
|---|---|
| Planner | 1〜4文のプロンプトを完全なプロダクト仕様に展開する |
| Generator | 機能をスプリント単位で実装する（React、Vite、FastAPI、SQLite → 後に PostgreSQL） |
| Evaluator | Playwright MCP を使ってアプリケーションをテストする |
ゲームメーカーの例: 仕様は 10 スプリントにわたる 16 機能。スプリント3（レベルエディタ）だけで 27 のテスト基準。
コストの実測（ここが最も実務的）
| 構成 | 時間 | コスト |
|---|---|---|
| 単独実行（harness なし） | 20 分 | $9 |
| フル harness | 6 時間 | $200（20倍） |
DAW（ブラウザ上の DAW）の harness v2 の内訳:
| フェーズ | 時間 | コスト |
|---|---|---|
| Planner | 4.7 分 | $0.46 |
| Build Round 1 | 2時間7分 | $71.08 |
| QA（3ラウンド） | — | $10.39 |
| 合計 | 3時間50分 | $124.70 |
The evaluator is not a fixed yes-or-no decision. It is worth the cost when the task sits beyond what the current model does reliably solo. evaluator を置くかどうかは、固定の yes/no ではない。現在のモデルが単独で確実にこなせる範囲を超えたタスクでこそ、コストに見合う。
evaluator を置くかどうかは固定の判断ではない。 現在のモデルが単独で確実にこなせる範囲を超えたタスクのときにだけ、コストに見合う。
QA の粒度
失敗レポートが具体的な差分の形になっているのが要点。
Rectangle fill tool allows click-drag to fill a rectangular area with selected tile — FAIL — Tool only places tiles at drag start/end points instead of filling the region. 矩形塗りつぶしツールは、ドラッグで矩形領域を選択中のタイルで塗りつぶせること — 失敗 — ツールは領域を塗りつぶさず、ドラッグの始点と終点にしかタイルを置かない。
そのまま使える具体例
Planner に渡す最小のプロンプト（1〜4文で足りるという設計）:
Create a 2D retro game maker with features including a level editor, sprite editor, entity behaviors, and a playable test mode.Build a fully featured DAW in the browser using the Web Audio API.フロントエンドの採点基準（そのまま evaluator の rubric に使える）:
Design quality: Does the design feel like a coherent whole rather than a collection of parts?
Originality: Is there evidence of custom decisions, or is this template layouts, library defaults, and AI-generated patterns?
Craft: Typography hierarchy, spacing consistency, color harmony, contrast ratios
Functionality: Usability independent of aestheticsQA の失敗レポートの書式（期待 — 判定 — 実際に何が起きたか）:
<criterion> — FAIL — <what the tool actually did instead>harness を置くかの判断:
タスクが現在のモデルの単独実行で確実に解ける範囲内 → harness なし（20分 / $9）
その範囲を超えている → 3エージェント harness（6時間 / $200）原典で言及されている関連文書
- effective-harnesses-for-long-running-agents — 先行する harness 設計（feature list / progress / init.sh）
- building-effective-agents — evaluator-optimizer パターンの原型
- effective-context-engineering-for-ai-agents — context anxiety と compaction の背景
- demystifying-evals-for-ai-agents — rubric による model-based grading
- claude-prompting-best-practices — frontend design の steer
未取得の派生リンク
- https://github.com/anthropics/claude-code/blob/main/plugins/frontend-design/skills/frontend-design/SKILL.md — frontend design skill の実物
- https://platform.claude.com/docs/en/agent-sdk/overview — Claude Agent SDK
- https://www.anthropic.com/news/introducing-anthropic-labs — Anthropic Labs