原典: Clio: A system for privacy-preserving insights into real-world AI use
一行要約
個々の会話を人間が読まずに、全体としての使われ方を見るための自動分析ツール。measuring-agent-autonomy が「privacy-preserving tool」と呼んでいるものの本体で、あの実測の方法論を理解するにはここを読む必要がある。
要点
何を解こうとしているか
There’s also a crucially important factor standing in the way of a clear understanding of AI model use: privacy. (…) How, then, can we research and observe how our systems are used while rigorously maintaining user privacy?
AI モデルの利用を明確に理解する上で、決定的に重要な障害がもう一つある。プライバシーである。（略）では、ユーザーのプライバシーを厳格に保ちながら、システムがどう使われているかをどうやって研究し観察できるのか。
従来の安全性への取り組みとの違いが明示されている。
Traditional, top-down safety approaches (such as evaluations and red teaming) rely on knowing what to look for in advance. Clio takes a different approach, enabling bottom-up discovery of patterns by distilling conversations into abstracted, understandable topic clusters.
従来のトップダウンな安全性手法（評価や red teaming など）は、何を探すかを事前に知っていることに依存する。Clio は異なる手法を取り、会話を抽象化された理解可能な話題クラスタへ蒸留することで、パターンのボトムアップな発見を可能にする。
4段の処理（すべて Claude が実行する）
| 段階 | 内容 |
|---|---|
| Extracting facets | 各会話から複数の facet（話題、往復回数、使用言語などの属性）を抽出 |
| Semantic clustering | 似た会話をテーマや話題で自動的にまとめる |
| Cluster description | 各クラスタに、生データの共通テーマを捉えつつ私的情報を除いた題名と要約を付ける |
| Building hierarchies | クラスタを多階層に組織し、分析者が探索できる対話的な画面に載せる |
These four steps are powered entirely by Claude, not by human analysts. This is part of our privacy-first design of Clio, with multiple layers to create “defense in depth.”
この4段階は完全に Claude によって駆動され、人間の分析者によるものではない。これは Clio のプライバシー優先設計の一部であり、「多層防御」を作るための複数の層を持つ。
多層防御の中身が3つ挙がる。Claude に私的な詳細を省くよう指示すること、固有ユーザー数・会話数の最小閾値を設けて低頻度の話題（個人に固有でありうる）が露出しないようにすること、そして表示前に Claude がクラスタ要約に過度に具体的または識別可能な情報が含まれていないか検証すること。
実際に見えたこと（claude.ai の100万会話）
| 分類 | 割合 |
|---|---|
| Web / モバイルアプリ開発 | 10% 超 |
| 教育（教えること・学ぶこと） | 7% 超 |
| 事業戦略・運営 | 6% 近く |
小さなクラスタが数千あることも報告され、夢の解釈・サッカーの試合分析・防災・クロスワードのヒント・D&D・「strawberry の r の数を数える」などが例示されている。
言語ごとに使われ方が変わることも facet から見えており、各言語の全体出現率を基準線として、その言語が不釣り合いに多く現れる話題を特定する方法を取っている。
安全性への使い方と、その制限
Trust and Safety チームが話題クラスタを見て利用規約違反の可能性がある領域を特定し、必要に応じて個別アカウントの審査に進む。原典はこの種の審査を正当な Trust and Safety 上の必要がある者に厳しく限定していると明記している。
原典で言及されている関連文書
- measuring-agent-autonomy — この基盤を使ってエージェントの自律性を実測した続き