VCDesign 固有の拡張
AI 拡張
AI は判断を支援しますが、責任を持ちません。能力の大きさは権限を意味しません。
AI 統制は、芯の6つ(Δ・責任・境界・判断・宣言・指標)の外側に置いた、VCDesign 固有の拡張です。規範は policies.yaml(ai_extension、haltability)、metrics.yaml(ai_extension)、axioms.yaml(A3、A4)にあります。このページは docs/ai-extension.md の説明枠をもとにしています。
1. 前提:AI の導入は境界設計の問題
非連続な推論(AI)を、連続して動く現実のシステムにつなぐとき、説明できること・止められること・責任を失わないこと。これが AI 統制の中心の問いです。
AI は分析、パターンの検出、推奨、異常の検知、広がりの兆候の証拠集めをしてよく、自動分類や優先順位付けはレビューを条件に行えます。最終判断、責任の割り当て、Reframe・Retire・Expand の実行はしません。
2. 4つのループと時間スケール
| ループ | 役割 | 時間スケール | 主なリスク |
|---|---|---|---|
| Physical | 実行、安定、連続する動き | ミリ秒〜時間 | 現実の不安定化、取り返しのつかない被害 |
| Semantic | 解釈、Δ の意味づけ、非連続な推論 | 秒〜日 | ノイズを Δ と読む、意味のある変化を見落とす |
| Value | 目的、制約、最適化の方向 | 日〜四半期 | 目的の隠れた書き換え |
| Responsibility | 最終判断、停止、説明責任 | 即時〜ライフサイクル全体 | 止められない運用、責任の消失 |
- ループを一つの時計に潰しません。速いループは遅いループの制約を書き換えません(公理 A4)。意味の更新は価値のレビューを迂回しません。
- 遅い統治のループは、いつでも速い実行のループを止められます。
- 各ループで許される構成要素と禁じられる構成要素は
policies.yaml ai_extension.loopsにあります。
3. LLM の配置
LLM は主に Semantic ループに置きます。解釈し推奨してよいですが、物理の制御、目的の設定、最終権限は持たせません。LLM の出力が現実に作用する前には、明示的なゲートを置きます(ai_extension.llm_placement)。
4. モデルとエージェント、実行前のゲート
| 観点 | モデル | エージェント |
|---|---|---|
| 作用範囲 | 出力テキスト、分類、推論 | ツール実行、外部システムへの書き込み、連鎖操作 |
| 時間軸 | 単一の推論 | 複数ステップ、長時間の動作 |
| 境界の数 | 入力と出力の2面 | 操作ごとに境界が生じる |
| 責任経路 | 最終判断者が1層上 | 判断者が複数ステップに散らばる |
| 停止の難しさ | 低い | 高い(実行途中の安全な中断が要る) |
計画が合理的であることと、実行が許可されていることは別です。エージェントには、実行の前に次を確かめるゲートを置きます(ai_extension.agent_execution_gate)。
- 行動が宣言された権限の内側にある(責任境界 B17 Impact ↔ Accountability)
- 責任を持つ主体が特定されている
- 可逆性が宣言されている。不可逆なら最大損失が宣言されている
- 開始前に停止責任者が指名されている
避けるのは、LLM から実行機器への直接の経路、目的の黙った書き換え、エージェントの計画を実行の承認として扱うこと、の3つです。supervisor は責任の最終収束点で、最終判断を AI に委ねません。
5. 停止できること
停止できることは、責任統治が成り立つための条件です(policies.yaml haltability)。
- すべての運用経路に、名前のある停止責任者がいる
- 緊急停止は、必須でない自動化を迂回する
- 人間による上書きは、劣化した状況でも働く
- 巻き戻し先、または安全な状態が定義されている
- 停止の後に、理由と責任をレビューして記録する
6. 外部説明のための5層
4つのループを、外部に説明するために5層に並べ直したものです。規範は4つのループの側にあります。
| 層 | 内容 | 対応 |
|---|---|---|
| 5. Human Sovereignty | 人間が最終的に介入・停止・説明できる | Responsibility ループ、haltability |
| 4. Time | 時間スケールの分離と、遅いループの保護 | temporal_separation |
| 3. Responsibility | 誰が何を保有し、説明するか | 責任、担当交代の記録 |
| 2. Agent | 実行境界、ツール制御、複数エージェントの協調 | 境界パターン、agent_execution_gate |
| 1. Model | 推論・解釈・提案(出力のみ、実行なし) | Semantic ループ |
下の層の能力は、上の層の統治なしに広げません。
7. 統治できる AI エージェントの12原則
- 能力は権限ではない — 推論や実行の能力は、承認の権限とは別である。
- 行動には境界が要る — 外部へ作用する範囲を、先に定義する。
- すべての行動に責任者を付ける — 責任者のいない自律は、組織では採用できない。
- 最終決定は人間に残す — AI は提案・分析・優先順位付けまで。
- ログは構造記憶である — なぜその判断になったかを、未来へ引き継ぐ。
- 局所最適より価値の継続 — 再利用・保守・引継ぎができ、信頼が積み上がる AI の方が価値が高い。
- 不確実性を隠さない — 迷っているときは、判定できないことを明示する(境界の guard:unknown)。
- 時間は第一級の制約 — 同じ判断でも、今すぐ・今週・来月・年次で最適解が変わる。
- エスカレーションは機能である — 人へ戻すことは能力不足ではなく、設計された安全機構である。
- 複数エージェントには憲法が要る — 優先順位、衝突解決、権限分離、共通の禁止事項。
- 交換可能性が主権を守る — 特定のベンダーやモデルへの過度な依存を避ける(指標 concentration)。
- 説明と責任 — 内部の推論は不透明でもよい。採用理由・実行履歴・責任経路・停止条件は説明できなければならない。
8. 関係する責任境界
| B# | 境界 | エージェントで問題になる場面 |
|---|---|---|
| B1 | Human ↔ AI Judgment | エージェントが自律的に判断を閉じる |
| B5 | Decision ↔ Action | 判断と実行の間のゲートが消える |
| B6 | Responsibility Assignment | 複数エージェントで責任が拡散する |
| B10 | Temporal | 長時間の動作で「今の判断」が永続する |
| B16 | Model ↔ Reality | エージェントの行動が学習データを汚染する |
| B17 | Impact ↔ Accountability | 影響範囲が権限を超える |
定義は taxonomy.md、一覧は registry.md にあります。
9. 成長の定義
AI の成長は、モデル能力の増大ではなく、責任制約の下での運用適合の改善として評価します(metrics.yaml ai_extension)。
製造現場での適用は事例:製造現場の AI エージェントを参照してください。