VCDesign 固有の拡張

AI 拡張

AI は判断を支援しますが、責任を持ちません。能力の大きさは権限を意味しません。

AI 統制は、芯の6つ(Δ・責任・境界・判断・宣言・指標)の外側に置いた、VCDesign 固有の拡張です。規範は policies.yaml(ai_extension、haltability)、metrics.yaml(ai_extension)、axioms.yaml(A3、A4)にあります。このページは docs/ai-extension.md の説明枠をもとにしています。

1. 前提:AI の導入は境界設計の問題

非連続な推論(AI)を、連続して動く現実のシステムにつなぐとき、説明できること・止められること・責任を失わないこと。これが AI 統制の中心の問いです。

AI は分析、パターンの検出、推奨、異常の検知、広がりの兆候の証拠集めをしてよく、自動分類や優先順位付けはレビューを条件に行えます。最終判断、責任の割り当て、Reframe・Retire・Expand の実行はしません。

2. 4つのループと時間スケール

ループ役割時間スケール主なリスク
Physical実行、安定、連続する動きミリ秒〜時間現実の不安定化、取り返しのつかない被害
Semantic解釈、Δ の意味づけ、非連続な推論秒〜日ノイズを Δ と読む、意味のある変化を見落とす
Value目的、制約、最適化の方向日〜四半期目的の隠れた書き換え
Responsibility最終判断、停止、説明責任即時〜ライフサイクル全体止められない運用、責任の消失

3. LLM の配置

LLM は主に Semantic ループに置きます。解釈し推奨してよいですが、物理の制御、目的の設定、最終権限は持たせません。LLM の出力が現実に作用する前には、明示的なゲートを置きます(ai_extension.llm_placement)。

4. モデルとエージェント、実行前のゲート

観点モデルエージェント
作用範囲出力テキスト、分類、推論ツール実行、外部システムへの書き込み、連鎖操作
時間軸単一の推論複数ステップ、長時間の動作
境界の数入力と出力の2面操作ごとに境界が生じる
責任経路最終判断者が1層上判断者が複数ステップに散らばる
停止の難しさ低い高い(実行途中の安全な中断が要る)

計画が合理的であることと、実行が許可されていることは別です。エージェントには、実行の前に次を確かめるゲートを置きます(ai_extension.agent_execution_gate)。

避けるのは、LLM から実行機器への直接の経路、目的の黙った書き換え、エージェントの計画を実行の承認として扱うこと、の3つです。supervisor は責任の最終収束点で、最終判断を AI に委ねません。

5. 停止できること

停止できることは、責任統治が成り立つための条件です(policies.yaml haltability)。

6. 外部説明のための5層

4つのループを、外部に説明するために5層に並べ直したものです。規範は4つのループの側にあります。

層内容対応
5. Human Sovereignty人間が最終的に介入・停止・説明できるResponsibility ループ、haltability
4. Time時間スケールの分離と、遅いループの保護temporal_separation
3. Responsibility誰が何を保有し、説明するか責任、担当交代の記録
2. Agent実行境界、ツール制御、複数エージェントの協調境界パターン、agent_execution_gate
1. Model推論・解釈・提案(出力のみ、実行なし)Semantic ループ

下の層の能力は、上の層の統治なしに広げません。

7. 統治できる AI エージェントの12原則

  1. 能力は権限ではない — 推論や実行の能力は、承認の権限とは別である。
  2. 行動には境界が要る — 外部へ作用する範囲を、先に定義する。
  3. すべての行動に責任者を付ける — 責任者のいない自律は、組織では採用できない。
  4. 最終決定は人間に残す — AI は提案・分析・優先順位付けまで。
  5. ログは構造記憶である — なぜその判断になったかを、未来へ引き継ぐ。
  6. 局所最適より価値の継続 — 再利用・保守・引継ぎができ、信頼が積み上がる AI の方が価値が高い。
  7. 不確実性を隠さない — 迷っているときは、判定できないことを明示する(境界の guard:unknown)。
  8. 時間は第一級の制約 — 同じ判断でも、今すぐ・今週・来月・年次で最適解が変わる。
  9. エスカレーションは機能である — 人へ戻すことは能力不足ではなく、設計された安全機構である。
  10. 複数エージェントには憲法が要る — 優先順位、衝突解決、権限分離、共通の禁止事項。
  11. 交換可能性が主権を守る — 特定のベンダーやモデルへの過度な依存を避ける(指標 concentration)。
  12. 説明と責任 — 内部の推論は不透明でもよい。採用理由・実行履歴・責任経路・停止条件は説明できなければならない。

8. 関係する責任境界

B#境界エージェントで問題になる場面
B1Human ↔ AI Judgmentエージェントが自律的に判断を閉じる
B5Decision ↔ Action判断と実行の間のゲートが消える
B6Responsibility Assignment複数エージェントで責任が拡散する
B10Temporal長時間の動作で「今の判断」が永続する
B16Model ↔ Realityエージェントの行動が学習データを汚染する
B17Impact ↔ Accountability影響範囲が権限を超える

定義は taxonomy.md、一覧は registry.md にあります。

9. 成長の定義

AI の成長は、モデル能力の増大ではなく、責任制約の下での運用適合の改善として評価します(metrics.yaml ai_extension)。

製造現場での適用は事例:製造現場の AI エージェントを参照してください。