自己組織化と「環境への盲目性」——なぜシステムは危険信号を見落とすのか
現代社会で繰り返される大規模リスクの見落としは、単なる「情報不足」や「担当者のミス」では説明できない。水俣病から福島原発事故、COVID-19パンデミックの対応遅延、自動運転車の死亡事故まで、構造的に共通するパターンがある。それは、自己組織化した閉鎖的システムが環境からの異常信号を処理できないという問題である。
本記事では、複雑系・オートポイエーシス理論・社会システム論・安全学・政策過程論を横断する「環境への盲目性」という概念を軸に、その発生メカニズムと、リスク管理・科学コミュニケーション・政策立案における制度設計上の含意を整理する。
「閉鎖的システム」と「環境への盲目性」はどう定義されるか
閉鎖性は孤立とは異なる
まず重要な概念整理として、「閉鎖的システム」は熱力学的な孤立系（完全に外部と遮断されたシステム）を意味しない。ここで問題にするのは、作動上・認知上・制度上・コミュニケーション上の選択境界を持つシステムのことである。
ルーマンの社会システム論が明確にしたように、社会システムは「作動上閉鎖（operationally closed）」でありながら、環境と「構造的カップリング（structural coupling）」の関係にある。つまり環境からの情報は完全に遮断されているのではなく、システムが内部コード・既存モデル・制度的利害を通じてのみ翻訳・処理される。これが「環境への盲目性」の本質的な意味である。
盲目性の4つの次元
この定義に立つと、盲目性は少なくとも四つの次元に分けて把握できる。第一に観測上の盲目性であり、測っていない、あるいは測っても上げていない信号がある状態である。第二に認知上の盲目性であり、信号は見えていても既存の因果モデルや分類に回収されて異常として認識されない。第三に制度上の盲目性であり、責任分散や規制捕捉、法的カテゴリの不整合によって是正行動が起動しない。第四に倫理上の盲目性であり、被害の分布、脆弱性、当事者の知識が意思決定で過小評価される状態である。
これら4次元は独立に存在するのではなく、相互に強化し合う。観測されない信号は認知されず、認知されない異常は制度上で処理されず、制度的に処理されない被害は倫理的にも不可視化される。
自己組織化はなぜ必然的に盲点を生むのか
秩序形成には「差異選択の規則」が必要
Prigogineが示した散逸構造論では、非平衡状態における内部相互作用から秩序が生じる。Varela・Maturana・Uribeが定式化したオートポイエーシスでは、生体システムは自らの要素を自ら産出して維持する。Hollandの複雑適応系論はこれを社会・計算領域にも拡張した。
これらに共通するのは、秩序形成には必ず「何を保持し何をノイズとして捨てるか」を決める選択規則が必要だという点である。したがって、盲目性は自己組織化の「失敗の外部」にあるのではなく、自己組織化の「条件の内部」に組み込まれている。問題は、ある選択規則がどの環境に対して過適応し、いつ更新不能になるか、という動態にある。
ルーマン社会システム論が示す「観察の観察」の必要性
「環境への盲目性」とは単なる情報不足ではない。むしろ、観察そのものが必ず盲点を伴うという第二次観察の問題である。システムは、自分が何を見ていないかを自力では完全には見られない。だからこそ、外部監査、異議申立て、越境的対話、競合モデルの導入といった、システムの観察を観察する制度が必要になる。
この「第二次観察の制度化」こそが、後述する政策提言の核心に直結する。
社会技術システム・安全論・リスク社会論からの視点
事故は「部品の故障」ではなく「制御構造の破綻」から生まれる
Levesonは、現代の複雑な社会技術システムにおける事故は、従来のイベント連鎖型因果モデルでは説明できず、組織的・社会的・政治的要因を含む新しい事故因果モデルが必要だと論じた。Hollnagelも、Safety-I（事後的な事故分析）からSafety-II（日常の変動管理・レジリエンス重視）へのパラダイム転換を提唱している。
この視点では、盲目性は「誤った個人」ではなく、どの変動が安全な範囲を超えつつあるかを検出できない統治構造として現れる。
リスクは「危険の選択的可視化」である
Beckのリスク社会論は、現代社会の中心問題が、近代化が自ら生み出すリスク（manufactured risks）の分配になったと捉える。Slovicの研究は、危険の評価が単純な確率計算ではなく、恐怖・制御可能性・未知性によって形作られることを示した。DouglasとWildavskyはさらに、社会と文化が「どのリスクを重要とみなすか」を選別すると論じた。
これらを総合すると、盲目性とは「危険が見えない」状態ではなく、危険の選択的可視化が起こるメカニズムとして理解すべきものである。
4つのケーススタディから見る「盲目性」の共通構造
水俣病——制度の耳が聞かなかった環境の声
水俣病では、1951年時点で水俣湾の魚介類の死亡・変形が目立ち、1956年には公式確認、1957年には熊本県衛生部が工場廃液の関与を疑っていた。しかし厚生省は1957年、食品衛生法の適用による水俣湾産魚介類販売禁止はできないと回答し、1968年の政府統一見解まで、対策は決定的に遅れた。
さらに1959年には原因企業側でネコ400号実験が発症を示しながらも、企業は有機水銀説への反論文を提出し、実験を中止させた。異常信号は確かに存在していた。しかし、法的適用条件・企業利害・証拠の公認ルートに回収されない限り、それは政策的な信号にはならなかった。環境の声は存在していたが、制度の耳がそれを聞かなかった。
福島第一原発事故——「知っていても動かなかった」閉鎖性
国会事故調は「The TEPCO Fukushima Nuclear Power Plant accident was the result of collusion between the government, the regulators and TEPCO」と明言し、典型的な regulatory captureを指摘した。NISAとTEPCOが津波超過時の炉心損傷リスクを認識していたにもかかわらず、規制改正も国際標準への整合も進めず、対策を先送りした。
福島の盲目性は「危険を知らなかった」ことではなく、知っていても組織のリスク登録・行動トリガーに変換しなかったことにある。TEPCOは原子炉停止や対外信頼低下をリスクとして管理しながら、重大事故そのものは中核的リスクとして扱っていなかった。さらに、危険状態の説明を受けた下請け労働者がほとんどいなかったことも示されており、情報の階層的不均衡が被害を増幅した。
COVID-19の空気感染認識の遅れ——既存モデルが新証拠の受容を遅らせた
WHOは2020年7月の科学ブリーフで、混雑し換気の悪い屋内空間では短距離のエアロゾル伝播を排除できないとしつつ、なお飛沫・接触の説明枠を維持した。その後CDCは2021年5月、感染は主として感染性呼吸液への曝露で起こり、その主要経路として「非常に細かい飛沫・エアロゾル粒子の吸入」を位置づけ、6フィートを超えた空気経由感染も起こりうると整理した。
この変化は、単なる知識の増加というより、証拠評価の閾値と既存モデルの更新速度の問題として理解するのが適切である。不確実性が制度的に適切に表現されないとき、科学コミュニケーションは「慎重さ」と「遅さ」を取り違えられやすい。
Uber自動運転死亡事故——アルゴリズムと制度の複合的盲目性
Uberの自動運転死亡事故では、ADSは衝突5.6秒前に歩行者を検知していたが、最後まで正確な分類と進路予測ができず、しかも設計上emergency brakingは衝突回避に使われなかった。NTSBは、Uber ATGの不十分なsafety risk assessment、vehicle operatorsへのineffective oversight、automation complacencyへの対策欠如、そしてそれらの背後にあるinadequate safety cultureを主要な寄与要因として挙げた。
ここでの盲目性はアルゴリズムの誤認識だけにとどまらない。設計冗長性の除去・人間監視への過信・規制の空白が重なった社会技術的盲目性である。
4事例に共通する3段階の盲目性進行プロセス
4事例を横断すると、盲目性は共通して3段階で進行する。
まず、環境からの初期シグナルが「逸話」「局所的例外」「規格外の入力」として処理される。次に、組織内部でそのシグナルが既存の責任分担・法制度・業績指標に翻訳されない。最後に、外部公表や政策修正が遅延し、危機後にのみ大幅な制度転換が起こる。
決定的なのは、異常が存在したか否かではなく、異常を異常として定着させる制度があったか否かである。
盲目性を抑制するための制度設計——政策的・倫理的含意
「全面的開放」ではなく「設計された透過性」が鍵
理論と事例から導かれる第一の示唆は、閉鎖性をゼロにする政策は誤りだということである。複雑系は選択なしには作動できない。必要なのは「全面的開放」ではなく、設計された透過性である。内部の自己組織化を保ちながら、盲点が累積する局面にだけ強制的な外部接続を起動させる仕組みが要る。
この原則のもとに、以下の制度設計が導き出される。
第二次観察の制度化——外部監査・レッドチーム・異議申立てログ
システムは自らの盲点を自力では見られない。だからこそ、外部監査・独立委員会・レッドチーム・異議申立てログの制度化によって「観察の観察」を恒常化する必要がある。これはOECDのanticipatory governance、UNESCO AI倫理勧告のauditability・traceability要求と方向性を共有している。ただし、形式化や審査遅延、責任の外部委託化というリスクもあるため、「第二次観察」自体が機能する条件設計が必要である。
複数モデル比較と可逆的閾値の導入
単一因果モデルへの過適応が盲目性を深める。リスク評価手法は「平均的想定」から「境界条件の破れ」に重心を移し、競合仮説・外れ値・運用逸脱を扱うストレステストを組み込むべきである。EUの予防原則が示すように、深刻・不可逆の被害可能性があるとき、科学的確実性の欠如は対策延期の理由にならない。
先行指標（Leading Indicators）に基づく多層モニタリング
事故件数や被害件数のような事後指標（lagging indicators）中心のモニタリングから、盲目性の兆候を早期に検知する先行指標へのシフトが必要である。具体的には以下のような指標が考えられる。
- 未処理異常の滞留時間
- 外部警告と内部リスク登録の乖離
- 現場からの異議（dissent）の未解決期間
- 手動介入やオーバーライドの増加頻度
- 被害集中の偏在指標
重要なのは、これらを単なるKPIとしてではなく、盲目性の兆候として扱うことである。
不確実性を明示するリスクコミュニケーション
Wynneのチェルノブイリ後研究が示すように、科学知識の受容は知識量よりも信頼・社会関係・ローカル知の扱いに依存する。O’Neillが論じるように、透明性の量的増加は信頼の自動的増加を意味しない。必要なのは、①誰が決めたか、②どの不確実性が残るか、③どの条件で方針が見直されるか、④誰が異議申立てできるか、を追跡可能にする構造化された説明責任である。
参加型ガバナンスによる早期警戒装置の構築
当事者・地域住民・利用者・現場職員がしばしばシステムの外部にしか見えない異常を最初に把握する。したがって、市民監視、労働者報告、患者・住民の通報経路、専門家以外の知見を受け止めるフォーラムは、手続的公正のためだけでなく、実質的な早期警戒装置でもある。
ただし、代表性の偏り・参加疲労・感情的極化の問題があるため、参加はイベントとしてではなく、フィードバック・応答義務・再審査トリガーと結びついた制度として設計する必要がある。
まとめ——盲目性管理の「横断原理」へ
本記事で見てきたように、自己組織化した閉鎖的システムの「環境への盲目性」は、情報不足の問題ではなく、情報処理の制度設計の帰結である。水俣病・福島原発・COVID-19・自動運転事故という異質な4事例が示すのは、盲目性が発生する構造的メカニズムの普遍性である。
対策として求められるのは、データ量を増やすことだけでなく、誰が何を異常として記録できるのか、どの時点で外部レビューが義務化されるか、どの不確実性が公表対象か、といったルールの再設計である。
厚労省の2024年リスクコミュニケーションガイドライン、MEITのAI事業者ガイドライン、OECDのanticipatory governance、UNESCO AI倫理勧告はいずれもこの方向性を支持している。必要なのは、これらを個別分野のガイドラインに留めず、盲目性管理の横断原理として制度的に統合することだろう。
コメント