はじめに：なぜ「拡張認知」と「MARL」を統合する必要があるのか
複数のエージェントが協調して行動を学習するマルチエージェント強化学習（MARL）は、これまで各エージェントの内部状態や通信設計を中心に発展してきました。しかし、外部メモリや共有ツール、掲示板のような「環境側の資源」をどう扱うかについては、体系的な枠組みがまだ十分ではありません。ここで手がかりになるのが、認知科学における「拡張認知（Extended Cognition）」の考え方です。本記事では、拡張認知の理論的背景を踏まえつつ、それをMARLの計算モデルへ落とし込む際の考え方を、外部記憶・共有表象・通信・評価設計という観点から整理します。
拡張認知とは何か：外部資源は認知の一部になりうるという発想
拡張認知の議論の出発点は、Clark と Chalmers による “The Extended Mind” にあります。彼らは、外部資源が認知的に統合される中心事例として、恒常的に利用され、容易にアクセスでき、取得後に自動的に信頼される外部記憶を挙げています。有名な「Ottoのノートブック」の例では、外部記憶が行為を導く常時資源として働くとき、それは単なる補助ではなくstanding beliefの担い手になりうるとされています。
この発想を数量化する上で参考になるのが、Zhang & Norman や Hollan・Hutchins・Kirsh による分散認知の系譜です。Zhang & Normanは、内的表象空間と外的表象空間が合成されてdistributed representational spaceを作ると整理しました。またHollanらは、認知が内部資源だけでなく、対象物・アーティファクト・手元の素材といった外部資源との多時間スケール協調として展開するとしています。これらは、局所観測・隠れ状態・共有メモリ・通信・環境オブジェクトを一体の表象系としてMARLに組み込む際の理論的な足がかりになります。
MARLの基本パラダイム：CTDEと代表的アルゴリズム
MARLにおける協調学習の主要な枠組みは、CTDE（Centralized Training with Decentralized Execution）です。CTDEは訓練時には中央情報を利用しつつ、実行時には各エージェントの局所情報だけで動くという整理がなされており、実行時通信を必須とせずスケーラブルである一方、手法依存のバイアスや表現制約を抱えるとされています。
値分解系のアルゴリズムとしては、QMIXが単調mixingによりdecentralized argmaxとcentralized Q学習を両立させる手法として知られ、実用性に優れる一方、単調性制約のため非単調な協調構造では限界があるとされます。この限界を緩和する手法として、QTRANやQPLEXがQMIXの表現制約を緩め、より広いfactorizationを実現するものとして位置づけられます。
方策勾配系では、YuらによるMAPPOが、PPO系でも協調MARLに強力なベースラインになりうることをMPE・SMAC・Hanabi・GRFの複数環境で示しました。連続制御では、FACMACがMADDPGよりも中央化された方策勾配をより完全に使うことを狙い、離散・連続の両方で有効性を示した手法として紹介されています。通信学習の分野では、TarMACが宛先付き通信を、IMACが情報ボトルネックを用いた通信を提案しており、共有メモリを介した協調ではPesce & Montanaによるmemory-driven communicationが、共有メモリへのread/writeを通じて協調を改善する先行研究として位置づけられます。
拡張認知MARLの計算モデル：外部記憶・共有表象・遅延をどう扱うか
拡張認知の考え方をMARLに統合する上で重要なのは、外部記憶を「観測の後段で読む付加情報」としてではなく、観測生成そのものの一部として組み込むという発想です。具体的には、環境の潜在状態に加えて、外部ツールや環境アーティファクトの状態、そして複数エージェントが共有する外部記憶の状態を、拡張された状態空間の一部として定義します。
外部記憶とツールの表現
外部記憶は、複数のスロットを持つ行列として表現し、各エージェントがクエリを用いてアテンション形式で読み出す設計が考えられます。これはDNC型のread/write外部メモリやアテンションメモリの発想と整合的であり、微分可能な形で学習に組み込みやすいという特徴があります。書き込み側もerase/add形式にすることで、情報の上書きや消去を自然に扱えます。
共有表象とトランスクリエーション
エージェント間で情報を共有する際、生の観測をそのまま送るのではなく、意味構造を保持しながら記号系や粒度、モダリティを変換して共有するという操作が考えられます。翻訳研究における拡張認知・分散認知の議論では、Riskuらの動的ネットワーク・モデルが翻訳行為をcognition・action・social network・artefacts・environment・timeが構成的に織り込まれたプロセスとして捉えていることが示されており、この発想はMARLにおいて観測を地図・計画・ラベル・役割といった形へ再符号化して共有する過程に近いと考えられます。
注意配分と認知カップリング
外部記憶を「単にメモリがある」状態と、実際に認知的に統合されている状態とを区別するためには、各エージェントについて、必要時にアクセス可能かどうか、読み書きの成功率、取得情報をどれだけ行為選択に重く使うか、実際の参照頻度といった観点を組み合わせて評価する仕組みが有効と考えられます。こうした指標を通じて初めて、性能向上が「便利な補助機構」によるものか、「認知的に統合された外部資源」によるものかを見分けられる可能性があります。
アルゴリズム統合戦略：どこに外部記憶を結合するか
外部記憶をアルゴリズムのどこに結合するかは、設計上の大きな分岐点になります。候補としては、actorの観測エンコーダに入れる方法、centralized criticやmixerにだけ入れる方法、actor・critic双方に入れる方法、そしてメモリ自体を独立した学習対象として扱う方法が考えられます。
離散協調・共有報酬の設定では、QMIXやQPLEXに外部メモリの読み出し結果を組み込む構成が第一候補になりやすいと考えられます。一方、連続制御や道具操作を伴う設定では、実装安定性や再現性、既存コードベースの豊富さの観点からMAPPOを最初の本格実装として推奨するという考え方が成り立ちます。この際、JAIRの分析が示すように、中央化されたcriticが常に有益とは限らず、部分観測下ではstate-based criticがバイアスや分散の面で望ましくない影響を導く場合があるため、history-basedあるいはrecurrentなcriticを採用することが望ましいと考えられます。
通信設計においては、SMACが micromanagement challengeを標準化した一方で、SMACv2は元のベンチマークがclosed-loopな方策を十分に要求しないことを指摘し、手続き生成と拡張された部分観測を導入しているとされています。したがって、外部記憶や共有表象の効果を検証する際には、局所観測と外部記憶の相互作用が実際に必要となるようなベンチマーク設計を選ぶ必要があると考えられます。
実験設計と評価指標：何をもって「拡張認知」と呼べるか
実験は、外部記憶の効果を厳密に検証できる制御されたグリッドワールドから始め、PettingZooのMPEのような軽量な標準ベンチマーク、そしてSMACv2やMaMuJoCoといったより複雑な環境へと段階的に進める設計が考えられます。評価指標としては、最終性能や学習速度に加えて、メモリを遮断した場合との性能差から外部記憶への依存度を測る指標、通信量あたりの性能を見る通信効率の指標、遅延やノイズに対するロバスト性の指標などを組み合わせることが望ましいと考えられます。
特に重要なのは、生の観測をそのまま共有する場合と、意味を圧縮・再符号化して共有する場合とを比較するアブレーションです。後者が同等以上の性能をより少ない情報量で達成できるのであれば、意味の再符号化が学習された可能性があると解釈できます。
倫理的・哲学的含意：共有メモリは単なるキャッシュではない
拡張認知をMARLに持ち込むということは、共有外部記憶を単なるキャッシュ以上の存在として扱うことを意味します。Clark & Chalmersは、拡張心を真剣に受け取るなら、誰かの環境に介入することが、その人自身への介入と同等の道徳的重要性を持つ場合があると述べています。この見方をMARLに当てはめると、共有メモリの改竄やアクセス制御の偏り、強制的な上書きは、単なるシステム上の不具合ではなく、チーム全体の認知の構成要素への介入として捉え直す必要が出てくる可能性があります。
そのため、メモリの所有権やアクセス制御、監査可能性、削除権といった論点は、後付けの倫理項目ではなく、モデル設計そのものに組み込むべき要件として位置づけられると考えられます。
まとめ：拡張認知MARLが開く研究の方向性
本記事では、拡張認知の理論的背景をふまえながら、それをマルチエージェント強化学習に統合する計算モデルの考え方を整理しました。ポイントは、外部記憶や共有表象を単なる補助入力としてではなく、認知状態そのものの一部として位置づける点にあります。CTDEという既存の枠組みとの相性の良さ、QMIX系・MAPPO系それぞれへの統合の考え方、そして評価指標や倫理的配慮まで含めて設計することで、性能向上と説明可能性を両立できる可能性があります。今後は、実際のベンチマーク実験を通じて、どの条件で外部記憶が真に「認知的に統合された資源」として機能するのかを検証していくことが重要な研究テーマになると考えられます。
コメント