知覚・予測・行動の循環とは｜意味生成モデルの理論・実証・応用を整理

人が何かを「わかる」とき、脳は入力を受け取って分類しているだけではない。次に何が起こるかを予測し、外れた分を手がかりに内部モデルを直し、さらに自分から動いて新しい感覚を取りに行く。この閉じた輪のなかで、はじめて対象は「自分にとって何であるか」を持つ。知覚・予測・行動の循環による意味生成モデルは、この過程を予測符号化から記号創発までの複数理論を横断して定式化しようとする枠組みである。以下では、意味の水準の切り分け、理論ごとの守備範囲、実証の到達点と限界、応用領域、そして未解決の課題を順に整理する。

意味生成モデルとは何か

「予測できること」と「意味があること」は同じではない

このテーマで最も混同されやすいのが、予測精度と意味の同一視である。次の入力を高い精度で当てられることと、その入力がエージェントにとって意味を持つことは、本来別の事柄だ。予測誤差の最小化だけを意味の定義に据えると、意味生成モデルは予測モデリングの言い換えに縮んでしまう。

エナクティヴィズムはこの隙間を埋めるために、意味を身体と環境の関係、そして生存可能性に根ざした sense-making として捉えてきた。Di Paolo は、自己維持だけでは sense-making を説明しきれず、生存可能条件に対して自らを調節する adaptivity が要ると論じている。O’Regan & Noë は視覚そのものを環境探索という行為として位置づけ、感覚運動随伴性の習得を中心に据えた。

意味を四つの水準に分ける

議論を厳密にするには、意味を少なくとも四層に分けるのが有効である。

• 統計的意味：感覚系列を圧縮・予測する構造
• 表象的／概念的意味：観測を生じさせる共通原因・カテゴリー・状態
• 行為的・価値的意味：その状態が「何を可能にし、何をもたらすか」
• 社会的・言語的意味：他者とのやりとりで共有され安定化する記号体系

前半二層は予測処理とベイズ推定でかなり説明できる。しかし後半二層には、身体・価値・行動可能性と、他者との通信・共同推論が不可欠になる。コップの意味は画像特徴のクラスタではなく、「持てる」「傾ければ流れる」「割れうる」という行為可能性の束であり、さらに他者が同じ対象をその語で呼ぶという合意までを含む。

循環を支える理論の役割分担

これらは競合する代替仮説というより、異なる説明レベルを部分的に重ねる理論群と見るほうが正確である。同一視は避けたほうがよい。

予測符号化：どう知覚推論を実装するか

Rao & Ballard のモデルは、上位層から予測を下ろし、下位層から残差誤差を返す階層計算を具体化した。自然画像で訓練すると単純細胞様の受容野が形成され、一部の誤差ユニットは end-stopping などの効果を示す。ここで効いているのは誤差量そのものより precision（精度）であり、信頼度の高い誤差ほど推論を強く動かす。この重み付けが、注意・不確実性・文脈依存性をモデル化する入口になる。

階層ベイズ：不確実性のもとで何を推論するか

Lee & Mumford は、視覚野のフィードフォワード／フィードバック回路を、上位の文脈的事前分布と下位の観測を統合する確率推論として解釈した。知覚は感覚を読み取る作業ではなく、観測を生んだ原因を事前分布と尤度の双方から推定する逆問題になる。

自由エネルギー原理とアクティブインフェレンス：知覚と行動を閉じる

変分自由エネルギーを下げることは、近似事後を真の事後へ近づけ、同時にモデルエビデンスを高めることに対応する。ここでいう surprise は心理的な驚きではなく情報量である。アクティブインフェレンスはさらに方策も推論対象に含め、期待自由エネルギーを「望ましくない結果の期待コスト」と「情報利得（epistemic value）」に分解する。

意味生成にとって本質的なのはこの後者だ。対象の意味を知らないとき、適切な行動はそれを即座に使うことではなく、近づく・回り込む・触る・他者に尋ねることでありうる。つまり意味の獲得それ自体が行動目的になる。

強化学習：行動の帰結をどう学ぶか

TD 学習は、最終結果を待たずに隣接時点の予測差から学ぶ枠組みを体系化した。Schultz らはドーパミンニューロンの活動が将来の報酬事象に関する予測の変化・誤差に対応して見えることを示し、計算論と生理学を接続した。意味生成モデルに強化学習を組み込む理由は、感覚カテゴリーを行動上の帰結へつなげられる点にある。同じ視覚刺激でも、状態や目的や学習履歴が変われば異なる行動的意味を持つ。

ただし「アクティブインフェレンスがあれば強化学習は不要」とはならない。両者は目的関数の置き方次第で近い行動を生むため、観測データだけでどちらの規範原理が妥当かを識別するのは容易でない。

実証証拠とその読み方

知覚側では、期待された刺激に対する応答低減、期待による V1 表現の鋭敏化、自己運動と視覚フィードバックの不一致に応答するマウス V1 の mismatch signal などが、予測・誤差駆動型の計算と整合する。Kok らの結果は、活動が小さいことが情報の少なさを意味しないこと、つまり予測が冗長な活動を抑えつつ課題関連表現を改善しうることを示す点で重要である。

言語側では、自然な語りを用いた ECoG 研究で、次語に関する情報が語のオンセットより前から神経活動に現れ、予測が外れた語ではオンセット後に大きな surprise 関連活動が観測された。長い時間範囲の予測を加えると脳活動との対応が改善し、高次領域ほど長期・高水準の予測に対応するという階層性も報告されている。

ただし、これらを決定的証明と読むのは過剰である。 反復抑制には順応など別機序がありうる。言語モデルと脳の対応についても、Antonello & Huth は、次語予測性能に優れた表現が必ずしも良い脳モデルではないことを示し、「予測という学習目的」と「学習過程で有用な特徴表現が見つかったこと」を区別する必要を提起した。今後重要なのは当てはまりの提示ではなく、代替理論を識別する介入実験である。

応用が進む領域

ロボティクス

ロボットの利点は、知覚と行動の因果関係を実験者が完全に操作できることにある。7自由度アームと手先カメラを用いた active vision の実装では、期待自由エネルギーで次の観察視点を選び、対象が見えないときは探索し、発見すると到達行動へ移る挙動が得られた。「見る場所を選ぶ」こと自体が推論の一部になっている。多時間尺度の RNN 系研究は、明示的な階層ラベルを与えずとも感覚運動系列から運動プリミティブとより長い時間構造が自己組織化しうることを示してきた。

自然言語処理・マルチモーダルAI

次トークン予測から豊かな文脈表現が生まれることは確かだが、そこから直ちに閉ループの意味生成が得られるわけではない。方向としては、テキスト予測 → マルチモーダル接地 → 行動条件付き予測 → 能動的情報取得 → 社会的交渉、という段階が想定できる。VLA 型モデルに模倣損失だけでなく不確実性推定と認識論的行動を組み込み、「自信がないから見る・触る・尋ねる」エージェントを作れるかが分岐点になる。

HCI・発達・臨床

インタフェースを知覚‐行動ループの一部と見れば、システムはユーザー入力を分類するのではなく、意図の事後分布とその不確実性に応じて表示・問い合わせ・強調を選べる。ただし予測が当たるインタフェースが自動的に良いわけではない。訂正可能性、探索可能性、説明可能性、ユーザーの主体感も評価対象に含める必要がある。臨床応用の議論も活発だが、これは病態の一意の機序が確立したという意味ではなく、precision や事前分布形成を実験パラメータとして検証する仮説生成の枠組みと捉えるべきである。

研究ギャップ：何が未解決か

第一に、予測誤差最小化から意味がどう生じるかが一意に導かれていない。同じ予測精度でも、行動に再利用できる因果構造を形成するモデルとしないモデルがありうる。第二に、precision の神経実装が確立していない。どの細胞・層・神経修飾系がどの時間尺度の精度を担うかは単純ではなく、層特異的記録や振動、行動的確信度を統合する必要がある。第三に、理論の識別可能性が弱い。予測符号化、効率的符号化、順応、注意、強化学習は同じデータに似た説明を与えうる。第四に、アクティブインフェレンスの高次元・長期方策へのスケーリングは未解決である。第五に、一個体のモデルがどれほど正確でも、「この語を他者も同じように使う」という公共性は自動的には得られない。

これに対しては、観測のみのモデルから、行動条件付き、不確実性つき、価値つき、社会的相互作用つきへと累積的にアブレーションし、何が意味生成に本当に必要かを段階的に切り分ける設計が有効だと考えられる。

まとめ

知覚・予測・行動の循環による意味生成モデルは、単一理論の別名ではなく、予測符号化・階層ベイズ・自由エネルギー原理・強化学習・エンボディメント・記号創発を役割分担のもとで束ねるメタモデルである。研究史は「予測誤差による学習」から「階層的知覚推論」「行動を含む閉ループ推論」「身体化された発達」「社会的・言語的意味創発」へと対象を広げてきた。

この枠組みを研究プログラムとして成立させる鍵は、意味を予測誤差の別名にしないことにある。予測は必要条件だが十分条件ではない。不確実性を自覚した探索、介入による因果構造の獲得、身体にとっての価値、他者との記号交渉までを閉ループに組み込み、その各要素をアブレーションと因果介入で検証してはじめて、認知神経科学・ロボティクス・自然言語処理・HCI を横断する共通の土台になりうる。次に問うべきは「脳は予測機械か」ではなく、「意味の各層に、どの要素がどれだけ寄与するか」である。