脳の階層的予測メカニズムとTransformerの対応関係

「脳とAIは似ている」という言い回しは日常的に使われますが、どのレベルで似ていて、どこから先は別物なのかを腑分けした説明は多くありません。この問いに具体的な足場を与えるのが、神経科学における予測符号化理論および自由エネルギー原理と、深層学習におけるTransformerモデルの対比です。両者はいずれも階層構造を持ち、過去の情報から次を予測し、予測の誤差を減らす方向に自らを更新します。一方で、情報が流れる向き、誤差を扱うタイミング、学習則の実装は大きく異なります。本記事では、脳側の主要理論とTransformer側の主要構成要素をそれぞれ整理したうえで、対応・類似・相違を段階的に突き合わせていきます。

脳の階層的予測メカニズムを支える2つの理論

脳の情報処理を「受け身の入力処理」ではなく「能動的な予測の営み」として捉える視点は、近年の神経科学における主要な潮流のひとつです。ここでは中核となる予測符号化理論と、それを包含する自由エネルギー原理を押さえます。

予測符号化理論：脳は絶えず予測している

予測符号化理論とは、脳が環境の内部モデルを生成・更新し続け、感覚入力を事前に予測して実際の入力と比較するという考え方です。高次の脳領域が下位の感覚領域の入力を予測し、期待と現実のズレである予測誤差を算出します。予測と実際の感覚信号が食い違った場合、その誤差信号が下位から上位へと伝播し、上位の内部モデルが更新されると考えられています。

重要なのは、この処理が一方向ではなく往復構造をとる点です。トップダウンの予測とボトムアップの誤差伝達が繰り返されることで、脳は知覚や認知を成立させているとされます。予測符号化はベイズ脳仮説に連なる理論枠組みであり、感覚入力の背後にある原因をベイズ推論的に推定する営みとして脳を位置づけます。視覚野をはじめとする多くの皮質領域について、この理論に沿った情報処理モデルが提案されています。

自由エネルギー原理：知覚・学習・行動を貫く統一理論

自由エネルギー原理は、神経科学者Karl Fristonによって提唱された包括的な理論で、生物の知覚・学習・行動のすべてが「変分自由エネルギー」と呼ばれるコスト関数を最小化するように働くとするものです。ここでの自由エネルギーは、観測と内部モデルのずれ（予測誤差に対応する量）を表す関数であり、脳はこの値を抑える方向に内部状態を変化させます。その結果として、神経回路は変分ベイズ推論を行うように自己組織化していくと説明されます。

この原理が特徴的なのは、知覚における推論だけでなく、行動制御や意思決定までを同じ最適化原理で説明しようとする点です。脳は内的モデルによって将来の感覚入力を予測し、予測と異なる刺激が生じれば内部モデルを更新すると同時に、自らの行動を変化させて予測誤差を減らそうとします。これが**能動的推論（Active Inference）**です。自由エネルギー原理は予測符号化理論を包含する枠組みであり、「脳は予測誤差を最小化するように動作する推論エンジンである」と要約できます。

Transformerモデルの主要構成要素

対比の相手であるTransformerについても、対応関係の議論に必要な範囲で構造を確認しておきます。鍵となるのは注意機構、自己回帰性、そして階層的な表現学習の3点です。

自己注意機構：文脈に応じて重みを動的に決める

Transformerの中核は**自己注意機構（Self-Attention）**です。自己注意では、系列中の各要素（単語トークンなど）が他の要素とどれほど関連するかを動的に計算し、文脈に応じた重み付けを行います。処理の流れは概ね次の通りです。

• 関連度の計算：各入力要素をベクトル表現（埋め込み）に変換し、要素の組み合わせごとに内積で関連度スコアを求める
• 注意重みの算出：スコアにsoftmax関数を適用して正規化し、合計が1になる注意重みへ変換する
• 表現の更新：注意重みに基づき、各要素が他の要素からどの程度情報を取り込むかを調整する

重みの高い要素の情報は強く反映され、低いものは実質的に無視されます。この仕組みにより、Transformerは長距離の依存関係を効率的に捉えられます。従来のRNNのような逐次処理と異なり、系列中の全要素を並列に参照しながら関係性を学習できるためです。さらに実装上は、複数の注意機構を並列に持つマルチヘッド注意機構が採用され、各ヘッドが異なる特徴に着目した結果を統合することで表現力が高められています。

自己回帰性：次の一語を予測し続ける

Transformerは主に自己回帰的な方式で系列の生成や予測を行います。自己回帰性とは、次の要素を決める際に、それまでに得られた要素（過去の文脈）に条件づけて確率分布を計算する性質です。言語モデルであれば、与えられた単語列から次に続く単語の分布を求め、一つずつ生成していきます。

デコーダでは、この自己回帰生成を成立させるためにマスク付き自己注意が用いられ、未来の単語を参照できないよう制御されます。訓練時には文中のある位置の単語を隠し、直前までの文脈からそれを当てる次単語予測タスクによって学習が進みます。「今日は天気が＿＿」に対して文脈上妥当な語を予測し、正解とのズレを損失として扱う、という形です。この逐次予測の反復を通じて、モデルは系列データの時間的依存関係を捉えられるようになります。

表現学習：層を重ねて抽象度を上げる

もう一つの要素が、入力から内部表現を学習し、段階的に高次の特徴へ変換していく層構造です。モデルはまず各入力を埋め込み表現に変換します。単語であれば、語彙的・意味的な特徴が数値ベクトルとして表現されます。

続いて、この埋め込みに対して複数のエンコーダ層（またはデコーダ層）が適用されます。各層は、自己注意機構によって文脈に応じた情報の混合・再配分を行い、フィードフォワードネットワークによって各位置の表現に非線形変換を施すという2つのサブレイヤー処理から成ります。このブロックを積み重ねることで、内部表現の抽象度が徐々に上がっていきます。浅い層では比較的局所的な特徴を、深い層では長距離の依存関係や文法的・意味的な高次情報を扱う傾向があるとされ、いわば階層的表現学習によって生の入力から意味構造が引き出されていきます。学習自体は、予測誤差を損失関数として定義し、**誤差逆伝播法（バックプロパゲーション）**によって全層の重みを調整することで進みます。

脳の予測処理とTransformerの対応・類似・相違

ここまでの整理を踏まえ、両者を観点ごとに突き合わせます。似ている部分と、安易に重ねてはいけない部分を分けて把握することが要点です。

共通点：階層構造・予測・誤差最小化

第一に、階層構造にもとづく段階的な表現変換が共通します。脳では高次領域ほど抽象的な表現を、下位領域ほど具体的な感覚表現を担当し、各層が下位層の状態を予測することで階層全体として一貫した解釈を形成します。Transformerでも、浅い層が低レベルな特徴、深い層が高レベルな特徴を担い、前層の出力を入力として表現を洗練していきます。

第二に、過去の情報から将来を予測するという動作様式が共通します。そして第三に、予測と実際の差異を最小化することが原理として置かれている点も重なります。脳は自由エネルギー（予測誤差）を、Transformerは損失関数を、それぞれ最小化の対象としています。

相違点1：情報の流れと誤差処理のタイミング

一方、情報の流れ方は対照的です。脳では、トップダウンの予測とボトムアップの誤差伝達という双方向のダイナミクスがリアルタイムで働き、常に予測と誤差が照合・更新されています。対してTransformerの推論時は、入力から出力へ向かう**単方向（フィードフォワード）**の計算が中心です。自己注意による層内の横方向の情報混合はありますが、上位層から下位層へのフィードバックは基本的に生じません。

誤差の扱いも異なります。脳では各階層で予測誤差が計算されて上位へ伝えられ、局所的にニューロンの発火やシナプス可塑性へ影響してモデルが微調整されると考えられています。Transformerでは、出力と正解の誤差がモデル全体でまとめて計算され、勾配降下法によって各層のパラメータが調整されます。この誤差信号は主に訓練フェーズのものであり、推論時には明示的に計算もフィードバックもされません。

相違点2：学習則と予測のスケール

学習と適応の様式にも隔たりがあります。脳は環境との相互作用を通じて内部モデルを継続的に適応させるオンライン学習的な性質を持ち、予測と誤差のサイクル自体が学習と一体になっています。Transformerは大量データによる事前訓練でパラメータを最適化するオフライン学習が中心で、推論時のパラメータは固定です。追加学習は明示的な再訓練（ファインチューニング）として行われます。

予測の時間スケールも同一ではありません。脳は複数の時間・空間スケールにわたる階層的な予測を行い、低次領域は瞬間的・局所的な特徴を、高次領域は長期的・文脈的な特徴を予測しているとされます。Transformerも長距離依存を内部表現に織り込みますが、目的関数そのものは次時刻の予測に限定されている点が構造的な違いです。

相違点3：注意の位置づけと能動性

注意の役割も、対応しつつ位置づけが異なります。脳における注意は、予測誤差の精度重みを変調する働きとして説明されることがあります。重要な感覚信号の誤差に高いゲインを与え、それ以外を抑制することで、重要な情報に処理資源を集中させるという説明です。Transformerでは自己注意機構が「どの情報に注目するか」を直接制御し、学習された重みによって文脈上重要な要素の情報が集約されます。動的な重み付けという点で通じるものの、一方は誤差信号の信頼度調整、もう一方は表現の混合比という違いがあります。

さらに、脳は予測を受動的に更新するだけでなく、行動によって環境からの入力自体を変えるという能動的側面を持ちます。Transformerにはこうした能動性は組み込まれていません。加えて、生物の脳がエネルギー効率・データ効率の面で極めて優れているのに対し、深層学習モデルは大規模なデータと計算資源を要する点も対照的です。

実証研究が示唆するもの

こうした対応関係は理論的な比喩にとどまりません。近年の研究では、深層学習の言語モデルの内部活性が人間の脳活動パターンを線形に予測できることが報告されており、さらにモデルにマルチスケールの予測能力を持たせると脳活動との対応が改善することも示されています。これは、人間の脳が言語処理において階層的な予測コーディングを行っている可能性を支持する結果と解釈できます。また理論面では、予測符号化による学習が誤差逆伝播法と等価となりうる可能性も指摘されており、実装の違いが本質的な違いなのかどうか自体が研究対象になっています。

まとめ

脳の階層的予測メカニズムとTransformerモデルは、階層構造による段階的な表現変換、過去からの予測、予測誤差の最小化という三点で原理を共有しています。一方で、情報の流れ（双方向か単方向か）、誤差処理のタイミング（オンラインか訓練時のみか）、学習則（局所的可塑性か誤差逆伝播か）、そして能動性と効率において、両者は明確に異なるシステムです。

したがって適切な理解は、「Transformerは脳のモデルである」でも「両者は無関係である」でもなく、共通原理を異なる制約のもとで異なる形に実装した2つのシステムとして捉えることでしょう。この視点に立てば、比較そのものが生産的な問いを生みます。予測符号化の原理を取り入れたネットワーク設計、複数時間スケールの予測を目的関数に組み込んだモデル、あるいは逆に、Transformer的な注意機構に対応する脳内プロセスの探索など、双方向の知見の往還が新たなモデルや理論につながる可能性があります。次の段階として掘り下げるべき論点を、以下に整理します。