注意と精度重み付けは同じか?予測符号化とTransformer自己注意を数理で比較
「attention」という同じ言葉が、脳科学とAIの両方で中心的な役割を担っています。予測符号化(Predictive Coding)では、注意は予測誤差をどれだけ信頼するかを決める「精度(precision)」の調節として説明されます。一方、Transformerの自己注意はクエリとキーの適合度をsoftmaxで正規化した重みです。
結論から言うと、両者は直接同じものとは言えません。ただし、注意を「潜在的な情報源についての事後確率」と読み替えると、両者を一つのベイズ推論の枠組みに入れられます。本記事では、両者の数理構造、同一視できない理由、統一モデル、検証方法の順に解説します。
予測符号化における「注意=精度重み付け」とは
精度加重予測誤差の基本構造
予測符号化では、脳は感覚入力の予測を絶えず生成し、実際の入力とのずれ(予測誤差)を使って内部モデルを更新すると考えます。ガウス型の生成モデルでは、ノイズの分散の逆数である精度 Π=Σ⁻¹ が誤差に掛けられ、
- 予測誤差:ε = y − g(μ)
- 精度加重予測誤差:ξ = Πε
という形で内部状態の更新を引き起こします。精度が高い誤差ほど「信頼できる情報」として更新に強く効きます。
Feldman & Friston は、この精度の調節、つまり予測誤差ニューロンのシナプス後利得(ゲイン)の調整こそが注意であると提案しました。Bastos らは、これを皮質の正準回路と対応づけ、浅層錐体細胞が上行性の予測誤差を担うというモデルを示しています。
神経科学的な証拠はまだ限定的
ただし、これは理論モデルであり、皮質がこのアルゴリズムをそのまま実装していると確立されたわけではありません。注意が予測誤差の表現を強めることを支持する実験結果もある一方で、初期の感覚予測誤差は注意の影響を受けず、後期成分だけが変化したという報告もあります。そのため、「注意=すべての階層に一様に効く精度ゲイン」という強い仮説は、現時点の証拠では支持しにくい状況です。
カルマンゲインとの関係
線形ガウスモデルのカルマンフィルタでは、更新係数(カルマンゲイン)は観測ノイズの精度だけでなく、事前の不確実性と観測の不確実性の両方から決まります。Transformerの注意重みを何かに対応させるなら、精度そのものよりも「精度によって決まる事後的な影響度」のほうが近いと言えます。ただしカルマンゲインは負の要素も持ちうる行列で、和が1になる制約もないため、softmax注意とも同じではありません。
Transformer自己注意の数理構造
Scaled Dot-Product Attentionの定義
Vaswani らが提案した自己注意は、入力から Query・Key・Value を作り、
- スコア:S = QKᵀ / √dₖ
- 重み:A = softmax(S)
- 出力:O = AV
で計算されます。各トークンの出力は、Valueを注意重みで混ぜ合わせたものです。√dₖ で割るのは、内積が大きくなりすぎてsoftmaxが飽和するのを防ぐためで、不確実性(分散)を推定しているわけではありません。
softmaxはベイズ事後確率として読める
softmaxは、エントロピー正則化つきの最適化問題の解としても導けます。さらにスコアを「潜在インデックスの対数尤度+対数事前確率」と読めば、注意重みはどの候補を採用するかについての事後確率になり、出力はベイズモデル平均とみなせます。
ここで重要なのは、これは「確率モデルを与えることが可能」という意味で、通常のTransformerが本当にベイズ的に動いていることを意味しない点です。不確実性を明示的に扱う Bayesian Attention や確率的Transformerの研究があること自体が、通常の注意重みには不確実性の意味が自動的には備わっていないことを示しています。
「注意重み=精度」が成り立たない理由
両者を直接同一視できない理由は、主に次の点にあります。
| 観点 | 予測符号化の精度 | Transformerの注意重み |
|---|---|---|
| 正規化 | 絶対的なスケールを持つ | 候補間の相対配分(和が1) |
| 次元 | 特徴チャネル間の共分散を表せる行列 | トークンごとのスカラー |
| 掛かる対象 | 予測誤差 | Value表現 |
| スコアの意味 | 分散の逆数 | 学習された適合度 |
| 時間尺度 | 推論中に精度の期待値が変化 | 重みパラメータは主に学習時に更新 |
特に重要なのが正規化の違いです。softmaxは全体に定数を足しても結果が変わらないため、精度の「絶対量」の情報を失います。ベイズ推論では精度の絶対量が更新の強さを決めるため、これは直接同一視への構造的な反例になります。
また、同じ注意マップのままValueの射影を変えれば出力は大きく変わるため、注意マップだけで情報の影響を決めることはできません。マルチヘッド注意を複数の精度チャネルとみなすことも、追加の制約なしには成り立ちません。
簡単な反例
- 2つの情報源の精度が同じでも、クエリとキーの内積が大きく異なれば、注意重みは一方にほぼ集中する
- 精度が大きく違っても、内積が同じなら注意重みは均等になる
つまり、注意重みは精度を直接追跡していません。
予測符号化とTransformerを統一する潜在情報源モデル
「どの情報源か」と「どれだけ信頼するか」を分ける
両者をつなぐ鍵は、注意を**「どの情報源からの誤差・メッセージを採用するか」という潜在変数の事後確率**と読み、精度をその事後確率をつくる尤度のパラメータとして扱うことです。
各情報源 j が予測と誤差 εⱼ を出すとき、ベイズ則から情報源の事後確率は、
aⱼ = softmax( log p(z=j) + ½log|Πⱼ| − ½ εⱼᵀ Πⱼ εⱼ )
となります。そして状態の更新は、
Δx = Σⱼ aⱼ Jⱼᵀ Πⱼ εⱼ
と書けます。ここでは、
- aⱼ:情報源の選択(どの情報を使うか)
- Πⱼ:誤差チャネルの精度(その情報をどれだけ信じるか)
という2種類の「注意」が区別されたまま共存します。
Transformerは特殊ケースとして回収できる
もしTransformerのスコア qᵀk/√d が上式のsoftmaxの中身と一致し、Valueが精度加重された誤差の寄与を表すなら、自己注意の出力は精度加重予測誤差のベイズモデル平均と同じ形になります。
ただし、これは標準Transformerから導かれる事実ではなく、統一モデルを成り立たせるために置く仮定です。したがって、主張として最も擁護しやすいのは「自己注意は精度重み付けそのものではないが、潜在情報源の推論を介して一つの変分推論枠組みに埋め込める」という限定的な命題です。この見方は、自己注意を潜在的なグラフ構造の推論として解釈する Singh & Buckley の研究とも整合します。
仮説をどう検証するか:反証可能な実験デザイン
神経科学側の検証
統一モデルが正しければ、情報源の選択(relevance)と精度(reliability)を独立に操作できるはずです。そこで、関連性・信頼性・予測誤差の大きさを互いに独立に変える課題を設計し、層別MEG/EEGや高磁場fMRIなどで測定します。比較するモデルは、
- M₁:注意=情報源の選択 aⱼ
- M₂:注意=精度 Πⱼ
- M₃:更新=aⱼ Πⱼ εⱼ
です。「注意=精度」の強い仮説ならM₂で十分なはずですが、統一モデルはM₃が必要だと予測します。
Transformer側の検証
各トークンに既知のノイズ分散を与えた人工課題で、注意重みと正規化された精度の一致度を調べます。特に有効なのは次の2つです。
- 全体スケール操作:すべての分散を同じ比率で変えると、相対的な精度は変わらないので注意分布は同じでもよい。しかし、ベイズ的な確信度は変わるはず。この分離が見られれば「注意重み=精度」は否定される
- 相関ノイズの導入:スカラーの注意重みだけでは最適な重み付けができず、特徴ごとのゲートや行列型の注意が必要になる可能性がある
まとめ:注意は「同一」ではなく「条件付きの計算論的等価」
- 予測符号化の精度と、Transformerの注意重みは直接同じものではない
- 違いは、正規化・次元・掛かる対象・スコアの意味・時間尺度にある
- 注意を潜在情報源の事後確率、精度を尤度のパラメータとして分けると、両者は一つのベイズ推論の枠組みに入る
- 両者が共有するのは、「不確実なメッセージ → 信頼度に応じた重み → 重み付き更新」という抽象的なテンプレートである
- この見方によって、哲学的な類比が反証可能な計算論的仮説に変わる
今後は、情報源の選択と精度を分けて扱うモデルが脳とAIの両方でどこまで有効か、そして不確実性を明示的に持つ注意機構が人間の学習支援やAIとの協調にどう活かせるかを掘り下げていくことが重要です。
コメント