はじめに：安定状態は「意味」そのものではない
「ニューラルネットワークが安定した状態に落ち着いたとき、そこに意味が宿る」——直感的には分かりやすい見方です。しかし理論・実験の双方を横断して眺めると、この命題はそのままでは支持されません。安定性が担っているのは主に不変性であり、意味が成立するにはそこへ遷移・階層・可塑性・接地・共有といった要素が重なる必要があると考えられます。
本記事では、まず「安定状態」という語の内実を整理し、次にそれが意味のどの側面を支え、どこから先を支えられないのかを段階的に見ていきます。
「安定状態」を分解する：固定点・吸引子・メタ安定・臨界性
議論が混乱しやすい最大の原因は、「安定」という一語に異質な概念が混在していることです。
固定点と吸引子は同じではない
固定点（平衡点）は、状態の変化率がゼロになる一点を指します。これに対し吸引子は、近傍の初期状態が長時間後に近づいていく不変集合であり、単一の点だけでなく、周期軌道や連続的な多様体も含みます。グリッド細胞の集団活動がトーラス状の多様体上に分布するという報告は、「連続変数を安定した低次元構造として保持する」タイプの吸引子が生体に実在することを支持する例です。
メタ安定状態はさらに別物です。有限時間は状態を保持するものの、ノイズや内在的な不安定性によって別の状態へ抜け出せる。保持と遷移を両立させるこの性質が、後述するとおり意味創発では決定的な役割を果たす可能性があります。
臨界性に至っては、そもそも一つの状態ではありません。秩序相と無秩序相の境界にあたるパラメータ領域を指す概念であり、「安定状態の一種」として並べること自体が誤りです。
「動的平衡」は非平衡定常状態として捉える
「動的平衡」という語は分野間で用法が一定しません。厳密に扱うなら、**定常分布を保ちながら非ゼロの確率流を持つ非平衡定常状態（NESS）**として操作的に定義するのが実務的です。
対称結合を持つHopfield型ネットワークではエネルギー関数が定義でき、詳細釣り合いを満たす平衡的な描像が成立します。しかし実際の神経回路の結合は一般に対称ではありません。非対称ネットワークでは、状態分布を規定するランドスケープに加えて、循環的な確率流（フラックス）が振動や方向性のある遷移を支えることが理論的に示されています。分布が一定でも内部が「流れている」状態と、完全に静止した状態は、区別すべき別物です。
意味創発を4段階に分ける
「意味」を一括りに扱うと、安定性との関係も曖昧になります。次の4段階に分けると見通しが良くなります。
| レベル | 操作的定義 | 安定性との予想関係 |
|---|---|---|
| 表現学習 | 入力統計や課題構造を内部状態の幾何へ写像する | 安定性は必要条件ではないが、摂動に強い低次元構造を形成し得る |
| 概念形成 | 異なる個体例を同一のカテゴリーとして扱える | 吸引域が「異なる入力→同一内部状態」を実装し得る |
| 意味的連想 | 概念Aから文脈依存でBを検索・予測する | 固定点よりメタ安定遷移や非対称な遷移則が重要 |
| 記号化・共有 | 内部カテゴリーを再利用可能な記号へ写像し他者と共有する | 個体内安定性に加え、主体間の整合が必要 |
重要なのは、この4段階が同じメカニズムで説明できるとは限らないという点です。安定性が効くのは主に2段目まで、というのが本記事の見立てです。
安定状態が支えるもの：吸引域＝概念の同値類
エネルギー最小化としての記憶
Hopfieldは、対称結合・自己結合ゼロの二値ネットワークにエネルギー関数を定義し、非同期更新のもとでエネルギーが単調に減少して局所極小へ到達することを示しました。「記憶＝安定な吸引子」という見方に対する、最も明瞭な数学的根拠です。
ここから意味への橋渡しを試みるなら、概念を単一の点ではなく吸引域として定義するのが自然です。外見の異なる「犬」の実例がすべて同じ吸引域に入るなら、その力学系はカテゴリー不変性を実装していることになります。
生体側の証拠
海馬CA3は強い再帰性興奮結合を持ち、パターン補完ネットワークとして長くモデル化されてきました。環境をモーフィングする実験を再現したシミュレーション研究では、入力が連続的に存在する条件下でも、CA3出力が保存されたパターンへ引き寄せられること自体が吸引子の重要な署名になると論じられています。
ワーキングメモリでは、選択的な持続活動を安定吸引子として再現するスパイキングモデルが提案される一方、空間ワーキングメモリは連続吸引子上をノイズでゆっくり漂う「拡散するバンプ」として行動誤差を説明できます。安定性は必ずしも完全な静止を意味しないことがここに表れています。
より意味に近い証拠はヒト内側側頭葉から得られています。25名の患者から4,917ユニットを記録した研究では、100枚の画像・10の意味カテゴリーに対し、個々の刺激への応答を超えたカテゴリー水準の類似性が集団表現に存在しました。分類器は学習時に見ていない個体例へ一般化し、誤分類も同一カテゴリー内で多く生じています。
ただし注意が必要です。この研究が直接測定したのは表現幾何と一般化であって、摂動後の復帰軌道ではありません。「カテゴリーごとに固定点吸引子が存在する」ことの直接証明ではないのです。
「深い吸引子ほど良い」は成り立たない
ここが本テーマの核心です。安定性を強めれば意味形成が良くなるという単調な関係は、支持されていません。
強すぎる吸引子は、頑健なカテゴリー化や想起には有利である一方、新しい文脈への切り替えや多義性の保持を損ないます。逆にカオスが強すぎれば、同じ入力に対する再現性そのものが失われます。ランダムRNNには利得に応じた静止相からカオス相への転移が存在し、入力駆動型RNNでは特定の時系列計算が秩序—カオス境界付近で高性能になることが報告されています。
したがって意味創発に適した領域は「最大安定」ではなく、局所的に安定した表現と状態間遷移が共存するメタ安定・準臨界的な中間領域である可能性が高いと考えられます。性能が安定度に対して逆U字を描く、という予測です。
臨界性は「確立済みの事実」ではない
一方で「脳は臨界点にある」という主張を前提にするのは早計です。神経雪崩のスケールフリー性は臨界分岐過程と整合的でしたが、べき則やスケーリングは臨界点から離れた不規則ネットワークや確率的な代理過程でも生じ得ることが数学的・計算論的に示されています。
臨界性は意味創発の原因としてではなく、感受性・記憶・遷移可能性を調整する候補パラメータとして検証すべきです。実務的には、雪崩分布だけでなく最大Lyapunov指数、分岐比、感受率、有限サイズスケーリングなど複数指標を併用する必要があります。
モデルごとに「安定性」の意味は異なる
同じ「安定性」という語を、アーキテクチャ横断で使うことにも危険があります。
| モデル | 安定性の自然な記述 | 意味表現への長所 | 主な限界 |
|---|---|---|---|
| RNN／CTRNN | 固定点、slow point、周期軌道、カオス | 状態遷移を直接解析できる | 長期保持が難しい |
| LSTM | ゲートによる長時定数、slow manifold | 長期文脈・系列意味を保持 | 吸引子解釈は一意でない |
| Transformer | 層ごとの写像、attentionによる連想検索 | 大規模文脈依存・構成的表現 | 通常形は自律的な時間力学ではない |
| Modern Hopfield | エネルギー、固定点、metastable averaging | 記憶検索とattentionを統一 | 実脳への対応は抽象的 |
| SNN | 集団吸引子、メタ安定、E/Iバランス | 発火時刻やノイズを扱える | 大規模意味課題との統合が難しい |
特に誤解が生じやすいのがTransformerです。原型のTransformerは時間方向に自律反復する力学系ではなく、各層を一度ずつ通過します。その内部表現を直ちに「吸引子」と呼ぶのは不正確です。ただしmodern Hopfield networkでは、softmax型の更新が連想記憶のエネルギー最小化と対応づけられ、単一パターンへの固定点だけでなく複数パターンの平均に対応するメタ安定状態を持ち得ることが示されています。attentionそのものを吸引子と呼ぶより、連想記憶の一回更新として対応を論じる方が厳密です。
整理すれば、RNNやSNNは「意味がどのような力学で保持・遷移するか」の研究に強く、Transformerは「意味表現がどのような幾何を持つか」に強い、という役割分担になります。
意味の「関係性」は非平衡フラックスが担う可能性
概念そのものと、概念どうしの関係は、別の量で記述すべきかもしれません。
自然言語や行動には「原因→結果」「質問→回答」といった方向性が本質的に含まれます。対称エネルギー系では、AからBへの経路とBからAへの経路が強く制約されるため、こうした非対称性を表現しにくい。これに対しNESSでは、定常分布を維持したまま状態空間に循環と方向性を持たせられます。
そこで、概念内容はランドスケープの谷、概念間関係は確率フラックスや遷移ダイナミクスという二成分の記述を試す価値があります。時間変化するkinetic Isingモデルをマウス一次視覚野に適用し、課題遂行中の非平衡的なentropy flowが結合構造や行動成績と関連することを示した報告は、この仮説を検証可能な射程に入れつつあります。
意味は個体内で完結しない：記号創発という視点
もう一つ、安定状態だけでは説明できない層があります。記号の共有です。
GPLVM、Neural Conversion Adapter、Metropolis-Hastings Naming Gameを統合した研究では、互いの内部状態を直接観測しないエージェント間でも、連続潜在変数として共有記号とその意味を形成できることが示されました。個体Aと個体Bの内部表現が完全に一致していなくても、共同推論によって記号は共有され得るということです。
これは意味を「内部状態の同一性」ではなく、相互作用を通じて安定する共有潜在変数として捉え直す視点を与えます。個体内のカテゴリー吸引域が、どのように社会的シンボルへ固定されていくのか——この接続部分は、現在もっとも実証研究が不足している領域の一つです。
何が足りないのか：研究上のギャップと検証の方向
現状を俯瞰すると、「安定性を示す研究」と「意味表現を示す研究」はどちらも豊富であるにもかかわらず、同一の系で両者を独立に測定・操作した研究がきわめて少ないという構造的なギャップが浮かび上がります。
理論神経科学はJacobian固有値やエネルギー障壁を測り、機械学習は精度やprobeを測り、認知神経科学はデコーディングや行動一般化を測る。この三者が同一ネットワーク・同一試行でほとんど同時計測されていないのです。
加えて、表現幾何と力学の混同も残ります。二つのネットワークが同じ意味多様体を持っていても、一方はそこへ強く収束し、他方は高速に通過するだけかもしれません。近年、スパイク列から表現幾何と潜在ポテンシャルを分離して推定し、意思決定を吸引子機構として検証する手法が登場しており、これを意味課題へ拡張することが有望です。
方法論としては、力学・幾何・情報・行動の四層を同時に測る標準化が推奨されます。また、学習済みネットワークに対して再学習を伴わない事後的な安定性介入を行うことで、「よく学習したモデルは意味表現も良く、結果として安定している」という逆因果を排除できます。
まとめ
本記事の要点は次の通りです。
- 「安定状態」には固定点・吸引子・メタ安定・臨界性という異質な概念が混在しており、まず用語の分解が必要
- 吸引域は「異なる入力を同一の内部状態へ写像する」ことでカテゴリー不変性を実装し得るが、それ自体は語の意味ではない
- 深い吸引子ほど意味形成が良いという単調な関係は支持されず、安定と遷移が共存する中間領域が有利である可能性が高い
- 臨界性はべき則の存在だけでは証明できず、複数指標による検証が要る
- モデルごとに「安定性」の数学的内実は異なり、Transformerを無条件に吸引子系として語るのは不正確
- 概念内容をランドスケープ、概念間関係をフラックスとして分ける二成分記述に検証価値がある
- 記号の共有は個体内安定性では説明できず、主体間の共同推論を要する
総じて、現在の証拠が最も支持するのは「意味創発＝安定状態そのもの」ではなく、安定な不変表現・メタ安定な文脈遷移・多時間尺度の階層化・可塑的なランドスケープ更新・非平衡的な方向性・環境と他者への接地と共有の組み合わせという見方です。
問いを立て直すなら、「意味はどの吸引子に保存されているか」から、**「どの程度の安定性・遷移性・非平衡性を持つ状態空間が、不変でありながら柔軟で共有可能な意味を生むのか」**へ移すべきでしょう。これは既存研究を統合した仮説であり、確立された定理でも神経科学的事実でもありません。その未確定さこそが、この分野で最も重要な未解決問題です。
コメント