記号接地問題とは何か：AIの「意味理解」を問う古典的難題
生成AIが人間と見分けのつかない文章を書くようになった今、「AIは言葉の意味を理解しているのか」という問いが改めて重みを増しています。この問いを1990年に定式化したのが、スティーブン・ハーナッドの**記号接地問題（symbol grounding problem／シンボルグラウンディング問題）**です。以下では、この問題の要点、人間の意味理解を支える知覚と身体性、LLMの記号処理の実態、マルチモーダルAIの到達点、そして残された課題を順に見ていきます。
記号は、それ自体では意味を持たない
記号接地問題の核心は、「記号システム内のシンボルが、どうやって実世界の意味と結びつくのか」という点にあります。コンピュータが内部で「APPLE」というトークンを操作していても、それがリンゴという果物を指すことは、システム自身には分かりません。意味づけは外部の人間の解釈に**寄生している（parasitic）**状態であり、システム内部に内在的な意味が存在しないのです。
「中国語‐中国語辞書」のジレンマ
ハーナッドはこれを、中国語をまったく知らない人が中国語‐中国語辞書だけで中国語を学ぼうとする状況にたとえました。ある単語の定義は別の中国語の単語で示され、その単語もまた別の単語で説明される——どこまでいっても実世界の指示対象にたどり着けず、堂々巡りになります。ハーナッドはこれを「記号／記号メリーゴーラウンド」と呼びました。ジョン・サールの中国語の部屋の思考実験も、構文（syntax）の操作だけでは意味（semantics）に到達できないという点で、同じ問題を突いています。
知覚・身体性と意味の接地：非記号的表現が果たす役割
ハーナッドが示した三層構造
ハーナッド自身は、解決の方向として「記号を下位の非記号的表現に接地させる」という階層モデルを提案しました。
- アイコニック表現 — 感覚器が受け取る連続的・アナログ的な情報。目に映る映像や皮膚で感じる感触に近い、生の入力の内部表現です。
- カテゴリカル表現 — アイコニック表現から不変的な特徴を抽出し、対象を分類する表現。多様な犬の画像から「犬」に共通する特徴を学習するような働きで、ニューラルネットワークが得意とする領域でもあります。
- シンボル表現 — カテゴリに「犬」「リンゴ」といった名前を与え、それらを組み合わせて「リンゴは赤い果物だ」といった命題を構成する段階。
重要なのは、最上層の記号操作が、下二層によって意味を担保されている点です。この裏づけがある限り、記号の操作は単なる形の操作を超えます。
身体を持たないことの代償
この構図は、認知科学の**身体化された認知（embodied cognition）**の議論とも響き合います。「熱い」「重い」といった言葉の意味は、実際に触れた経験に裏打ちされています。日本語圏の解説でよく引かれる例が「梅干し」です。食べた経験のある人は、その語を聞いただけで酸味を想起し唾液が出ますが、AIにはその想起がありません。記号接地問題は、フレーム問題や常識の欠如とも根を同じくする——身体性を持たず環境から切り離された形で記号を処理しようとするために生じる問題だ、と説明されます。裏を返せば、環境と相互作用するロボットであれば、人間とは異なる形であれ、自分なりの接地を獲得しうるということでもあります。
LLMは「意味」を理解しているのか：分布的意味論の射程と限界
統計的パターンとしての言語
GPT系をはじめとするLLMは、膨大なテキストから単語の共起パターンと文脈上の関係を学習し、次に来る語を予測します。内部表現は高次元ベクトルというサブシンボリックな形式であり、出力されるのは人間が読むシンボル列です。つまりLLMは「サブシンボリックな処理でシンボル列を生成する」システムだと言えます。
LLMの内部に「リンゴ＝果物」という明示的な知識表はありません。テキスト中の「リンゴ」に関するあらゆる記述が重みとして統合されているだけです。それでも「リンゴは＿の一種です」と問えば「果物」と答えるでしょう。しかしそれは大量のテキストから得たパターンに基づく応答であり、視覚や味覚としてリンゴを知っているわけではありません。
「タコのテスト」が示すもの
エミリー・ベンダーらは、この状況を思考実験で描きました。深海のタコが海底ケーブルを傍受し、人間同士の通信を大量に記録して対話文を生成できるようになったとします。しかしそのタコは陸上の世界を見たことがないため、「クマが出たから逃げろ」という通信を受け取っても、クマが何を指すのかを本当の意味では捉えられない——テキストだけから語と現実のマッピングを完全に学ぶのは難しい、という指摘です。これはハーナッドの問題そのものだと言えます。
「疑似接地」としての言語データ
もっとも、LLMが意味をまったく扱っていないとするのも行き過ぎでしょう。分布的意味論の原理により、「犬」「吠える」「尻尾」といった関連語はベクトル空間内で近接し、概念的なクラスタを形成します。人間が世界を経験して言語化した記述を学習している以上、これは間接的な疑似接地と見ることもできます。問題は、その世界像がどれほど確実で一貫しているかです。
現れやすい三つの弱点
- 知覚的・物理的常識の弱さ：テキストからは身につきにくい知識について、極端な状況で不自然な回答が出ることがあります。
- 目的推論・状況推論の脆さ：人間なら文脈から即座に補える意図や形状の推測を、見当違いに処理する場合があります。
- ハルシネーション：知識が統計的関連性として埋め込まれているだけで、内部に現実との照合機構がないため、もっともらしい誤りが生成されやすくなります。
これらはいずれも、記号が現実に接地していないことの副作用として読み解ける現象です。
マルチモーダルAIによる接地の試み：GPT-4V・CLIP・Gato
CLIP：画像と言語を同じ空間に置く
CLIPは、ウェブ上の画像とキャプションの大量ペアから学習し、画像エンコーダとテキストエンコーダの出力が、同じ内容を表すときに近づくよう対照学習したモデルです。その結果、未知の画像に対しても最も適したテキスト説明をゼロショットで選べるようになりました。視覚という非記号的情報で言語記号を部分的にグラウンドした例と言えます。
ただし弱点も報告されています。リンゴの写真に「iPod」と書いた紙を貼ると、モデルはそれをiPodと分類してしまう——いわゆるタイポグラフィック攻撃です。文字列パターンに引きずられるこの挙動は、「リンゴらしさ」という概念そのものを把握しているわけではない可能性を示します。
GPT-4V：画像入力と説明能力のギャップ
GPT-4は画像とテキストの両方を入力として受け取り、テキストを出力するマルチモーダルモデルです。料理の写真から材料を推定するような応答も可能になりました。一方、医療画像を扱った検証では、正答率が高くても推論過程の説明が的外れになるケースが報告されています。結果として正しい答えと内部での理解が一致するとは限らない、という重要な示唆です。
Gato：行動データを含む「動的な接地」
Gatoは、ゲームのプレイ記録、画像キャプション、対話、ロボット操作記録など600を超えるタスクのデータを、すべてトークン列として単一のTransformerに学習させた汎用エージェントです。注目すべきは、学習データにロボットのセンサー・アクチュエータ情報が含まれる点です。「視覚→行動」「言語指示→行動」の対応がモデル内部に形成されることは、静的な言語モデルにはなかった動的な接地の側面と言えます。
ただしGatoは、幅広く扱える一方で各タスク単体では専門特化モデルに劣るとされました。広範な疑似経験の詰め合わせは多才さを与えますが、各経験の質を高めなければ人間並みの意味理解には届かない可能性があります。同じ方向の発展として、大規模言語モデルに視覚入力を統合し、ロボットの動作プランをテキストで出力するPaLM-Eのような研究も進んでいます。
今後の展望：世界と関わる学習へ
能動的な経験の導入
現在の生成AIは、受動的に与えられたデータの統計を捉えているに過ぎず、自ら世界と関わって得た知識を持ちません。仮想環境や実ロボットを使い、試行錯誤と観察を通じた経験をモデルに与える研究が進められており、物理世界の知識を獲得させることで推論や計画立案の能力が向上したとの報告もあります。
モダリティの拡張と内部表現の解明
視覚と言語の統合が中心の現状に対し、聴覚・触覚・時系列変化などを加えれば、より豊かな接地が期待できます。同時に、モデル内部で概念がどう表現されているかを解析する解釈可能性の研究も欠かせません。CLIP内部に特定の概念へ反応するニューロンが見つかった一方、綴りの似た文字列にも反応する例が確認されており、概念獲得が完全でないことを示しています。内部構造の解明は、不足している知識の種類を特定し、狙いを定めて補完する道を開きます。
対話とインタラクションによる獲得
人間の子どもが対話と模倣を通じて言葉を学ぶように、AIも相互作用から意味を獲得できる可能性があります。訂正フィードバックを反映する仕組みはすでにありますが、今後はモデル自身が問いを発し、行為と結果を通じて概念を確かめるインタラクティブな接地が研究テーマになるでしょう。
まとめ
記号接地問題は、記号の意味づけをシステム内部に内在化できるか、という根源的な問いです。人間の意味理解は、知覚というアイコニックな層とカテゴリ化の層に支えられており、身体を通じた経験が言葉を裏打ちしています。現在のLLMは分布的意味論による間接的な疑似接地にとどまり、知覚的常識の弱さやハルシネーションといった形でその限界が現れます。CLIP、GPT-4V、Gato、PaLM-Eといったマルチモーダルの試みは接地への部分的な前進ですが、タイポグラフィック攻撃や説明の破綻が示すように、人間のように確固とした意味理解には至っていません。
問われているのは、どのような経験を、どれだけの深さで与えれば十分な接地に到達するのかという設計上の問いです。生成AIが「統計的なおうむ返し」を超えて協調可能な知的エージェントへ進むうえで、この問題は避けて通れません。次に検証すべきは、接地の度合いをどう測るか、そして経験の量と質のどちらが効くのか、という点にあります。
コメント