大規模言語モデルが暗黙的に学習する言語構造
近年、GPTなどの大規模言語モデル(LLM)は人間のように流暢な文章を生成できるようになりました。これらのモデルは単なるテキスト生成ツールではなく、内部表現（中間層のベクトル表現）には言語学的に興味深い情報が豊富に埋め込まれています。特に注目されているのは、モデルが明示的な指示なく自発的に学習した形態論的特徴（語形変化、助詞の機能、活用形など）と言語普遍性です。
これらのモデルは膨大なテキストデータから統計的パターンを学習する過程で、言語に共通する普遍的な性質を暗黙的に獲得しています。本記事では、LLMの内部表現に埋め込まれた形態論的特徴や言語間の普遍性を探る最新研究を概観します。
Transformer型モデルの内部構造と形態情報の表現
GPTやBERTに代表されるTransformer型モデルの内部には、形態論的情報が階層的に表現されています。興味深いことに、モデルの層の深さによって捉えられる言語情報のレベルが異なります。
BERTモデルの分析研究では、以下のような階層構造が確認されています：
- 低層: 品詞タグや基本的な文法情報など形態素レベルの特徴
- 中層: 依存関係や文の構文構造
- 高層: 意味役割や照応関係など高次の意味情報
この階層性は、モデルが自然と古典的なNLP処理パイプライン（形態素解析→構文解析→意味解析）に似た情報処理を再発見したことを示唆しています。実際、形態素や構文の素性が特定の層に局所化していることが複数の研究で確認されています。
GPT-2の注意機構を可視化した研究によると：
- 浅い層の注意ヘッドは特定の品詞（冠詞や前置詞など）に焦点
- 中間層では依存関係（主語と述語の関係など）を強く反映
- 深い層では長距離の文脈的関係を捉える
この段階的な表現は、モデルが単なる単語の連続以上の構造を学習していることを示しています。さらに興味深いのは、一部のニューロンが単数・複数や時制といった特定の形態論的概念に選択的に反応することも報告されている点です。
日本語と他言語における形態論情報の表現比較
異なる言語では形態論的特徴の表現方法が大きく異なりますが、LLMは多言語に対応できる柔軟な内部表現を獲得しています。日本語と他の代表的な言語を比較することで、モデルがどのように異なる言語体系を処理しているかが見えてきます。
日本語の膠着的特徴と助詞の処理
日本語は典型的な膠着語で、動詞の活用や助詞による格表示を持ちます。単語間に空白を置かない表記体系という特徴もあります。
モデルは日本語テキストを処理する際、サブワード単位に分割します。例えば「食べました」は「食べ」「まし」「た」のように複数トークンに分割されることが一般的です。助詞（「は」「が」など）はしばしば独立したトークンとして認識され、モデルは助詞トークンと主辞（名詞・動詞）トークンとの注意結合によって格関係を把握します。
これは興味深い現象です。人手のルールなしに、モデルは助詞の文法的機能（主語・目的語などの表示）を自律的に学習しているのです。日本語のように語順が比較的自由な言語では、助詞による文法関係の明示が重要であり、モデルもこの特性を内部表現に反映しています。
英語と形態的に単純な言語の処理
英語は比較的形態素が少なく、語順や前置詞に依存して文法関係を示す分析的な言語です。単語間の空白があり、基本的にはスペース区切りで単語を分割できます。
形態的には動詞の時制変化（play/played）や名詞の複数形（dog/dogs）など語尾変化がありますが、その種類は限定的です。サブワード分割では高頻度の接尾辞（-s, -ed, -ingなど）が独立したトークンとして抽出されることが多く、例えば「dogs」は「dog」「##s」に分割されます。
LLM内部では、英語の形態素情報（単数/複数など）はこれらサブワードによって明示的に表現され、対応するベクトル成分に符号化されます。英語は語順（SVO）が固定的なため、モデルは位置的な手がかりを主に利用して主語・目的語を識別する傾向があります。
形態的に複雑な言語: 韓国語とフィンランド語の例
形態的に複雑な言語ではどうでしょうか。韓国語は日本語に近い膠着語で、助詞や語尾変化により文法関係を示します。表記上は単語間に空白がありますが、名詞＋助詞や動詞＋語尾変化が一単語として続くことも多く、モデルには日本語と似た処理が要求されます。
さらに複雑な例としてフィンランド語があります。フィンランド語は高度に屈折的な膠着語で、名詞に15種類もの格変化があることで知られています。名詞一つに複数の接辞が付加され、一語が非常に多くの形態素情報を含みます。
このため、トークナイザーは単語を細かく分割せざるを得ず、多言語BERTではフィンランド語の単語は平均して4個以上のサブワードに分割されるという報告があります。モデルはこれらのサブワード列から格や数などの豊富な形態情報を抽出し、統合する必要があります。
興味深いことに、近年の研究では「形態的に複雑な言語はモデル性能が低い」という従来の仮説に反して、データ量とトークナイザーの質が性能差の主因であり、形態そのものの難易度差は顕著でない可能性が示唆されています。十分なデータがあれば、モデルは原理的にはどのような形態規則も習得できると考えられます。
LLM内部表現から見える言語普遍性
LLMの内部表現を分析することで、従来の言語学で提唱されてきた言語普遍性（どの言語にも共通する法則や傾向）をデータ駆動型で検証・発見できる可能性があります。多言語モデルの内部空間には、言語間に共通するパターンや類型論的な特徴が表れていることが示唆されています。
内部空間における言語間距離と言語系統樹
多言語BERTの隠れ表現空間における言語間距離の分析は、言語学的に非常に興味深い結果をもたらしています。mBERTの文表現をクラスタリングして言語樹形図を再構成した研究では、得られたクラスタリングが実際の語族関係を高い精度で反映していることが分かりました。
例えば、インド・ヨーロッパ語族同士やウラル語族同士がモデル内部で近い距離に配置され、言語系統樹に類似したグループ分けが観察されています。これはモデルが訓練データから各言語間の対応関係を学習する過程で、語彙や統語構造の類似性に基づき内在的な言語類型情報を捕捉していることを意味します。
言語横断的な意味空間の形成
Googleの多言語翻訳モデルでは、訓練に含まれていない言語対（ゼロショット翻訳）が可能になっただけでなく、内部状態を可視化することで言語横断的な意味空間（インターリングア）が形成されていることが明らかになりました。
例えば、日本語・英語・韓国語で「同じ意味」を持つ文の内部ベクトルが非常に近接してクラスタを形成することが確認されています。これは、モデルが言語をまたいで意味内容に基づく普遍的な表現を獲得していると解釈できます。
図的に表現すると、異なる言語の文でも意味が同じであれば内部表現空間上で同じ領域に配置され、モデルは表層の言語の違いではなく意味構造に依存して情報をエンコードしていることになります。この現象は、言語間に普遍的な意味構造が存在することを示唆するもので、従来から機械翻訳分野で仮定されていた「中間言語」の存在をニューラルネットが自発的に学習した例とも言えます。
語順パターンと文法特性の類型論的検出
モデル内部表現から言語の類型論的特徴（語順や形態カテゴリなど）を予測する試みも行われています。多言語モデルの文表現から各言語の語順タイプ（SVO/SOV/VSOなど）を当てる分類器を訓練し、モデルがこれらの語順パターンを暗黙的に区別していることが示されています。
実際、mBERTを使った従属節検出タスクでは、ゼロショット転移の成績においてモデルが言語間で語順の差（SVO対SOVなど）に影響を受けることが確認されました。例えば、英語のようなSVO言語で学習したモデルをSOV言語（日本語など）に適用すると性能低下が見られる傾向があります。
これはモデル内部で語順に関する普遍的なパターン（もしくは言語ごとのパラメータ）を持っていることを示唆します。言い換えれば、モデルは全言語共通の表現空間を持つ一方で、その中で語順という軸に沿った差異も保持しているということです。
LLM内部分析の研究手法
LLMの中間表現を解析する手法は多岐にわたります。主要な手法としては以下のものがあります。
プロービングによる内部表現の分析
プロービングは、モデルの内部表現から特定の言語的特徴（品詞、活用形、文法関係など）を予測できるか調べる手法です。具体的には、事前学習済みモデルの各層のベクトル表現を入力として簡易な分類器を学習させ、正解の言語ラベルを当てさせます。
高い精度で予測可能であれば、その情報が当該層にエンコードされているとみなせます。Tenneyらのプロービング研究では、BERTの各層について品詞タグ付け・構文素性・意味的役割付与などのラベル予測精度を測定し、層ごとの情報の局所化を明らかにしました。
多言語に拡張されたプロービングでは、42言語・247タスクに及ぶ形態素タグ付けタスクにおいて、モデルが多様な言語の形態情報を持っていること、特にターゲット単語自身と左文脈に決定的情報が宿ることが確認されています。
注意重みとニューロン可視化
モデル内部の重みそのものや、推論時の注意重み（アテンション）を解析する手法も有効です。Transformerでは各層に複数の注意ヘッドがあり、それぞれが異なる単語間の関連に着目しています。
Clarkらの研究では、BERTの特定の注意ヘッドが文法的な依存関係（主語→動詞、動詞→目的語など）に対応して高い重みを割いていることが示されました。同様に、GPT-2の解析でも中間層の注意が最も統語構造を反映していることが確認されています。
形態論的には、例えば日本語の助詞「が」に対してあるヘッドが一貫して対応する述語動詞を指し示すなら、そのヘッドは主格マーキングを学習した「統語ヘッド」と解釈できます。また個別のニューロン（ベクトル次元）の分析では、特定のニューロンが句読点の予測や敬語表現に反応する例なども見られています。
多言語比較実験
文字通り、モデルの挙動を言語間で比較するアプローチです。例えばゼロショット転移の実験では、ある言語で学習したタスク（品詞タグ付けなど）の性能を他言語入力でテストし、モデルの汎用性を評価します。
mBERTは単一モデルで多言語のタスクをある程度こなせることが知られており、これはモデル内部に言語共通の特徴表現空間が存在する証拠とされています。並列コーパス（翻訳文のペア）を用いて、同一意味の文が異なる言語でモデル内部でどれほど近接したベクトルになるかを測る手法も有用です。
こうした比較実験から、モデルがどの程度言語固有の特徴を分離しているか、逆にどの程度言語差に引きずられているかが明らかになります。最近の研究では、モデルの言語間一般化傾向は一様ではなく、タスクの種類によって普遍的な抽象表現の構築度合いが異なることが示唆されています。
言語学的理論とLLM内部表現の接続
LLMの内部表現の分析から得られた知見を、伝統的な言語学的理論と照らし合わせる試みも始まっています。生成文法などの理論では、人間には普遍文法が備わっており、全ての言語に共通する深層構造があると仮定します。
階層的言語情報と生成文法
BERTやGPTの内部には階層的な言語情報（形態素→構文→意味）が段階的に表現されていることが分かっています。これは生成文法で言うところの句構造規則や変形規則に対応する処理を、モデルが暗黙的に行なっているようにも見えます。
例えば「太郎が花子に本を渡した」という文の解析において、モデルはまず各単語の品詞・活用を捉え、次に主語-述語-目的語の関係を組み立て、最後に意味的な解釈統合をしていると解釈できます。このプロセスは生成文法で仮定される統語構造の派生と似た段階を踏んでおり、モデル内部でそれが自己組織化的に行われている点は注目に値します。
言語類型論と内部表現の整合性
言語類型論の観点では、モデル内部の多言語表現がグリーナバーグの言語普遍性などの類型論的法則と整合するか分析されています。mBERTの言語間距離は語順や形態的類似性に一定程度基づいていることが確認されており、モデルが語順という類型論的特徴を主要な軸の一つとして言語をマッピングしている可能性があります。
先行研究では、mBERTの言語表現距離に最も強く効いていた要因は系統的類似（語族）であり、構造的類似（語順や形態類型）の寄与は比較的小さいと報告されています。これはモデルが主に単語の共起や文字分布など統計的特徴から言語間距離を学習した結果とも考えられます。
普遍文法仮説の検証装置としてのLLM
Chomskyの提唱した構造依存性（文法規則は線形順序でなく構造に基づく）という原理がモデルに現れているかどうかをテストする研究も行われています。入れ子構造や長距離依存の文をモデルが正しく処理できるかが検証され、大型のGPTはかなり複雑な入れ子文も処理できることが分かっています。
一方で、島規約（ある種の従属節からは要素を取り出せない）など高度な文法制約になると、モデルは人間と異なり違反する出力を出す場合もあります。これは、モデルが必ずしも人間言語の全ての制約を完全には内部化していない証拠と言えます。
興味深いことに、モデルの振る舞いを分析することで、普遍文法の妥当性を逆に検証することも可能です。モデルが一貫して間違える文構造が人間言語では不可能な構造だった場合、そこには人間の言語能力固有の制約が存在し、モデルはそれを持たないことが示唆されます。
まとめ: 機械学習が照らし出す言語の普遍性
GPTなどの大規模言語モデルの中間表現を活用した言語研究は、日本語を含む多言語の形態論的特徴を統一的に分析し、言語に内在する普遍性を抽出する新たなアプローチを提供しています。
モデル内部では形態素情報が階層的に表現され、言語によって形態情報の処理方法には違いがありながらも、共通する表現パターンが存在することが分かってきました。多言語表現の比較からは、言語系統樹の再現や言語横断的な意味空間の形成といった言語普遍的なパターンが浮かび上がっています。
LLM内部表現と言語学的理論の接続は始まったばかりですが、実証データに基づく新たな言語研究法として大きな可能性を秘めています。言語モデルは人類の多様な言語データを統一的なベクトル空間に写像しており、その空間を解析することで言語の普遍性と多様性を定量的に評価できます。
今後は、LLMの解釈可能性研究と言語学理論の連携がさらに進むことで、生成文法で仮定される普遍文法パラメータの検証や、類型論で提唱される制約の統計的妥当性チェックなど、多くの貢献が期待されます。GPTの内部表現は言語の謎を解き明かす新たな「観測装置」として機能し始めているのです。
コメント