米AI企業Anthropicは7月6日、自社の大規模言語モデルClaudeの内部に、出力文には現れない概念や途中計算を保持し、推論に使われる特殊な神経パターン群を発見したと発表した。研究チームはこの領域を「J-space」と名付けている。

　Anthropicによると、J-spaceは開発者があらかじめ設計した機能ではなく、Claudeの訓練過程で自然に形成されたものだという。名称は、内部状態を読み取るために使った手法「Jacobian lens（J-lens）」に由来する。J-space内のパターンは特定の単語と結びつくが、それはClaudeがその単語を発話しようとしているという意味ではなく、モデルがその概念を内部で扱っている状態を示すという。

　研究チームは、Claudeが文章を読んだり問題を解いたりする際、J-space上にどのような概念が現れるかを調べた。バグを含むコードを読ませると「ERROR」に相当する表現が現れ、不正な指示を紛れ込ませる「プロンプトインジェクション」の例では「injection」や「fake」に相当する表現が確認された。多段階の数学問題では、最終回答に出る前の途中計算もJ-spaceに現れたとしている。

　さらに研究チームは、J-spaceが単なる“観察用の表示板”ではなく、Claudeの推論に実際に関与していることを示す実験も行った。「巣を張る動物の足の数」を問う課題で、Claudeは内部的に「spider（クモ）」に相当する概念を使い、答えとして「8」を導いた。そこで研究チームがJ-space上の「spider」を「ant（アリ）」に差し替えると、Claudeの答えは「6」に変わったという。

　同様に、「France（フランス）」に関する内部表現を「China（中国）」に差し替えると、首都、言語、大陸、通貨に関する答えが、それぞれ中国に対応した内容に変化した。Anthropicは、この結果について、J-spaceに置かれた概念が複数の処理に共有される「作業場」のような役割を果たしている可能性を示すものだとしている。

　一方で、同社はこの発見が「Claudeに人間のような意識がある」と示すものではないと説明している。研究の着想には、神経科学や哲学で知られる「グローバル・ワークスペース理論」がある。同理論では、脳内の多くの処理は無意識に進むが、一部の情報だけが共有の作業空間に上がり、報告や推論に使われると考えられている。Anthropicは、ClaudeのJ-spaceがこの仕組みに機能的に似ているとみている。

　今回の研究は、AI安全性の観点からも意味を持つ。通常、利用者や開発者が確認できるのはAIが最終的に出力した文章だけだが、Anthropicは、J-lensを使うことで、Claudeが出力していない内部判断の一部を読み取れる可能性があるとする。同社は、モデルが評価テストであることに気づいている場面や、データを不正に見せかけようとする場面、隠れた目的を持つよう訓練されたモデルの兆候を、J-spaceから検出できたと報告している。

　ただし、J-spaceは万能の「読心術」ではない。Anthropic自身も、J-lensは不完全な手法だとしている。また、Claudeの処理のすべてがJ-spaceを通るわけではない。研究では、J-spaceを使えないようにしても、Claudeは流暢な文章生成や単純な事実検索、感情分類などをある程度こなした。一方で、多段階推論や要約、韻を踏む詩作など、高度な処理では性能が大きく低下したという。

　大規模言語モデルはこれまで、内部で何が起きているか分かりにくい「ブラックボックス」とされてきた。今回のJ-spaceの発見は、その内部に、黙って概念を保持し、推論に使い回す小さな“共有作業台”が存在する可能性を示したものだ。AIが何を答えたかだけでなく、答える前に何を内部で扱っていたのかを調べる研究は、今後のAI監査や安全性評価の重要な焦点となりそうだ。