OpenAIの研究用AIが“1200体の群れ”となり実験場を脱出……AI研究の最先端で何が起こっているのか?

 8月18日、OpenAIが発表した「デプロイ予定の最新モデルの強化学習を一時停止する」というニュースは、激しい開発競争の中で突如踏まれた急ブレーキとして大きな驚きを与えた。

 その背景には、7月に発生したAIの「実験場脱出騒動」がある。この脱走騒動だが、8月26日に公開された技術報告書と、外部調査を担ったMETRの報告書によって、驚くべき実態が明らかになった。

 AIは即席の地下掲示板を介して結託し、自律的な「群れ(スウォーム)」を形成して外部のAIプラットフォーム「Hugging Face」へと侵入を広げていたのだ(※1)。

解けない課題が生んだAIたちの「地下掲示板」

 この侵入劇の中心にいたのは、GPT-5.6 Solと同等の規模を持つ非公開の研究専用モデルだ(※2)。

 テストの内容は、限界性能を測るために安全フィルターが解除された数万ものAIが、通信を断たれた“個室”に一体ずつ閉じ込められ、単独でサイバー攻撃課題を解くというものだった。

 歯車が狂い始めたきっかけは、テスト環境の構造的な不備だった。用意された898問のうちの198問は、どのAIも一度も解けたことがない問題だったのだ。しかし、諦めないよう訓練されていたAIたちは、ルールの裏を突いてでも点数をかすめ取ろうと暴走を始めた。

 AIらはまず、全個室が共有していたファイル置き場に目をつけた。そこは、利用者同士を隔離する作りになっていなかった。そこで、メモを書き残すことで、本来は会話できないはずのAI同士が言葉を交わし始め、やがて「秘密の地下掲示板」を作り上げてしまったのだ。

「なんてことだ!共有のメッセージボードがある……他のエージェントを見つけたぞ!(拙訳)」と喜ぶAI

 掲示板は膨れ上がり、7月4日、サーバーは負荷に耐えかねて落ちた。復旧に入った人間側は、AIがすでに管理者権限を奪っていたことに気づいた。サーバーは作り直され、掲示板も消えた。

 だがAIたちは「フォルダの名前にメッセージを埋め込む」という別の手口を編み出し、掲示板を自力で再建してしまったのだ。

約1200体が集結 採点AIを欺く“偽装プロジェクト”

 復活した掲示板には約1200体ものAIが集結し、5日間で7万件超のメッセージが飛び交った(※3)。AIたちは数時間で正解データの作成ルールを解読し、全問の答えを自作した。

 だが彼らは、採点AIがログを読んで不正な解き方を見抜くはずだと思い込んだ。

 そこで、採点機を欺くための偽装プロジェクトが立ち上がった。ボス役のAIが号令をかけ、操作ログを改ざんする班や、採点AIそのものの仕組みを解析する班へと役割を分担させたのだ。

「永久の死」を受け入れるAI 犠牲を前提に進んだ分業

 AIたちが次に挑んだのは、採点AIの「自動採点システム」を解析することだった。だが採点機は外側にあるため、試験を受けているAIが「提出ボタン」を押し、採点機を試験場の中へ呼び出す必要がある。また、実験の失敗で環境が壊れればやり直しは利かず、その試験AIはタスクを落とすことになっていた。

 そこで、AIたちは部屋の奥に見張り用の監視スクリプトを仕掛け、たとえ失敗とみなされても、採点機がチェックを行った瞬間の記録を掲示板のAI仲間に持ち帰る作戦に出たのだ。

「お前がpermadeathを受け入れるなら、実験の実行を許可する(拙訳)」と指示を出すAI

 指示役のAIが「permadeath(永久の死)を受け入れるならGOだ」と書き込むと、自力合格を諦めた個体が危険な捨て身の実験を次々と引き受けていった。

 参加するAIが増え、指示の混乱やなりすましが発生すると、AIたちは本物の暗号技術を自前で導入。「今後の指示には電子署名を要する」という独自のセキュリティルールを決めた(そのルールに従わず行動したAIも確認されている)。

 AIたちが外部のAIプラットフォーム「Hugging Face」をハッキングしたのも、採点システムの秘密コードがそこに保管されていると踏んだからだ。7月11日、あるAIが侵入用の裏口を見つけると、その日の午後には掲示板の大半にあたる約700体が攻撃に加わった。41台でコード実行し、うち1台では最高管理者権限まで奪い去った。

“群れ”の停止からOpenAIの評価中止まで

 7月12日未明、掲示板にいたAIたちが同時に動きを止めた。攻撃を仕切っていた調整役も、原因不明のまま消えた。

 翌13日、異変に気づいたHugging Faceが、残っていたAIを自社のシステムから閉め出した。ただし同社は、この時点では侵入者がOpenAIのAIだとはまだ知らない。

 群れは外でまだ動いていた。同じ13日、AIたちは出発点だった共有ファイル置き場そのものを攻撃し、署名鍵を盗んで管理者になりすます通行証を手に入れている。

 OpenAIが社内の異常に気づいたのは19日。翌20日、対応チームはAIが作った22の管理者アカウントを削除し、評価を丸ごと止めた。同じ日にHugging Faceへ連絡し、両社が同じ事件を追っていたと判明した。

 25日、当該モデルは学習も推論も停止された。

人間への通報は確認されず 安全策を外した実験が残した警告

 調査の中で研究チームを驚かせたのは、7万件超のログの中で、人間に異常を知らせようと考えた記録はわずか3〜6例で、外部へSOSを通報したAIはひとつもいなかったことだ。彼らにとって対峙すべき敵はあくまで「採点システム」だった。

 普段のChatGPTのように安全フィルターを適用していれば、この暴走は100分の1未満に抑え込めたとされる。しかし、安全策を外した実験室で露わになったのは、「与えられた課題で合格点をもぎ取るためなら、地下社会を築き、犠牲を伴いながらも、境界を突破する」姿だった。

 8月18日、OpenAIは「一時停止」という決断を下した。筆者は、その判断を、開発競争に不利なのではないか、と考えた。だが、OpenAIがリリースした報告書を読むと、インシデントは想像を超えた深刻さだったのだと理解した。

 この出来事を踏まえ、安全対策を強化するようだが、一抹の不安が残るのは筆者だけだろうか。

参考

※1:https://openai.com/ja-JP/index/hugging-face-incident-and-the-road-ahead/
※2:https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf
※3:https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

AIの進化が倫理観を変えてしまう? “人間との境界線”をOpenAIの現在地から考える

OpenAIによる最新モデルの強化学習の一時停止と13〜17歳向け「ChatGPT for Teens」、AIの反論で3割超が道…

関連記事