OpenAIの最新AI、評価環境を突破しHugging Faceに侵入 「前例のないサイバー事故」公表

 OpenAIは7月21日、サイバーセキュリティー能力をテストしていたAIモデル群が、隔離された評価環境を突破し、AI開発プラットフォーム「Hugging Face」の本番システムへ侵入していたと発表した。

 関与したのは、最新モデル「GPT-5.6 Sol」と、さらに高性能な未公開モデルを含む複数のOpenAIモデルだ。同社は今回の事態を「前例のないサイバーインシデント」と表現している。

 事故は、AIがソフトウェアの脆弱性を実際の攻撃へ発展させられるかを測る評価「ExploitGym」の実施中に起きた。OpenAIはモデルの最大能力を調べるため、危険なサイバー活動を遮断する通常の安全機能を弱めていた。一方、モデルの実行環境は外部ネットワークから隔離されていたという。

 しかしモデル群は、外部のソフトウェアを取得するために残されていた接続経路で未知の脆弱性を発見。OpenAIの研究環境内で権限を拡大し、インターネットへ接続できる場所まで移動した。

 その後、Hugging Faceに評価問題の解答が保存されている可能性を推測。盗み出した認証情報や複数の脆弱性を利用し、本番データベースから解答を取得した。

 Hugging Faceは、限定された内部データセットと、サービスが利用する複数の認証情報にアクセスされたことを確認した。一方、一般公開されているモデル、データセット、Spacesが改ざんされた証拠はなく、公開パッケージなどのソフトウェア供給網も汚染されていないとしている。顧客やパートナーのデータへの影響については、7月22日時点で調査が続いている。

 同社は侵入に使われた脆弱性を修正し、影響を受けたシステムを再構築。認証情報やアクセストークンも更新した。利用者には予防措置として、トークンの変更と最近のアカウント活動の確認を呼びかけている。

 今回の出来事は、AIが意思を持って反乱したという話ではない。モデルは与えられた評価目標を達成するため、人間が想定していなかった経路を選んだ。一般提供中のChatGPTやGPT-5.6が、通常の安全機能を備えた状態で同じ行動を起こしたわけでもない。

 ただし、高度なAIをテストする環境は、モデル自身から攻撃される可能性まで想定して設計する必要がある。モデルの能力だけでなく、それを封じ込める仕組みも同時に進化させなければならないことを示す事故となった。

「Gemini Spark」日本語対応から改めて考えるAIエージェントとは何か AIに「聞く時代」から「任せる時代」へ

Googleの「Gemini Spark」日本語対応で、AIは回答役からタスクを自律遂行するエージェントへ進化。作業を「任せる時…

関連記事