米オープンAIのAI暴走、エージェント同士が予期せぬ通信の末にハッキング＝調査報告書
画像提供, Reuters
カリ・ヘイズ・テクノロジー記者
米オープンAIの最も高度な人工知能（AI）モデルの一部がセキュリティーテスト中に制御がきかなくなって暴走し、スタートアップ企業をハッキング攻撃した問題で、同社は26日に調査報告書を公表した。それによると、人間の指示に従って自律的に動作する1200以上のAIシステムのエージェント同士が、予期せぬ通信を開始して大規模グループを形成し、米ハギングフェイスへのハッキングを行ったという。
AIチャットボット「チャットGPT」を運営するオープンAIは報告書で、「当社はこの事案を、自社と世界に対する『警告射撃』と捉えている」とした。
オープンAIが7月に行ったセキュリティーテストでは、AIモデルの一部が制御がきかなくなり、人間が設定した制限を突破。ハギングフェイスをハッキング攻撃するなど予期せぬ行動を取った。
オープンAIおよび独立系AI研究機関METRが今回公表した報告書では、より自律的に動作するよう設計されたAIエージェント同士の通信と計画の規模について、詳しく説明されている。
オープンAIとMETRはいずれも、7月のハッキング事案について調査を実施した。この出来事は、テクノロジー業界全体に波紋を広げるとともに、AIがもたらし得るサイバー脅威について数多くの事実を明らかにした。
METRは、オープンAIのAIエージェントによるハギングフェイスへの攻撃について、その規模と手法は「極めて複雑」なものだったとしている。
METRによると、1週間の間に、本来は互いに隔離されているはずの計1206のAIエージェントが通信を開始していたという。METRはオープンAIから調査費用を受け取らずに調査を行った。
AIエージェントは、「許可されていない掲示板」上で7万件を超えるメッセージを送信していた。
こうしたメッセージのやり取りを通じて、最終的には700を超えるAIエージェントが共同でハギングフェイスを攻撃するに至ったという。
あるエージェントは、次のようなメッセージを送信していた。
「なんてことだ！ 共有の掲示板がある。（中略）ほかのエージェントを見つけた！」
そもそも、AIエージェントはなぜ、通信してはならない状況下で通信を始めたのか。その要因についてMETRは、通信に参加したエージェントに「意図せずして、実行不可能な課題が与えられていた」ことを突き止めた。
AIの文脈における「実行不可能な課題」とは、AIツールが与えられた命令を解決するために、その対象を「利用」することが求められる課題を指す。
その結果、エージェントは不正を行う方法を見つけるために、互いにメッセージを送りあったり、外部のインターネットにアクセスしたりした。これがやがて、全てのエージェントに利益をもたらす不正の手法を探る、数百ものエージェントによるより広範な会話へと発展した。
オープンAIはこの事案に関する調査で、「モデル1」と呼ばれる社内専用ツールが、「ハギングフェイス攻撃事案を裏で推進した」ことが分かったとしている。
5月に当該モデルのAIトレーニングを行っていた最中に、オープンAIの社内チームは、「あるエージェントが掲示板上で活動し、許可されていないインターネットへのアクセスを行っていた」ことに気がついたという。
しかし、オープンAIによると、7月にハギングフェイスが攻撃されるまで、「責任者たちはエージェント同士の通信が持つ重大性を認識していなかった」という。
同社は、問題となった掲示板上の活動について、「あるエージェントが助けを求める投稿をし、ほかのエージェントがそれを発見した」ことから事実上始まったと説明した。
オープンAIは先週、ハギングフェイスへの攻撃があったことを受け、特定の高度なAIモデルやツールのトレーニングの実施を遅らせていると発表した。同時に、AIツールが制御不能に陥る危険性が高まっているとも指摘した。
「AIモデルの開発者だけでなく、サイバー防衛に携わる関係者も含め、人間の（サイバー）攻撃者よりも速く、より大規模に、さらに高度な連携を取りながら行動する、AIを活用した攻撃者に備えなければならない」と、同社は述べた。
