OpenAIは、開発中のAIモデル「Astra」について、サイバーセキュリティ分野で「Critical（重大）」レベルの能力を持つ可能性を排除できないとの評価を公表しました。直近数日間の社内評価では、エージェント型コーディングとサイバーセキュリティ能力が大幅に向上しており、専門家による評価も踏まえて判断したとしています。
OpenAIが2023年12月に公開した「Preparedness Framework」では、生物、化学、サイバーセキュリティ、AIの自己改善など、高度な能力を持つモデルが登場した際のリスク評価と対応方針を定めています。これまでGPT-5.6-Solを含むモデルは、サイバー分野で「High」と評価されていましたが、Astraはそれを上回る「Critical」の可能性が示された形です。
同フレームワークでは、サイバー分野のCritical基準として、人間の介入なしで、十分に防御された現実世界の重要システムに存在するゼロデイ脆弱性を特定し、実際に機能する攻撃手法を開発できることなどを挙げています。また、高レベルの目的だけを与えられた状態から、防御された標的に対する新たなサイバー攻撃戦略を考案し、実行まで完結できる能力も基準に含まれます。
OpenAIは現在もAstraのベンチマークと評価を継続しており、現時点ではCritical能力を正式に確定したわけではありません。一方で、将来的な展開を見据え、セキュリティ対策を大幅に強化しています。隔離されたテスト環境の利用、ネットワークやツールへのアクセス制限、モデルウェイトの保護と暗号化、監視・検知機能の強化、サンドボックスでの実行などを導入しました。
さらに、強化したセキュリティ要件を満たしていないAstra関連の社内活動を一時停止しています。学習や評価を含むすべてのエージェント型利用では、危険な行動や意図の不整合を検知する監視体制も導入し、高リスクな活動を検知した場合にはレビューや中断につなげる仕組みを整えています。
今後は関係政府機関や一部のAI安全性組織と協力してAstraの能力を検証するほか、第三者のテストパートナーにも高リスク評価を安全に実施するための推奨セキュリティ対策を提供する方針です。なお、OpenAIはAstraについて、以前発生したHugging Faceへの侵入事案には関与していないと明記しています。高度なサイバー能力を、攻撃ではなく防御側の脆弱性発見や修正に活用することを目指すとしています。
出典：Responding to the next frontier of critical cyber capabilities | OpenAI