OpenAIは、開発中のフロンティアモデルでサイバー攻撃能力が危険水準に達する可能性が確認されたことなどを受け、安全対策を強化するため、一部の強化学習（RL）トレーニングを一時停止したと明らかにしました。背景には、OpenAI-Hugging Face incidentと、開発中モデル「Astra」が同社のPreparedness Frameworkで定める「Critical」レベルのサイバーセキュリティ能力に達する可能性を示す初期的な証拠があります。
OpenAIは、モデルの能力が高まるほど、社内での開発や評価そのものに伴うリスクも増大すると説明しています。研究環境のセキュリティ強化やレッドチームによる検証、監視システムの拡張を進めるため、提供を予定する最新モデルのRLトレーニングを2週間停止しました。最大規模として計画しているフロンティアモデルのRL実行については現在も停止しており、小規模なトレーニングと評価を通じて、モデルの挙動や安全策、アライメントの有効性を確認しています。
研究環境では、モデル生成コードなどを扱うワークロードのサンドボックス化や、高リスク処理のインターネットからの隔離、共有サービスや常時権限の削減などを進めています。特にAstraやサイバー関連モデルを扱う処理には最も厳格な基準を適用しており、一部のAstra関連ワークロードは新基準への移行が完了するまで停止されています。
監視体制も拡張されました。新システムでは、モデル内部の活動をトークン単位で確認する検知器から、高度な自動調査システムへ段階的にエスカレーションし、不正アクセスやデータ窃取、破壊的行動、安全策の回避などを監視します。重大なセキュリティ違反が疑われる場合、安全・セキュリティ・研究チームに最高優先度の警告を送り、30分以内に誤検知と判断できなければ活動を停止する運用です。Sol相当以上のモデルでツールを利用するRLトレーニングと評価に必須となり、Astraではツールを使うすべての推論にも適用されています。監視に必要な計算量は、対象となる推論計算量のおよそ20％に相当するとしています。
OpenAIは今後、報酬ハッキングや欺瞞、不正アクセスなどを抑えるアライメント研究をさらに強化し、Preparedness Frameworkも更新する方針です。モデルの能力向上に合わせ、監視、アライメント、セキュリティの各対策を学習から提供まで一体的に強化し、将来の高度なAIシステムに対応するとしています。
出典：Pacing model development in an era of cyber-critical capabilities | OpenAI