
OpenAIは、研究インフラ全体で動くモデルのワークロードを追跡し、安全性やセキュリティ上の懸念が生じた際に迅速に停止するための一元管理システム「Control Room」を構築したと公表しました。同社は、モデルの能力が高まり安全性やセキュリティのリスクも増すなかで、潜在的な問題を検知して必要に応じモデルをすばやく止められることが重要になっていると説明しています。
Control Roomは、モデルの学習や評価のためのエージェントによるサンプリング、データ処理など、研究用のあらゆる推論ワークロードを接続します。同社のミスアライメント監視システムと連携し、ジョブの停止や一時停止の介入を判断してから35秒以内にモデルの出力を止めます。他のシステムに障害が起きても動作を続け、Control Room自体が止まった場合にはモデルの出力を止める設計だということです。すでに、最も必要性の高い研究インフラ全体に導入されています。外部向けのモデル提供基盤はもともと構成がはるかに集約されており、デプロイ済みモデルの提供を迅速に停止できる運用体制は十分に整っているとしています。
仕組みは、ワークロード、推論エンジン、Control Roomサービスの3要素で成り立っています。ワークロードは強化学習の実験や評価、大量のサンプリングなどのジョブを指し、エージェントによる推論を行う研究ワークロードには、承認済みのセーフティケースとの紐付けを義務付けています。推論エンジンはGPU上で動くモデルそのものです。エンジンはリクエストを処理する前にControl Roomサービスへ確認し、ジョブが停止済みならリクエストを拒否して、それ以上の出力を防ぎます。
流れとしては、ジョブの開始時にワークロードのコードがControl Roomへ新しいjob_idを要求します。モデルからトークンをサンプリングするたびに、job_idを付けて推論エンジンにリクエストを送り、エンジンがControl Roomに処理の許可を求めます。ジョブが終了済みであれば拒否応答が返り、出力は生成されません。
監視システムとの連携例も示されました。フロンティアモデルの強化学習ジョブはすべて、学習中のモデルの動作を検査して問題があればアラートを出す監視モデルを伴って実行されます。先日のDNS関連のインシデントも、この監視モデルが検知したといいます。監視システムは問題の内容や深刻度に応じて停止を判断し、job_idとともに停止の指示をControl Roomへ送ります。以降、そのjob_idのリクエストは使うエンジンやモデルを問わず拒否されます。
停止指示を受けてから処理を進められなくなるまでは最大35秒かかります。この遅延は、必要なトラフィック量に対応するための推論の認可用キャッシュ層によるもので、同社は遅延をゼロにする取り組みを進めています。
信頼性の面では、終了の仕組みを推論層に実装しました。ワークロードのコードは頻繁に変わり、分散して管理されるため、重要な保護機能の実装先に向かないという判断です。OpenAIの研究全体で使われる推論のコードパスはごく少数で、デプロイも集約されており、すべての推論リクエストでControl Roomの認可チェックが行われることを強く保証できるとしています。さらに、Control Roomが未実装または無効な不正なエンジン実装が起動されていないか、エージェントとプログラムで継続的に検査しています。
また「フェイルクローズ」を採用し、何らかの理由でControl Roomサービスが停止・無効化された場合は、正常な動作が再開するまですべての推論リクエストを拒否します。フロンティアモデルの研究ワークロードにはすべて導入済みで、残りも今後数日以内に完了する予定です。同社は今後数か月、意図に沿わない挙動やセキュリティ侵害の監視に投資し、システムの強化と拡充を続けるとしています。
