記事一覧へ戻る

OpenAI、Codexで性能劣化を調査する社内システムを公開

読了目安 4 分

OpenAIは、社内の性能エンジニアリングシステム「Performance Factory」を紹介した。Codexエージェントが性能アラートを調査し、結果を記録して修正案を提示し、コードのデプロイ後には性能が基準値に戻ったかを確認する仕組みだ。ChatGPTなどのサービスで発生する性能劣化への対応を効率化する狙いであり、エージェントが無審査で本番環境を変更するという説明ではない。

調査支援からワークフローへ

OpenAIによると、当初はエンジニアが指標、ログ、トレースやコードを手作業で調べていた。その後、Codexを調査の相棒として使い、さらにチームの知見を「perf-forensics」という共有スキルにまとめた。このスキルは、遅延がいつ始まったか、どのリクエストに影響したか、デプロイや設定変更が原因かといった調査手順をエージェントに示す。過去の回帰事例を使って評価と改善を行ったという。

調査をクラウドで自動起動できるようになっても、診断後の対応や修正、デプロイ後の確認は人手に残っていた。Performance Factoryでは、作業を状態付きのタスクとして管理し、エージェントとエンジニアの間で引き継げるようにした。レビューやデプロイを待つ間は処理を中断し、関連イベントが届いてから再開できる。

仕組みを構成する四つの要素

  • タスクサービスは、ワークフローの状態、遷移条件、人の確認が必要な段階を定義する。設定ファイルとMarkdownの指示文で、各段階の作業内容を記す。
  • ディスパッチループは、次の処理に進めるタスクを探し、その状態に応じた指示でCodexを起動する。
  • クラウド実行環境では、エージェントがOpenAIのネットワーク内でコードリポジトリや指標、ログ、トレース、CPUプロファイルなどを利用する。サービスIDによって権限を限定し、操作主体も識別する。
  • イベント購読は、レビューコメント、CIの結果、デプロイ完了などを契機にタスクを再開させる。待機中にエージェントを動かし続ける必要がない。

回帰対応では、アラートを受けたエージェントが調査結果を記録し、修正案を提示する。エンジニアが確認・承認した後に変更をデプロイし、別のエージェントが性能の回復をチェックする。OpenAIは、3カ月余りで1700件を超える調査を追跡し、600件超の根本原因を特定したと説明している。平均すると1日約17件の自動調査にあたるが、原因特定は必ずしも修正完了を意味しない。

自動化の効果と課題

この仕組みのポイントは、単発のコード解析を速めることだけではなく、調査から検証までの反復作業を追跡可能な工程にまとめた点にある。性能問題はコード、デプロイ履歴、運用データをまたいで調べることが多い。手順を共有し、タスクの状態を残すことで、調査の抜けや引き継ぎの負担を減らせる可能性がある。OpenAIは、よくある最適化を定期実行するワークフローにする構想にも触れている。

一方、修正はエンジニアのレビューを経る。権限もサービスIDを通じて管理されると説明している。公表された数値はOpenAI社内での実績であり、他組織で同じ効果が得られると示すものではない。導入する企業には、診断の正確性を評価し、本番環境へのアクセスを制御し、誤った修正案を人が見つけられる運用を整えることが求められる。エージェントの能力だけでなく、ワークフローと監督設計が成果を左右する。

Web Search

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
自由生成を避ける「System 1 Agents」、選択式でツール呼び出し
AIエージェント
cctest.ai
AIエージェント

自由生成を避ける「System 1 Agents」、選択式でツール呼び出し

System 1 Agentsは、ツールの仕様とユーザーの依頼から選択式の質問を作り、ローカルモデルに回答させることで、ツール呼び出しでの値の捏造を抑えようとする手法です。生物医学ツールを使った評価では、比較対象のローカルLLMエージェントを上回る結果を報告しました。

続きを読む