OpenAI가 내부 성능 엔지니어링 시스템 Performance Factory를 소개했다. 이 시스템은 Codex 에이전트가 성능 알림을 조사하고 결과를 기록한 뒤 수정안을 제안하도록 한다. 코드가 배포되면 에이전트가 다시 작업을 이어받아 성능이 기준 수준으로 돌아왔는지 확인한다. ChatGPT 같은 서비스의 성능 저하 대응을 효율화하려는 시도이지, 에이전트가 검토 없이 운영 환경을 바꾼다는 뜻은 아니다.
조사 보조에서 반복 가능한 작업 흐름으로
OpenAI가 설명한 과정은 엔지니어의 수동 조사에서 시작한다. 엔지니어들은 지표와 로그, 트레이스, 코드를 직접 살폈고, 이후 Codex를 조사 파트너로 활용했다. 다음 단계에서는 팀의 경험을 perf-forensics라는 공유 스킬로 정리했다. 이 스킬은 성능 저하가 시작된 시점, 영향을 받은 요청, 배포나 설정 변경과의 연관성을 순서대로 살피도록 안내한다. OpenAI는 과거 성능 회귀 사례를 바탕으로 스킬을 평가하고 개선했다고 밝혔다.
클라우드에서 조사를 자동으로 시작할 수 있게 된 뒤에도 진단 결과를 검토하고 수정하고 배포 효과를 확인하는 일은 엔지니어에게 남아 있었다. Performance Factory는 작업을 상태가 유지되는 태스크로 관리해 에이전트와 사람이 업무를 이어받도록 한다. 코드 리뷰나 배포를 기다리는 동안에는 작업을 멈추고, 관련 이벤트가 발생하면 다시 시작할 수 있다.
시스템을 이루는 네 가지 요소
- 태스크 서비스는 워크플로 상태와 전환 조건, 엔지니어의 참여가 필요한 단계를 정의한다. 설정 파일과 Markdown 지침으로 각 단계의 작업을 설명한다.
- 디스패치 루프는 다음 단계로 진행할 수 있는 태스크를 찾아 해당 지침에 따라 Codex를 실행한다.
- 클라우드 실행 환경은 OpenAI 네트워크 안에서 코드 저장소와 지표, 로그, 트레이스, CPU 프로파일 등의 도구에 접근하도록 한다. 서비스 ID로 권한 범위를 제한하고 에이전트의 작업을 식별한다.
- 이벤트 구독은 리뷰 댓글, CI 결과, 배포 완료 같은 변화가 생겼을 때 태스크를 깨운다. 대기 중에 에이전트를 계속 실행할 필요가 없다.
성능 회귀 워크플로에서는 알림이 조사를 시작하고, 에이전트가 결과와 수정안을 기록한다. 엔지니어가 이를 검토한 뒤 변경 사항이 배포되면 다른 에이전트가 성능 회복 여부를 확인한다. OpenAI에 따르면 이 흐름은 3개월여 동안 1,700건 넘는 조사를 추적했고, 600건 이상의 근본 원인을 찾아냈다. 하루 평균 약 17건을 자동 조사한 셈이다. 다만 근본 원인 파악이 모든 문제의 자동 수정 완료를 뜻하지는 않는다.
기대 효과와 남은 과제
핵심은 단일 분석을 빠르게 하는 데 그치지 않고, 반복되는 엔지니어링 절차를 추적 가능한 작업으로 바꾼 데 있다. 성능 문제는 코드뿐 아니라 배포 이력과 운영 지표를 함께 살펴야 하는 경우가 많다. 작업 상태와 조사 내용을 공유하면 정보 누락과 인수인계 부담을 줄일 여지가 있다. OpenAI는 반복적인 최적화 작업을 여러 서비스에 정기적으로 적용하는 워크플로로 만들 수 있다고도 설명했다.
그러나 수정안은 엔지니어의 검토를 거치며, 시스템 권한은 서비스 ID를 통해 제한한다고 회사는 밝혔다. 공개된 수치는 OpenAI 내부 운영 결과이지 다른 조직에서도 같은 성과가 나온다는 보장은 아니다. 도입을 검토하는 팀은 진단 정확도를 평가하고 운영 환경 접근 권한을 관리하며, 잘못된 제안을 걸러낼 절차를 마련해야 한다. 에이전트의 성능뿐 아니라 업무 흐름과 권한 설계, 사람의 감독이 실제 효과를 좌우할 수 있다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…