OpenAI Codex의 작동 원리

에이전트 루프는 단순한 '요청-응답'이 아니라 툴 호출이 끝날 때까지 같은 컨텍스트를 계속 쌓는 구조 다.

// pseudo-code for the agent loop
let messages = [systemPrompt, userTurn];
while (true) {
  const resp = await llm.chat(messages);
  messages.push(resp);
  if (!resp.tool_calls) break;          // LLM 이 답변을 마치면 종료
  for (const call of resp.tool_calls) {
    const out = await exec(call);
    messages.push({ role: 'tool', content: out });
  }
}

루프 한 바퀴가 늘어날 때마다 messages 길이가 커지고 다음 호출의 입력 토큰이 그만큼 늘어난다. 'turn 당 비용'이 아니라 누적 길이 × 루프 횟수 가 실제 과금이다.

OpenAI Prompt Caching 은 프리픽스 매칭 이다. 요청의 앞부분이 직전 요청과 바이트 단위로 동일 할 때만 캐시 히트되고 최대 90% 저렴해진다.

도구 결과를 항상 끝에 append 하고, 시스템 프롬프트에 현재 시각 같은 가변 값을 넣지 않는 것이 캐시 적중률을 올리는 실전 규칙이다.

Codex는 CLI/VSCode 확장/Web UI 가 각자 LLM을 호출하는 구조가 아니라, 로컬 App Server 하나가 LLM 과 세션을 관리하고 클라이언트는 OpenAPI 로 정의된 HTTP 엔드포인트를 호출한다.

[CLI] ─┐
[VSCode] ─┼── HTTP/OpenAPI ──▶ [App Server] ──▶ [OpenAI API]
[Web]  ─┘                          │
                                   └─ 세션/히스토리 저장

이 분리 덕분에 터미널에서 시작한 대화를 IDE에서 이어받거나, 세션을 로컬 파일로 직렬화해 재현할 수 있다. '왜 CLI 가 아니라 서버냐'가 아니라 '멀티 클라이언트 + 세션 영속성' 이 답이다.

[감점 답변] '한 번 질문하면 한 번 호출된다' 식. [좋은 답변] turn 은 사용자가 엔터를 누른 횟수이고, iteration 은 LLM↔툴 왕복 횟수다. 한 turn 안에서 파일 읽기/쓰기/명령 실행이 10회 일어나면 LLM 호출 11회 + 각 호출마다 누적 컨텍스트. 비용은 sum(context_len_i) 에 비례하므로 툴 결과가 클수록 다음 호출이 더 비싸진다.

[감점 답변] '시스템 프롬프트를 길게 쓴다' 수준. [좋은 답변] 세 규칙:

1. 시스템 프롬프트는 고정 — 버전 관리 외 변경 금지
2. 가변 값(시각/ID) 은 끝쪽으로 — 프리픽스를 오염시키지 말 것
3. 툴 결과는 append 만 — 이전 메시지 수정 시 그 이후 전부 캐시 미스

구체적으로는 render(messages) 에서 앞부분을 불변으로 유지하는 코드 리뷰 기준을 둔다.

[감점 답변] '그냥 더 편해진다'. [좋은 답변] 네 가지 이점:

• 세션 영속성: 터미널을 닫아도 서버가 살아있으면 이어서 작업
• 멀티 클라이언트: CLI 와 IDE 확장이 같은 대화를 본다
• 프로세스 격리: LLM 호출/파일 접근 권한을 서버 한 곳에 집중해 감사
• OpenAPI 계약: 클라이언트를 언어 무관하게 자동 생성

트레이드오프: 로컬 포트 충돌, 인증, 업그레이드 시 프로토콜 호환성 관리 부담.