저장소 읽기 중앙값 120→10ms… 오픈AI 개선기
3줄 요약
- 오픈AI가 10월 23일 Habitat 저장소 개선기를 공개했다.
- 읽기 지연 중앙값(p50)이 약 120ms에서 10ms로 줄었다는 자체 보고다.
- 캐시·복제·Rust 전환을 결합한 올해 누적 결과다.
실무개발자
이번 글은 기존 시스템의 개선 결과를 설명한 기술 보고다. ChatGPT 답변 생성 전체가 같은 비율로 빨라졌다는 뜻은 아니다.
9월 11일 공개된 1편에 따르면 Habitat은 로그인, Codex 설정 확인, ChatGPT 대화 시작 등에 필요한 데이터를 읽는 공통 저장 플랫폼이다. 제품 개발자가 데이터베이스의 라우팅·권한·암호화 등을 일일이 다루지 않도록 감춘다. 여러 서비스에 흩어져 있던 저장 로직을 독립 서비스로 옮겨 배포와 관찰도 한곳에서 관리하게 했다.
작고 지연에 민감한 데이터는 넓게 복제하고, 나머지는 요청 가까이 둔 Valkey 캐시를 활용했다. Habitat 서비스의 Rust 전환도 포함된다.
다만 먼 저장소를 읽는 캐시 미적중 요청은 여전히 느리다고 밝혔다. 중앙값만으로 가장 느린 요청의 지연까지 알 수는 없다.
왜 중요한가
AI Ping은 성능 수치에서 먼저 측정 구간을 확인해야 한다고 본다. 우리 서비스의 개선 순서를 정할 때도 모델 생성, 데이터 조회, 화면 표시의 대기를 나눠 재야 원인을 좁힐 수 있다.
누구에게 중요한가
- 개발자
- 캐시를 넣거나 언어를 바꾸기 전에 실제 요청의 중앙값과 느린 구간을 각각 측정하자.
