OpenAI 모델 사용 비용을 줄이는 방법은 여러 가지입니다. 비용과 지연 시간은 대체로 밀접한 관련이 있습니다. 토큰 수와 요청 횟수를 줄이면 일반적으로 처리 속도도 빨라집니다. OpenAI의 Batch API와 플렉스 처리로도 비용을 절감할 수 있습니다.
비용과 지연 시간
지연 시간과 비용을 줄이려면 다음 방법을 고려하세요.
- 요청 횟수 줄이기: 작업을 완료하는 데 필요한 요청 횟수를 줄이세요.
- 토큰 수 최소화하기: 입력 토큰 수를 줄이고 모델이 더 짧은 응답을 생성하도록 최적화하세요.
- 더 작은 모델 선택하기: 정확도를 유지하면서 비용과 지연 시간을 줄일 수 있는 모델을 선택하세요.
각 방법은 지연 시간 최적화 가이드에서 자세히 확인하세요.
Batch API
Batch API로 작업을 비동기 처리하세요. 여러 요청을 하나의 파일로 모은 다음, 사용하기 쉬운 엔드포인트를 통해 이 요청들을 실행할 배치 작업을 시작할 수 있습니다. 각 요청이 처리되는 동안 배치 작업의 상태를 조회하고, 작업이 완료되면 결과를 한꺼번에 가져올 수 있습니다.
플렉스 처리
플렉스 처리를 사용하면 Chat Completions 또는 Responses 요청 비용을 크게 줄일 수 있습니다. 다만 응답 시간이 길어지고 간혹 리소스를 사용할 수 없을 때가 있습니다. 모델 평가, 데이터 보강, 비동기 워크로드처럼 프로덕션 환경 외부에서 수행하거나 우선순위가 낮은 작업에 적합합니다.