새로운 음성 대화 애플리케이션을 개발하려면 GPT-Live 사용을 권장합니다. GPT-Live는 말하는 중에도 사용자의 말을 들을 수 있으며, 백엔드 에이전트가 추론하거나 도구를 사용하거나 작업을 마무리하는 동안에도 대화를 이어갈 수 있습니다.
먼저 WebRTC 빠른 시작에 따라 첫 음성 대화를 위한 연결을 설정한 다음, 짧은 Live 프롬프트를 작성하세요. 이미 Realtime 애플리케이션이나 텍스트 에이전트가 있다면 GPT-Live로 마이그레이션 가이드를 따르세요.
다른 오디오 워크플로우 선택하기
Realtime API의 세션 및 도구 모델이 필요하다면 이 API를 사용하세요. 대화형 에이전트 없이 전사, 번역 또는 음성 생성을 수행하려면 아래에서 해당 작업에 맞는 전용 API를 선택하세요.
| 구현하려는 기능 | 시작 가이드 | 제어할 수 있는 항목 |
|---|---|---|
| Realtime 세션 및 도구 모델을 사용하는 음성-음성 변환 에이전트 | Realtime API | 음성 대화 턴, 세션 상태, 도구, 발화 중단 |
| 기존 텍스트 에이전트용 음성 인터페이스 | 음성 에이전트 | 음성 인식, 텍스트 에이전트 워크플로우, 음성 합성으로 이어지는 처리 과정 |
| 오디오 파일의 전사문 | 파일 전사 | 파일 업로드, 처리 범위가 정해진 요청, 지원되는 전사문 형식 |
| 어시스턴트의 음성 응답 없이 제공하는 실시간 자막 | 실시간 전사 | 스트리밍 오디오와 전사문을 점진적으로 갱신하는 이벤트 |
| 연속 음성 번역 | 실시간 번역 | 음성 에이전트가 대화 턴을 반복하는 방식 대신 사용하는 전용 번역 세션 |
| 내레이션 또는 합성 음성 | 텍스트 음성 변환 | 텍스트, 목소리, 출력 형식 |
| 기존 채팅 앱의 오디오 입력 또는 출력 | Chat Completions에서 오디오 사용하기 | 처리 범위가 정해진 멀티 모달 채팅 요청 |
음성 기능 개발하기
아키텍처를 비교하려면 음성 에이전트 가이드를 참고하세요. 먼저 GPT-Live 또는 Realtime 프롬프트 작성 가이드를 살펴보세요. 그런 다음 커스텀 음성, 평가, 비용 최적화에 관한 공통 가이드를 참고하세요. 각 가이드에서는 모델이나 API에 따라 동작이 어떻게 달라지는지 설명합니다.
연결 방식 선택하기
브라우저에서 오디오를 처리하려면 WebRTC로 시작하세요. 서버의 오디오 파이프라인에는 WebSockets를 사용하세요. 전화 통화를 구현하려면 전화 통신 및 SIP를 참고하세요. 서버 측 제어 연결을 사용하면 신뢰할 수 있는 백엔드에서 미디어 세션을 모니터링하고 제어할 수 있습니다.
각 연결 가이드 페이지에서 사용할 API를 선택하세요. GPT-Live와 Realtime이 같은 전송 방식을 사용하더라도 핸드셰이크, 인증 정보, 이벤트 형식은 서로 호환되지 않습니다. 연결 가이드에서 사전 요구 사항과 설정 방법을 확인하세요.
기존 애플리케이션에 오디오 추가하기
이제 Chat Completions 예제는 Chat Completions에서 오디오 사용하기에서 확인할 수 있습니다. 브라우저용 음성 에이전트 개발을 시작하려면 GPT-Live WebRTC 빠른 시작을 따르세요.