백엔드 에이전트가 정보를 조회하고 도구를 사용해 작업을 완료하는 동안 GPT-Live는 사용자와 음성으로 대화합니다. GPT-Live는 말하면서 동시에 사용자의 말을 들을 수 있습니다(전이중 통신). 작업을 백엔드에 맡기는 것을 위임이라고 합니다.
예를 들어 사용자는 주문에 대해 질문한 뒤 백엔드가 주문 상태를 확인하는 동안에도 세부 정보를 덧붙일 수 있습니다. GPT-Live는 사용자와 대화를 이어 가다가 결과를 받으면 이를 설명할 수 있습니다. 백엔드 모델이나 에이전트는 음성 모델과 별도로 선택할 수 있습니다.
GPT-Live와 백엔드의 역할
- GPT-Live는 대화를 담당합니다. 사용자의 말을 듣고 답하며, 언제 백엔드에 도움을 요청할지 판단합니다. 대화 스타일과 작업을 위임할 시점을 짧은 프롬프트로 지정하세요.
- 백엔드는 위임받은 작업을 처리합니다. Responses 위임을 사용할 때는 지원되는 Responses 모델을 선택하세요. 클라이언트 위임을 사용할 때는 애플리케이션에서 실행하는 모델, 에이전트 하네스 또는 서비스를 자유롭게 연결할 수 있습니다. 백엔드는 추론하고 도구를 사용한 뒤 GPT-Live가 사용자에게 전달할 결과를 반환합니다. 세부 지침, 비즈니스 규칙, 도구 사용 워크플로우는 백엔드에 두세요.
애플리케이션은 권한을 확인하고, 필요한 확인을 받은 뒤 시스템에 접근하는 함수를 실행하며, 작업 진행 상황을 저장합니다. 통화 중 사용자가 어시스턴트의 말을 끊어도 백엔드 작업은 계속될 수 있습니다. 작업을 끝까지 진행할지 취소할지는 애플리케이션이 결정합니다. GPT-Live를 Realtime 및 여러 처리 단계를 연결한 음성 애플리케이션과 비교하려면 음성 에이전트를 참고하세요.
백엔드 실행 방식 선택하기
먼저 Responses 위임 모드로 시작하세요. 이 모드에서는 OpenAI가 백엔드 모델을 실행하고 이 모델과 GPT-Live 사이에서 대화 컨텍스트와 결과를 전달합니다. 직접 정의한 함수 도구는 계속 애플리케이션에서 실행합니다. 기존 에이전트를 연결하거나 백엔드의 컨텍스트, 실행 과정, 반환 결과를 직접 제어하려면 클라이언트 위임 모드를 선택하세요.
두 방식의 차이와 자세한 설정 방법은 위임 모드 선택하기를 참고하세요. 세션을 생성할 때 모드를 선택하세요. 모드를 변경하려면 새 세션을 시작하세요.
첫 세션 연결하기
먼저 GPT-Live WebRTC 빠른 시작을 따라 해 보세요. 브라우저와 서버로 구성된 예제에서는 마이크 입력과 스피커 출력을 연결하고, 웹 검색이 가능한 Responses 백엔드를 사용합니다.
마이크, HTTPS 또는 로컬호스트를 통해 제공되는 웹 페이지, OpenAI 프로젝트 API 키가 있는 신뢰할 수 있는 서버가 필요합니다. API 키는 서버에 보관하세요.
- GPT-Live가 언제 백엔드에 도움을 요청해야 하는지 알려 주는 짧은 대화 프롬프트를 작성하세요.
- 빠른 시작에 따라 브라우저의 마이크, 오디오 재생, 이벤트 채널을 연결하세요. 서버는 세션을 생성하고 브라우저의 연결 제안(offer)을 보내 응답(answer)을 받습니다.
session.started이벤트가 발생할 때까지 기다린 다음 말을 건네고 답변을 들어 보세요. 웹 검색 백엔드를 테스트하려면 최신 정보가 필요한 질문을 하세요.- 대화를 마치고 세션을 종료해 최종 사용량을 수집하고 연결을 해제하세요.
첫 테스트에서는 어시스턴트의 답변을 듣고 백엔드의 검색 결과가 반영되었는지 확인하세요.
GPT-Live 음성 세션 요금은 세션 시간에 따라 초 단위로 청구됩니다. 현재 요율은 모델 요금에서 확인하세요. 백엔드 모델과 도구 사용 요금은 별도로 청구됩니다. 사용량 산정 방식과 비용을 줄이는 방법은 비용 최적화를 참고하세요.
샘플 앱과 클라이언트 SDK
- OpenAI Live Console 로컬 샘플 앱에서 GPT-Live 대화, 작업 위임, 백엔드의 도구 사용 과정을 살펴볼 수 있습니다.
- Switchboard OpenAI Live Toolkit 서드 파티 React Native SDK를 사용하면 iOS용 GPT-Live 애플리케이션을 개발할 수 있습니다.
연결 방식 선택하기
- WebRTC 연결은 브라우저, 모바일, 서버 애플리케이션에서 오디오를 주고받을 때 권장됩니다. 오디오는 미디어 트랙으로, JSON 이벤트는 데이터 채널로 전송합니다.
- WebSockets 연결도 지원됩니다. 하나의 연결로 오디오와 제어 이벤트를 전송합니다.
- 전화 통신 및 SIP 방식으로 전화 통화를 연결하세요.
백엔드에서 기존 세션을 모니터링하거나 제어하려면 서버 측 연결을 추가하세요. 이렇게 추가한 WebSocket 연결을 사이드밴드라고 합니다. 오디오는 계속 세션의 기본 연결로 전송됩니다.
파트너 통합
애플리케이션에서 이미 LiveKit, Twilio, Telnyx, Bandwidth 또는 Daily/Pipecat을 사용한다면 파트너 통합 개요에 따라 기존 통화나 오디오 스트림을 GPT-Live에 연결하세요.
다음 단계
- 대화 스타일과 위임 동작을 설정하려면 GPT-Live 프롬프트 작성하기를 참고하세요.
- 도구를 연결하고 백엔드 지연 시간을 줄이려면 위임과 도구를 참고하세요.
- 컨텍스트, 대화 전사 기록, 세션 수명 주기를 관리하려면 세션 관리하기를 참고하세요.
- Realtime 에이전트나 텍스트 기반 에이전트에 맞는 마이그레이션 방식을 선택하려면 GPT-Live로 마이그레이션하기를 참고하세요.
- 대화와 작업의 결과를 테스트하려면 음성 에이전트 평가하기를 참고하세요.