音声対話アプリケーションを新しく開発する場合は、 GPT-Live から始めてください。発話中も音声を聞き取ることができ、バックエンドのエージェントが推論やツールの使用、タスクの実行を進めている間も会話を続けられます。
WebRTC クイックスタートで最初の会話の接続を確立し、短い Live プロンプトを作成してください。既存の Realtime アプリケーションやテキストエージェントがある場合は、GPT-Live への移行の手順に従ってください。
その他の音声ワークフローの選択
Realtime API のセッションとツールの処理モデルが必要な場合は、Realtime API を使用してください。対話型エージェントを使わずに文字起こし、翻訳、音声生成を行う場合は、以下の専用 API を選択してください。
| 開発する機能 | 最初に読むガイド | 制御できる内容 |
|---|---|---|
| Realtime のセッションとツールの処理モデルを使う音声変換エージェント | Realtime API | 音声のターン、セッションの状態、ツール、割り込み |
| 既存のテキストエージェント向けの音声インターフェース | 音声エージェント | 音声からテキストへの変換、テキストエージェントのワークフロー、それに続くテキスト読み上げ |
| 音声ファイルの文字起こし | ファイルの文字起こし | ファイルのアップロード、個々に完結するリクエスト、サポートされる文字起こし形式 |
| アシスタントの発話を伴わないリアルタイム字幕 | リアルタイム文字起こし | ストリーミング音声と、文字起こし結果を逐次伝えるイベント |
| 連続的な音声翻訳 | リアルタイム翻訳 | 音声エージェントがターンを繰り返すループではなく、翻訳専用のセッション |
| ナレーションや生成音声 | テキスト読み上げ | テキスト、音声、出力形式 |
| 既存のチャットアプリでの音声入力または出力 | Chat Completions での音声 | 個々に完結するマルチモーダルチャットリクエスト |
音声を活用した開発
アーキテクチャの比較には、音声エージェントのガイドを参照してください。まずは GPT-Live または Realtime のプロンプトガイドから始めてください。その後、カスタム音声、評価、コストの最適化に関する共通ガイドを活用してください。各ガイドでは、モデルや API に固有の動作を区別して説明しています。
接続方法の選択
ブラウザで音声を扱う場合は、WebRTC から始めてください。サーバーの音声パイプラインには WebSockets を使用してください。電話での通話については、電話と SIP を参照してください。サーバー側の制御接続を使うと、信頼できるバックエンドからメディアセッションを監視、制御できます。
各接続方法のページで、使用する API を選択してください。同じトランスポートを使っていても、GPT-Live と Realtime のハンドシェイク、認証情報、イベント形式を相互に置き換えることはできません。前提条件とセットアップ手順は、接続ガイドで確認してください。
既存のアプリケーションへの音声機能の追加
Chat Completions の例は、Chat Completions での音声に移動しました。ブラウザで動作する音声エージェントの開発を始めるには、GPT-Live WebRTC クイックスタートを利用してください。