新しく音声対話アプリを開発する場合は、GPT-Live から始めましょう。GPT-Live は話しながら相手の声を聞き取ることができ、バックエンドのエージェントが推論したり、ツールを使ったり、タスクを完了させたりする間も会話を続けられます。
まず WebRTC クイックスタートに沿って接続し、最初の音声対話を始めます。次に、短い Live プロンプトを作成します。既存の Realtime アプリやテキストエージェントがある場合は、GPT-Live への移行の手順に従ってください。
その他の音声ワークフローの選び方
Realtime API のセッションやツールの仕組みが必要な場合は、この API を使用します。対話型エージェントを使わずに文字起こし、翻訳、音声生成を行う場合は、以下の表から用途に合った専用 API を選んでください。
| 開発したいもの | 参照先 | 制御できる項目 |
|---|---|---|
| Realtime のセッションとツールの仕組みを使う音声変換エージェント | Realtime API | 音声対話のターン、セッションの状態、ツール、発話への割り込み。 |
| 既存のテキストエージェント用の音声インターフェース | 音声エージェント | 音声をテキストに変換し、テキストエージェントのワークフローで処理した後、結果を音声に変換する一連の流れ。 |
| 音声ファイルの文字起こし | ファイルの文字起こし | ファイルのアップロード、リクエストごとの処理範囲、サポートされている文字起こし形式。 |
| アシスタントが発話しないリアルタイム字幕 | リアルタイム文字起こし | 音声ストリームと、文字起こし結果を順次受け取るイベント。 |
| 連続音声翻訳 | リアルタイム翻訳 | 音声エージェントがターンを繰り返す方式とは異なり、翻訳専用のセッションを制御します。 |
| ナレーションや合成音声 | テキスト読み上げ | テキスト、声、出力形式。 |
| 既存のチャットアプリでの音声入力または音声出力 | Chat Completions での音声の扱い | 処理範囲をリクエストごとに区切ったマルチモーダルなチャットリクエスト。 |
音声エージェントの開発
アーキテクチャを比較するには、音声エージェントを参照してください。まず、GPT-Live または Realtime のプロンプト作成ガイドを確認します。次に、カスタム音声、評価、コストの最適化に関する共通ガイドを参照してください。各ガイドでは、モデルや API によって動作が異なる箇所を明示しています。
接続方式の選び方
ブラウザで音声を扱う場合は、WebRTC から始めましょう。サーバー上の音声処理パイプラインには WebSockets を使用します。電話での通話については、電話と SIP を参照してください。サーバー側の制御用接続を使うと、信頼できるバックエンドからメディアセッションを監視、制御できます。
各接続方式のページで、使用する API を選んでください。GPT-Live と Realtime は同じトランスポートを利用できますが、ハンドシェイク、認証情報、イベント形式には互換性がありません。前提条件とセットアップ手順は、各接続ガイドで確認してください。
既存のアプリへの音声機能の追加
Chat Completions のサンプルは、現在は Chat Completions での音声の扱いに掲載されています。ブラウザで動作する音声エージェントの開発を始めるには、GPT-Live WebRTC クイックスタートを参照してください。