1년 전, OpenAI는 개발자와 기업이 유용하고 신뢰할 수 있는 에이전트를 만들 수 있도록 Responses API를 선보였습니다. 모델에 호스팅형 도구를 제공하면서 AI는 대화를 나누는 어시스턴트에서 사용자를 대신해 행동하는 시스템으로 발전할 수 있었습니다. 오늘날 Responses API는 에이전트 워크플로우를 실행하는 다양한 도구를 지원하며, 더 강력한 모델로 제품을 개발하는 데 필요한 새로운 기능과 기본 구성 요소도 제공합니다.
현재 수천 명의 개발자가 Responses API를 활용해 고객 지원, 법률, 생명과학, 여행 등 다양한 분야에서 생산성을 높이고 있습니다. 그동안 이들 업계의 성공 사례를 여러 차례 소개했습니다. 오늘은 출시 1주년을 맞아 지난 한 해 동안 Responses API로 제품을 만들어 온 개발자들의 이야기 중 비교적 덜 알려진 다섯 가지를 소개합니다.
AI 에이전트의 오류 감지와 수정
Raindrop AI의 Alexis Gauba와 Ben Hylak
도구: 자체 개발 도구
모델: GPT-5.2(GPT-5.4 테스트 중)
Raindrop은 세계 곳곳에서 야심 찬 프로젝트를 추진하는 AI 기업들이 프로덕션 환경에서 에이전트가 예상과 다르게 동작하는 순간을 포착하는 데 쓰는 모니터링 플랫폼입니다. 에이전트가 복잡해질수록 이런 오류의 영향도 커졌습니다.
Responses API가 없었다면 이런 모니터링 시스템을 구축하기가 훨씬 어려웠을 겁니다. 시스템의 신뢰성도 크게 떨어졌을 테고요.
Raindrop은 Vercel AI SDK를 통해 Responses API로 백그라운드 분석을 실행합니다. 덕분에 여러 모델 제공업체에서 같은 도구를 쓸 수 있고 다른 환경으로 시스템을 옮기기도 쉽습니다. 이 워크플로우는 평소와 다른 동작을 찾아냅니다. 문제가 생기면 시스템이 개발자에게 알리고 원인을 진단하도록 돕습니다.
플랫폼의 핵심은 다음 세 가지 시스템입니다.
- 에이전트 동작 모니터링
- 오류 감지 및 알림
- 개발자용 조사 및 디버깅 도구
개발팀은 이 세 시스템을 함께 사용해 AI 에이전트의 문제를 발견하고 추적하며, 프로덕션 시스템에 영향을 미치기 전에 수정할 수 있습니다.
모니터링 아키텍처

이 아키텍처를 통해 팀은 에이전트 동작을 지속적으로 모니터링하고 문제가 생기면 신속하게 대응할 수 있습니다.
1. 에이전트 동작 모니터링
시스템은 에이전트의 동작을 지속적으로 평가해 예상대로 작동하는지 판단합니다.
개발자가 바람직하지 않은 결과를 판별할 조건을 설정하면 플랫폼은 해당 조건이 충족될 때 알림을 보낼 수 있습니다.
2. 오류 감지 및 알림
Raindrop은 이상 징후를 감지하면 개발자에게 알리고 문제 조사에 필요한 컨텍스트를 제공합니다.
플랫폼이 제공하는 도구로 다음 작업을 수행할 수 있습니다.
- 에이전트 버전에 따른 동작 변화 추적
- 오류를 일으킨 프롬프트 또는 시스템 변경 사항 식별
- 추론 기록 및 도구 호출 검토
이를 통해 개발자는 오류의 근본 원인을 빠르게 찾아 수정 사항을 배포할 수 있습니다.
3. 조사 및 디버깅 도구
Raindrop은 개발자가 에이전트 워크플로우의 문제를 진단하는 데 쓸 수 있는 도구도 제공합니다. 팀은 이 도구를 사용해 감지한 오류를 조사하고 그 결과를 시스템 개선에 반영할 수 있습니다.
Raindrop AI는 장시간 실행되는 모든 백그라운드 분석 워크플로우에 Responses API를 사용합니다. 이 API가 없었다면 이런 모니터링 시스템을 구현하기가 훨씬 어려웠을 것입니다.
복잡한 데이터 분석을 위한 심층 추론 워크플로우
Repo Prompt의 Eric Provencher
사용한 도구: App Server 및 MCP와 연동한 Codex, 웹 검색
사용한 모델: GPT-5.3-Codex
계획을 세우거나 검토할 때 추론 모델이 필요한 정보를 찾는 데 컨텍스트 윈도우를 낭비하지 않도록, 별도의 에이전트가 컨텍스트를 미리 선별합니다. 그래야 추론 모델이 문제를 해결하는 데 추론 능력을 최대한 쓸 수 있습니다.
Eric Provencher는 개발자와 연구자가 방대한 문서 모음, 코드베이스, 데이터셋을 심층 분석할 수 있도록 돕는 시스템을 만들었습니다.
Repo Prompt는 컨텍스트 엔지니어링에 집중합니다. 관련 정보를 자동으로 수집하고 정리한 뒤 추론 모델이 효과적으로 분석할 수 있도록 구조화합니다.
많은 에이전트 시스템이 데이터 수집에 집중하는 반면, Eric은 컨텍스트 수집과 심층 추론을 별개의 단계로 설계했습니다. 에이전트 워크플로우가 필요한 컨텍스트를 모아 선별한 정보를 추론 모델에 전달하면, 모델은 분석에만 집중합니다.
플랫폼은 OpenAI Responses API로 장시간 실행되는 에이전트 워크플로우와 추론 작업을 조율합니다. 적용 사례는 다음과 같습니다.
- 대규모 코드베이스 분석 및 아키텍처 설계
- 심층 코드 리뷰 워크플로우
- 방대한 문서 모음을 활용한 연구 분석
- 의학 및 과학 문서 분석
시스템의 핵심 구성 요소는 컨텍스트를 구성하는 에이전트 워크플로우, 심층 추론 모델(‘Oracle’ 워크플로우), 조사와 분석을 반복하는 루프입니다.
1. 컨텍스트 구성 에이전트 워크플로우
첫 단계는 컨텍스트 구성 에이전트가 맡습니다. 이 워크플로우는 대규모 데이터 레포지토리를 분석해 주어진 질의와 관련된 정보가 무엇인지 판단합니다.
에이전트는 Responses API에서 도구와 모델의 추론 능력을 활용해 관련 파일, 문서 간 관계, 핵심 정보가 담긴 부분을 찾아냅니다.
이 단계의 결과물은 구조화된 컨텍스트 패키지이며, 다음 추론 단계의 입력이 됩니다.
2. ‘Oracle’ 심층 추론 워크플로우

컨텍스트를 구성하는 에이전트와 달리, 심층 추론을 담당하는 ‘Oracle’ 모델은 도구를 호출하거나 정보를 추가로 검색하지 않습니다. 미리 선별해 전달받은 컨텍스트를 분석하는 데만 집중합니다.
조사와 추론을 분리하면 모델이 문제를 이해하는 데 추론 능력을 온전히 쓸 수 있습니다. 많은 워크플로우에서 추론 단계는 오랜 시간 이어질 수 있으며, 모델은 그동안 주어진 컨텍스트 안의 복잡한 관계를 분석합니다.
3. 반복 조사 및 분석 루프
시스템은 추론을 반복하는 루프도 지원합니다. 추론 모델이 결과를 내놓으면 다른 에이전트가 이를 검토해 추가 조사가 필요한지 판단할 수 있습니다.
필요하면 시스템이 컨텍스트 수집과 추론을 한 차례 더 실행합니다. 이 루프를 통해 장시간 조사를 이어가면서 분석 결과를 점차 다듬을 수 있습니다.
반복 워크플로우

시스템은 Responses API의 여러 기능을 활용합니다.
- 백그라운드 작업: 몇 분에서 몇 시간까지 걸리는 추론 작업을 실행합니다.
- 에이전트 오케스트레이션: 컨텍스트 수집, 추론, 검증을 위한 에이전트 루프를 조율합니다.
- 관측 가능성: 장시간 실행되는 추론 워크플로우의 진행 상황을 모니터링하고 관리합니다.
플랫폼은 Codex 모델로 관련 컨텍스트를 수집하고 구조화한 뒤, 선별한 컨텍스트를 성능이 더 높은 추론 모델에 전달해 심층 분석을 수행합니다. 이러한 기능 덕분에 에이전트 워크플로우와 심층 추론 모델을 결합한 하이브리드 아키텍처를 구현할 수 있습니다.
바이닐 레코드 수집가를 위한 대화형 인터페이스
Collxn의 Ash Ryan Arnwine
도구: 웹 검색 및 자체 개발 도구 16개
모델: GPT-5.4, GPT-5 nano
검색 증강 생성 시스템 전체를 직접 구축하는 방법도 있었지만, Responses API를 쓰니 제가 해야 할 일이 줄어든다는 게 느껴졌습니다.
Ash Ryan Arnwine이 만든 ‘Collxn’은 ‘컬렉션’에서 이름을 따온 작은 서비스입니다. 목표는 큽니다. 바이닐 수집가들이 이미 음반장에 꽂혀 있는 음반을 재발견하고 음반과 직접 대화를 나눌 수 있게 하는 것입니다.
수집가들은 흔히 Discogs에서 방대한 음반 컬렉션을 관리합니다. 보유 음반이 수천 장에 이르기도 합니다. Collxn은 이 컬렉션과 연동해 ‘Daily Drop’이라는 이메일을 매일 보냅니다. 날마다 다른 음반 한 장과 아티스트에 관한 정보를 소개해 수집가가 이미 소장한 음악을 다시 찾아 듣도록 돕습니다.
음반을 하나씩 넘겨 보면서 궁금한 점도 물어볼 수 있다면 더 즐겁겠죠. Collxn은 OpenAI Responses API를 활용해 사용자가 말 그대로 자신의 음반과 대화할 수 있는 채팅 인터페이스를 제공합니다.
도구 호출을 활용한 대화형 인터페이스
앱은 Responses API로 ‘Ask This Drop’이라는 채팅 인터페이스를 제공합니다. 사용자는 여기서 Daily Drop에 소개된 음반에 대해 질문할 수 있습니다.
모델은 질문에 답할 때 Discogs API 도구를 사용해 Discogs에서 직접 정보를 가져오도록 구성되어 있습니다.
예를 들어 다음과 같이 물어볼 수 있습니다.
- 이 음반의 현재 시세는 얼마인가요?
- 이 아티스트가 발매한 다른 앨범에는 어떤 게 있나요?
- 이 프레싱은 얼마나 희귀한가요?

Collxn 사용자는 Ask This Drop에서 자신이 소장한 바이닐 레코드와 대화할 수 있습니다.
수집가가 질문을 입력하면 실시간 Discogs 데이터와 자신의 음반 컬렉션 정보를 바탕으로 생성한 답변을 받을 수 있습니다.
이렇게 수집가는 소장 음반 목록을 보면서 대화를 나누고 더 넓은 음악 생태계와도 접점을 찾을 수 있습니다.
Daily Drop과 아티스트 소식
Collxn은 OpenAI Agents SDK를 사용해 Daily Drop 이메일에 소개된 아티스트의 ‘최신 소식’ 섹션도 생성합니다.

Collxn은 OpenAI Agents SDK로 Daily Drop의 아티스트 소식 섹션을 생성합니다.
이 기능은 웹 검색 에이전트를 실행해 아티스트에 관한 최신 기사나 소식을 찾고 그 내용을 매일 보내는 이메일에 추가합니다. 소장 음반을 통해 바깥 음악계의 생생한 소식까지 접할 수 있어 베타 사용자들 사이에서 빠르게 인기를 얻었고, 곧 제품에서 가장 사랑받는 기능 중 하나가 되었습니다.
Ash는 ‘Ask This Drop’을 출시하기 위해 Collxn을 Responses API로 이전했습니다. 이로써 앱은 대화형 워크플로우에서 다단계 추론을 지원하고 내장 도구와 자체 개발 도구를 모두 호출할 수 있게 되었습니다. Collxn은 Responses API의 내장 웹 검색 도구로 채팅 중에 아티스트 소식을 검색합니다. 이와 함께 Discogs API 연동, 사용자의 Collxn 계정 조회 등에 자체 개발 도구 16개를 사용합니다.

Collxn의 ‘Ask This Drop’은 Responses API의 웹 검색 도구로 아티스트 소식을 실시간으로 조회합니다.
Responses API가 대화 상태를 유지해 주므로 여러 차례 이어지는 채팅도 더 쉽고 빠르게 처리할 수 있습니다. Ash는 전반적으로 검색 증강 생성(RAG) 시스템 전체를 직접 구축할 때보다 Responses API를 사용했을 때 아키텍처가 단순해졌다고 말합니다.
화면 녹화를 대화형 제품 데모로 만들기
Arcade 팀의 Nick Sorrentino와 Pawel Wszola
도구: 컴퓨터 사용
모델: GPT-5.2, computer-use-preview
API 기반 콘텐츠 생성 기능을 도입한 뒤 데모를 게시하는 데 필요한 단계가 50% 줄었습니다. 그 결과 게시율과 제품 도입률이 크게 높아졌습니다.
대부분의 팀은 이미 화면을 녹화합니다. Arcade는 그 녹화 영상을 완성도 높은 대화형 제품 데모로 만들어 줍니다. 팀에서 제품 사용법을 실시간으로 시연하거나 단계별 문서를 작성할 필요 없이 워크플로우를 한 번만 녹화하면 나머지는 Arcade가 처리합니다.
플랫폼은 내부적으로 녹화 영상을 분석해 각 단계에서 어떤 일이 일어나는지 설명하는 가이드를 자동으로 생성합니다.
데모 생성 워크플로우
녹화 세션은 다음과 같이 진행됩니다.
- 사용자가 워크플로우를 수행하면서 화면을 녹화합니다.
- 데스크톱이나 브라우저에서는 Arcade가 클릭, 텍스트 입력, 스크롤 등의 상호작용을 구조화된 형태로 직접 기록합니다.
- 모바일에서는 iOS 샌드박스 때문에 앱이 시스템 전반의 상호작용을 기록할 수 없으므로 사용자가 앱 화면을 일반 동영상으로 녹화합니다.
- 녹화 영상은 컴퓨터 사용 도구를 사용하는 OpenAI Responses API로 전달됩니다. 이 도구는 영상 프레임을 분석해 어떤 상호작용이 일어났는지 추론합니다.
- 시스템이 이렇게 추론한 동작을 구조화된 단계로 변환합니다.
- Arcade가 시청자를 데모의 각 단계로 안내할 설명 문구와 대화형 핫스팟을 생성합니다.
이 단계들이 모여 사용자가 보게 될 대화형 가이드가 자동으로 만들어집니다.
구조화된 동작은 이어서 Chat Completions API로 전달됩니다. 이 API는 데모 곳곳에 표시할 제목과 핫스팟 설명을 생성합니다. 사용자는 내장 AI 편집 도구로 생성된 문구를 줄이거나 다시 쓰는 등 원하는 대로 다듬을 수 있습니다.
데모 제작 단계 절반으로 줄이기
데모 설명 작성을 자동화하면서 제품 가이드를 게시하는 데 드는 수고가 크게 줄었습니다.
API 기반 워크플로우를 도입한 뒤 다음과 같은 변화가 있었습니다.
- 게시까지 필요한 조작 횟수의 중앙값이 50% 감소했습니다.
- 조작 횟수의 80번째 백분위수(P80)가 약 230회에서 약 120회로 줄었습니다.
- 게시율과 제품 도입률이 높아졌습니다.
Arcade가 데모 제작 절차를 간소화한 덕분에 팀은 녹화 원본을 훨씬 빠르게 완성도 높은 대화형 데모로 만들 수 있게 되었습니다.
AI 답변에서 브랜드 노출을 측정하고 개선하기
Hexagon의 Tunde Adeyinka와 Ramon Silva
사용한 도구: 웹 검색
사용한 모델: GPT-5.2 Chat
Tunde Adeyinka와 Ramon Silva는 소매업체가 새롭게 마주한 질문에 답하기 위해 Hexagon을 설립했습니다. AI 어시스턴트는 우리 제품을 어떻게 소개할까요?
소비자가 제품을 발견하는 과정에서 AI 어시스턴트의 영향력이 커지고 있습니다. Hexagon은 기업이 AI가 생성한 답변에 자사 브랜드가 어떻게 등장하는지 모니터링하고 시간이 지남에 따라 그 결과를 개선하도록 돕습니다.
플랫폼은 OpenAI Responses API를 활용해 세 가지 핵심 시스템을 운영합니다.
1. 응답 시뮬레이션 아키텍처
Hexagon은 AI 어시스턴트가 제품 관련 질문에 어떻게 답하는지 측정하기 위해 매일 시뮬레이션 파이프라인을 실행합니다. 시스템은 소비자가 실제로 입력할 법한 프롬프트, 제품 추천 요청, 쇼핑 관련 질의를 매일 수천 개 생성해 Responses API로 보냅니다. 그런 다음 반환된 결과를 분석해 AI가 생성한 답변 전반에서 브랜드가 얼마나 노출되는지 추적합니다.
소매업체 고객은 이를 통해 자사 제품이 얼마나 자주 등장하고 시간이 지나면서 답변이 어떻게 달라지는지 확인할 수 있습니다.

2. 멀티 에이전트 콘텐츠 생성 파이프라인
Hexagon은 분석뿐 아니라 AI 답변에서 브랜드 노출을 높이도록 최적화한 콘텐츠를 생성하는 데도 Responses API를 사용합니다.
시스템은 에이전트 네 개로 구성됩니다. 각 에이전트는 파이프라인에서 자신이 맡은 전문 작업을 수행하고 그 결과를 다음 단계에 전달합니다. 이 과정은 최종 콘텐츠를 생성해 게시할 때까지 이어집니다. 게시 전에는 에이전트들이 비결정적 루프 안에서 서로 정보를 주고받으며 콘텐츠를 반복해서 다듬습니다.

3. 대시보드 및 고객용 도구
플랫폼에는 Responses API의 함수 호출 기능으로 만든 챗봇 ‘Hexi’도 있습니다. 고객은 Hexi와 대화하며 분석 결과를 살펴보고 AI 답변에서의 브랜드 노출 데이터를 직접 요약할 수 있습니다. Hexagon은 소매업체용 대시보드에서 분석 결과를 제공합니다. 이 대시보드는 AI가 생성한 답변에 제품이 어떻게 등장하는지 추적합니다.

Hexagon은 제품 전반에서 현실적이고 유용한 시뮬레이션을 실행하기 위해 Responses API의 주요 기능을 활용합니다.
- 웹 검색: ChatGPT처럼 웹을 탐색해 답변하는 방식을 재현합니다.
- 사용자 위치 매개변수: 여러 지역에서 보낸 질의를 시뮬레이션해 지역에 따른 차이를 테스트합니다.
- 추론 수준: 답변의 깊이와 복잡도를 조절합니다.
- 최대 출력 토큰 수: 긴 답변을 생성할 때 출력 길이를 제한합니다.
- 컨텍스트 유지: 여러 번 호출해도 컨텍스트를 유지해 멀티 에이전트 워크플로우를 실행할 수 있게 합니다.
Responses API를 쓰면서 답변 품질이 향상됐고, 여러 차례 호출해도 컨텍스트가 더 잘 유지됐습니다. 두 가지 모두 Hexagon 플랫폼의 다단계 파이프라인에 꼭 필요했습니다.
마무리
출시 1년 만에 Responses API는 에이전트 기반 소프트웨어를 만드는 개발자에게 핵심 구성 요소가 되었습니다.
다섯 개발팀의 사례에서 실제 활용 모습을 볼 수 있습니다. 여러 에이전트가 도구 사용을 조율하고 버그를 감지하며 워크플로우를 실행합니다. 개발자들은 이를 바탕으로 AI 기반 제품을 출시하고 있습니다.
플랫폼 자체도 빠르게 발전하고 있습니다. 오케스트레이션 기능이 개선되고 도구 생태계도 더욱 풍부해지고 있습니다. 최근에는 네트워크를 지원하는 OpenAI 호스팅 컨테이너와 셸 도구가 추가되었습니다.
도구가 더 많아졌습니다.
할 수 있는 일도 늘었습니다.
그리고 우리가 아직 생각지도 못한 것을 만드는 개발자도 많아졌습니다.
두 번째 해에는 개발자들이 무엇을 만들어 낼지 함께 지켜봅시다.