OpenAI는 o3, o4-mini 같은 추론 모델과 GPT-4.1 같은 GPT 모델을 제공합니다. 두 모델 계열은 작업을 처리하는 방식이 다릅니다.
이 가이드에서는 다음 내용을 다룹니다.
- 추론 모델과 비추론 GPT 모델의 차이
- 추론 모델이 적합한 작업
- 추론 모델에 효과적인 프롬프트를 작성하는 방법
추론 모델의 작동 원리를 자세히 알아보세요.
추론 모델과 GPT 모델의 차이
o 시리즈 모델과 GPT 모델은 각기 다른 작업에 강하며 효과적인 프롬프트도 다릅니다. 어느 한 계열이 더 뛰어나다기보다 각자의 강점이 다릅니다.
OpenAI는 ‘계획 담당’인 o 시리즈 모델이 복잡한 작업에 더 많은 시간을 들여 깊이 추론하도록 학습시켰습니다. 따라서 전략을 수립하고, 복잡한 문제의 해결 계획을 세우고, 해석이 쉽지 않은 방대한 정보를 바탕으로 결정을 내리는 데 효과적입니다. 작업을 정확하고 정밀하게 수행할 수도 있어 수학, 과학, 공학, 금융 서비스, 법률 서비스처럼 사람의 전문 지식이 필요한 분야에 적합합니다.
반면 ‘실무 담당’인 GPT 모델은 응답 지연 시간이 짧고 비용 효율이 높으며, 명확한 작업을 바로 실행하도록 설계되었습니다. 예를 들어 애플리케이션에서 o 시리즈 모델로 문제 해결 전략을 세우고 GPT 모델로 개별 작업을 수행할 수 있습니다. 특히 완벽한 정확도보다 속도와 비용이 중요할 때 적합한 방식입니다.
모델 선택 기준
사용하려는 상황에서 가장 중요한 요소는 무엇인가요?
- 속도와 비용 → GPT 모델이 더 빠르고 대체로 비용도 적게 듭니다.
- 명확하게 정의된 작업 수행 → GPT 모델은 해야 할 일이 명확한 작업을 잘 처리합니다.
- 정확도와 신뢰성 → o 시리즈 모델은 신뢰할 수 있는 판단을 내립니다.
- 복잡한 문제 해결 → o 시리즈 모델은 조건이 모호하거나 복잡해도 문제를 풀어 나갑니다.
속도와 비용이 가장 중요하고 동시에 수행할 작업이 단순하고 명확하다면 GPT 모델이 가장 적합합니다. 정확도와 신뢰성이 가장 중요하고 동시에 여러 단계에 걸쳐 매우 복잡한 문제를 해결해야 한다면 o 시리즈 모델이 적합할 가능성이 큽니다.
대부분의 AI 워크플로우에서는 두 모델 계열을 함께 사용합니다. 에이전트의 계획 수립과 의사 결정은 o 시리즈에, 개별 작업 실행은 GPT 시리즈에 맡기는 방식입니다.
GPT-4o와 GPT-4o mini는 고객 정보와 주문 내역을 함께 검토해 주문에 어떤 문제가 있고 어떤 반품 정책이 적용되는지 파악합니다. 이 정보를 모두 전달받은 o3-mini가 정책에 따라 반품 가능 여부를 최종 판단합니다.
추론 모델이 적합한 작업
다음은 고객과 OpenAI 내부에서 추론 모델을 효과적으로 활용한 사례입니다. 가능한 모든 용도를 망라하기보다 o 시리즈 모델을 직접 테스트할 때 참고할 만한 사례를 골랐습니다.
추론 모델을 바로 사용하려면 빠른 시작으로 이동하세요 →
1. 지시가 모호한 작업 처리하기
추론 모델은 정보가 부족하거나 여러 곳에 흩어져 있어도 간단한 프롬프트만으로 사용자의 의도를 파악하고 지시에서 빠진 부분을 처리하는 데 능숙합니다. 근거 없이 추측하거나 부족한 정보를 임의로 채우기에 앞서 사용자에게 확인 질문을 하는 경우도 많습니다.
“o1의 추론 능력 덕분에 저희 멀티 에이전트 플랫폼 Matrix는 복잡한 문서를 처리할 때 내용을 빠짐없이 담은 상세한 답변을 체계적인 형식으로 제공합니다. 예를 들어 Matrix는 o1에 기본적인 프롬프트만 주고도 대출 약정에서 지급 제한 조항에 따라 사용할 수 있는 예외 한도(바스켓)를 쉽게 찾아냈습니다. 이전 모델 중에는 이만한 성능을 내는 모델이 없었습니다. 조항이 빽빽한 대출 약정에 관한 복잡한 프롬프트 중 52%에서 o1이 다른 모델보다 나은 결과를 냈습니다.”
—Hebbia, 법률·금융 분야의 AI 지식 플랫폼 기업
2. 방대한 자료에서 결정적인 단서 찾기
대량의 비정형 정보를 입력하면 추론 모델은 그 내용을 이해하고 질문에 답하는 데 가장 관련성이 높은 정보만 추려냅니다.
“한 기업의 인수 건을 분석하면서 o1으로 계약서와 임대차계약서 등 수십 건의 기업 문서를 검토해 거래에 영향을 줄 수 있는 까다로운 조건을 찾았습니다. 핵심 조건을 표시하라고 했더니 각주에서 중요한 ‘지배권 변경’ 조항을 찾아냈습니다. 회사가 매각되면 7,500만 달러의 대출금을 즉시 상환해야 한다는 내용이었습니다. o1은 이런 세부 사항까지 꼼꼼히 살피기 때문에 저희 AI 에이전트가 업무에 결정적인 정보를 찾아 금융 전문가를 지원할 수 있습니다.”
—Endex, AI 금융 인텔리전스 플랫폼
3. 대규모 데이터셋에서 연관성과 미묘한 차이 파악하기
추론 모델은 법률 계약서, 재무제표, 보험금 청구 서류처럼 수백 페이지에 걸쳐 비정형 정보가 빼곡히 담긴 복잡한 문서를 분석하는 데 특히 능숙합니다. 문서 간 공통점을 찾고, 명시적으로 언급되지는 않았지만 데이터에서 드러나는 사실을 바탕으로 판단하는 능력이 뛰어납니다.
“세무 문제를 조사할 때는 여러 문서의 내용을 종합해 설득력 있는 최종 답변을 내야 합니다. GPT-4o를 o1으로 교체해 보니, 여러 문서의 내용이 서로 어떻게 맞물리는지 추론하고 어느 한 문서만으로는 알 수 없는 논리적인 결론에 도달하는 능력이 o1에서 훨씬 뛰어났습니다. o1으로 전환한 뒤 전체 과정의 성능이 네 배로 높아졌습니다. 놀라운 결과입니다.”
—Blue J, 세무 연구용 AI 플랫폼
추론 모델은 세밀한 해석이 필요한 정책과 규칙을 이해하고 이를 주어진 작업에 적용해 합리적인 결론을 내리는 데도 능숙합니다.
“재무 분석에서는 주주 지분을 둘러싼 복잡한 상황을 자주 다루기 때문에 관련 법률의 세부 사항까지 이해해야 합니다. 여러 업체의 모델 약 10개에 어렵지만 흔히 접하는 질문을 던졌습니다. 자금 조달이 기존 주주에게 어떤 영향을 미치며, 특히 주주가 지분 희석 방지 권리를 행사하면 어떻게 될까요? 답하려면 투자 전후의 기업가치를 따져 보고 지분 희석 계산이 서로 순환적으로 얽힌 문제를 풀어야 합니다. 뛰어난 재무 분석가도 20~30분은 들여야 하는 일입니다. o1과 o3-mini는 이 문제를 완벽하게 풀었습니다! 심지어 10만 달러어치 지분을 보유한 주주에게 미치는 영향까지 계산해 알아보기 쉬운 표로 제시했습니다.”
–BlueFlame AI, 투자 관리용 AI 플랫폼
4. 에이전트로 다단계 계획 세우기
추론 모델은 에이전트의 계획 수립과 전략 개발에 중요한 역할을 합니다. 효과적인 방식은 추론 모델에 ‘계획 담당’ 역할을 맡기는 것입니다. 추론 모델이 먼저 문제를 해결할 여러 단계를 상세하게 설계한 다음, 각 단계에서 높은 문제 해결 능력과 짧은 지연 시간 중 무엇이 더 중요한지에 따라 ‘실행 담당’으로 적합한 GPT 모델을 선택해 작업을 배정합니다.
“저희 에이전트 인프라에서는 o1이 계획을 세우고 워크플로우 내 다른 모델의 작업을 조율해 여러 단계로 이루어진 작업을 완수합니다. o1은 데이터 유형을 선택하고 큰 질문을 작은 단위로 나누는 데 특히 능숙해서 다른 모델은 실행에 집중할 수 있습니다.”
—Argon AI, 제약 산업용 AI 지식 플랫폼
“저희 업무용 AI 어시스턴트 Lindy에서는 o1이 여러 에이전트 워크플로우를 구동합니다. 함수 호출로 캘린더나 이메일에서 정보를 가져온 다음, 회의 일정을 잡고 이메일을 보내고 그 밖의 일상 업무를 관리하는 일까지 자동으로 도와줍니다. 그동안 문제가 생기던 에이전트 작업 단계를 모두 o1으로 전환했더니 하룻밤 사이에 에이전트가 거의 빈틈없이 작동하기 시작했습니다!”
—Lindy.AI, 업무용 AI 어시스턴트
5. 시각 정보로 추론하기
현재 시각 정보 처리 기능을 지원하는 추론 모델은 o1뿐입니다. o1은 구조가 불분명한 차트나 표, 화질이 좋지 않은 사진처럼 해석하기 매우 까다로운 시각 자료까지 이해한다는 점에서 GPT-4o와 차별화됩니다.
“저희는 명품 주얼리 모방품, 멸종위기종, 규제 물질 등 온라인에서 거래되는 수백만 개 상품의 위험성과 규정 준수 여부를 자동으로 검토합니다. 가장 어려운 이미지 분류 작업에서 GPT-4o의 정확도는 50%였습니다. o1은 파이프라인을 전혀 수정하지 않고도 88%라는 인상적인 정확도를 기록했습니다.”
—SafetyKit, AI 기반 위험 관리 및 규정 준수 플랫폼
OpenAI 내부 테스트에서 o1은 매우 상세한 건축 도면을 보고 설치물과 자재를 식별해 전체 자재 명세서를 작성했습니다. 특히 놀라웠던 점은 별도 지시 없이도 도면 한 페이지의 범례를 다른 페이지에 올바르게 적용해 이미지 간 연관성을 파악했다는 것입니다. 아래 예시에서 o1은 범례를 근거로 4x4 PT 목재 기둥의 ‘PT’가 가압 처리(pressure treated)를 뜻한다고 판단했습니다.
6. 코드 검토와 디버깅으로 품질 개선하기
추론 모델은 방대한 코드를 검토하고 개선하는 데 특히 효과적입니다. 응답 지연 시간이 비교적 길어 코드 검토는 백그라운드에서 실행하는 경우가 많습니다.
“저희는 GitHub와 GitLab 같은 플랫폼에서 AI 코드 검토를 자동화합니다. 코드 검토 자체는 지연 시간에 민감한 작업이 아니지만 여러 파일에 걸친 코드 변경 사항을 이해해야 합니다. 바로 이 부분에서 o1이 강점을 보입니다. 사람이 검토할 때 놓칠 수 있는 코드베이스의 작은 변경 사항도 안정적으로 찾아냅니다. o 시리즈 모델로 전환한 뒤 제품 전환율을 세 배로 높일 수 있었습니다.”
—CodeRabbit, AI 코드 검토 스타트업
빠른 응답이 필요한 코드 작성에는 지연 시간이 짧은 GPT-4o와 GPT-4o mini가 더 적합할 수 있습니다. 반면 지연 시간에 조금 덜 민감한 용도에서는 o3-mini도 코드 생성에서 뛰어난 성능을 보였습니다.
“o3-mini는 일관되게 완성도 높은 코드로 명확한 해법을 제시합니다. 문제가 잘 정의되어 있으면 아주 어려운 코딩 작업에서도 정답에 도달하는 경우가 매우 많습니다. 다른 모델은 작은 단위로 코드를 빠르게 수정하는 데만 유용할 수 있지만, o3-mini는 복잡한 소프트웨어 시스템의 설계를 계획하고 구현하는 데 탁월합니다.”
—Windsurf, Codeium이 개발한 협업용 에이전트형 AI 기반 IDE
7. 다른 모델의 응답 평가 및 벤치마킹하기
추론 모델은 다른 모델의 응답을 벤치마킹하고 평가할 때도 좋은 성과를 보였습니다. 특히 의료처럼 민감한 분야에서는 데이터셋의 품질과 신뢰성을 확보하려면 데이터 검증이 중요합니다. 기존 검증 방식은 미리 정의한 규칙과 패턴을 사용합니다. 반면 o1, o3-mini 같은 고급 모델은 맥락을 이해하고 데이터를 바탕으로 추론할 수 있어 상황에 맞게 더 유연하고 정교하게 검증할 수 있습니다.
“많은 고객이 Braintrust에서 평가 과정의 일부로 LLM을 평가자로 활용합니다. 예를 들어 의료 기업은 gpt-4o 같은 실무 담당 모델로 환자의 질문을 요약한 뒤 o1으로 요약 품질을 평가할 수 있습니다. 한 Braintrust 고객은 평가 모델을 4o에서 o1으로 바꾸자 F1 점수가 0.12에서 0.74로 올랐습니다! 고객들은 이런 사례에서 o1의 추론 능력 덕분에 가장 어렵고 복잡한 채점 작업에서도 응답 간의 미묘한 차이를 훨씬 잘 찾아낼 수 있었다고 말합니다.”
—Braintrust, AI 평가 플랫폼
추론 모델에 효과적인 프롬프트 작성하기
추론 모델은 간단명료한 프롬프트에서 가장 좋은 성능을 냅니다. 모델에 “단계별로 생각하세요”라고 지시하는 등의 프롬프트 엔지니어링 기법은 성능을 높이지 못할 수 있으며, 때로는 오히려 성능을 떨어뜨립니다. 아래 모범 사례를 참고하거나 프롬프트 예시로 시작하세요.
- 시스템 메시지 대신 개발자 메시지를 사용하세요.
o1-2024-12-17부터 추론 모델은 모델 사양에 명시된 지시 우선순위에 맞춰 시스템 메시지 대신 개발자 메시지를 지원합니다. - 프롬프트는 간단명료하게 작성하세요. 추론 모델은 짧고 명확한 지시를 잘 이해하고 그에 맞게 응답합니다.
- 추론 과정을 요구하는 프롬프트는 피하세요. 추론은 모델 내부에서 이루어지므로 “단계별로 생각하세요” 또는 “추론 과정을 설명하세요”라고 지시할 필요가 없습니다.
- 구분 기호로 입력을 명확히 나누세요. 마크다운, XML 태그, 섹션 제목 등으로 입력의 각 부분을 구분하면 모델이 섹션별 내용을 적절하게 해석하는 데 도움이 됩니다.
- 제로샷부터 시도하고 필요하면 퓨샷을 사용하세요. 추론 모델은 퓨샷 예시 없이도 좋은 결과를 내는 경우가 많으므로 처음에는 예시 없이 프롬프트를 작성해 보세요. 출력 요구 사항이 더 복잡하다면 입력과 원하는 출력의 예시를 몇 개 포함하는 것이 도움이 될 수 있습니다. 예시와 지시가 어긋나면 결과가 나빠질 수 있으므로 예시가 프롬프트의 지시와 정확히 일치하는지 확인하세요.
- 구체적인 지침을 제시하세요. “예산이 500달러 미만인 해결책을 제안하세요”처럼 응답에 적용할 제약 조건이 있다면 프롬프트에 명시하세요.
- 최종 목표를 구체적으로 설명하세요. 어떤 조건을 충족해야 성공적인 응답인지 지시에 최대한 구체적으로 적으세요. 모델이 그 기준을 충족할 때까지 추론을 이어 가며 답을 다듬도록 유도하세요.
- 마크다운 서식이 필요하면 명시하세요.
o1-2024-12-17부터 API의 추론 모델은 기본적으로 응답에 마크다운 서식을 사용하지 않습니다. 마크다운 서식으로 응답하도록 하려면 개발자 메시지의 첫 줄에Formatting re-enabled문자열을 포함하세요.
비용을 낮게 유지하면서 정확도 높이기
o3와 o4-mini 모델이 도입되면서 Responses API가 저장된 추론 항목을 처리하는 방식이 달라졌습니다. 이전 모델(o1, o3-mini, o1-mini, o1-preview)에서는 후속 API 요청의 입력 항목에 추론 항목을 포함해도 항상 무시되었습니다. o3와 o4-mini에서는 함수 호출에 인접한 추론 항목 중 일부가 모델의 컨텍스트에 포함됩니다. 이렇게 하면 추론 토큰 사용량을 최소화하면서 모델 성능을 높일 수 있습니다.
이 변경 사항을 최대한 활용하려면 Responses API에서 store 매개변수를 true로 설정하고 이전 요청의 추론 항목을 모두 전달하는 것이 좋습니다. previous_response_id를 사용하거나 이전 요청의 출력 항목 전체를 새 요청의 입력 항목으로 전달하면 됩니다. OpenAI는 관련 있는 추론 항목을 모델의 컨텍스트에 자동으로 포함하고 관련 없는 항목은 무시합니다. 모델의 컨텍스트를 더 세밀하게 관리하려면 적어도 직전 사용자 메시지와 가장 최근 함수 호출 사이의 추론 항목은 모두 포함하세요. 그러면 함수 호출 결과를 전달받았을 때 모델이 처음부터 다시 추론할 필요가 없어 함수 호출 성능이 개선되고 전체 토큰 사용량이 줄어듭니다.
Chat Completions API는 상태를 유지하지 않으므로 추론 항목이 모델의 컨텍스트에 포함되지 않습니다. 따라서 함수 호출이 많은 복잡한 에이전트 작업에서는 모델 성능이 다소 낮아지고 추론 토큰 사용량이 늘어납니다. 여러 함수 호출이 복잡하게 얽히지 않은 경우에는 어떤 API를 사용하든 성능이 저하되지 않을 것으로 예상됩니다.
추가 자료
다른 활용 방법이 궁금하다면 예제 코드와 외부 자료 링크를 제공하는 OpenAI Cookbook을 살펴보세요. 다음 자료에서 OpenAI 모델과 추론 기능에 대해 더 자세히 알아볼 수 있습니다.