룸메이트 생일에 작은 LED 디스플레이를 선물했습니다. 우리 집 창밖으로 지나가는 항공편을 보여 주는 기기였습니다. 꽤 멋진 선물이었지만 화면에 비행기가 하나둘 뜨는 걸 보다 보니, 항공편 추적 말고도 할 수 있는 일이 있지 않을까 싶었습니다. 날씨나 내 일정을 띄울 수 있을까? 집을 나서면서 “다음 열차는 언제 와?”라고 물으면 화면에서 바로 답을 볼 수 있을까?
이 궁금증은 금세 사이드 프로젝트로 이어졌습니다. Raspberry Pi, 128 × 64 HUB75 LED 패널, Codex를 활용했고, 그렇게 만든 어시스턴트에는 나중에 잭이라는 이름을 붙였습니다. 대화는 최근 API로 출시한 전이중 음성 모델 GPT-Live-1이 맡습니다. 정보 조사는 다른 모델이 돕고, 픽셀을 그리는 일은 렌더러가 맡습니다. 물론 처음부터 이렇게 역할을 나눠 설계한 것은 아닙니다. 이 글에서는 어떤 과정을 거쳐 지금의 구성이 됐는지 이야기해 보겠습니다.
Codex의 도움으로 HUB75 RGB LED 패널 구동하기
처음에 Codex와 제가 풀어야 할 문제는 디스플레이에 쓸 만한 내용을 띄우는 것이었습니다. 제게는 128 × 64 HUB75 RGB 패널이 있었지만 컨트롤러나 배선에 대해서는 잘 몰랐고, 원래 나오던 화면 대신 다른 내용을 보내려면 무엇이 필요한지도 몰랐습니다.
우선 Codex에 사진을 보내 제가 보고 있는 게 무엇인지 설명해 달라고 했습니다. 덕분에 어디가 중요한 연결부인지, ESP32 기반 컨트롤러는 어떻게 작동하는지, HUB75 패널은 화면 데이터를 어떻게 받는지 알게 됐습니다. Codex는 사진 위에 중요한 부분을 직접 표시해 주기도 했습니다. 제 눈에는 회로 기판만 보였고 혼자 짐작했다가는 틀리기 십상이었으니 큰 도움이 됐습니다.
기본적인 하드웨어 구성을 파악한 뒤에는 Codex의 도움을 받아 컨트롤러에서 WLED-MM을 실행하고 패널 해상도가 128 × 64로 제대로 설정됐는지 확인했습니다. 그때부터는 직접 만든 프레임을 보내면서 이 작은 화면에 무엇을 어떻게 띄워야 보기 좋은지 실험할 수 있었습니다. Codex가 자료를 찾고 문제의 원인을 짚어 주면, 저는 배선을 연결하고 예상과 다르게 작동하는 부분을 알려 줬습니다.
Mac에서 음성으로 제어하는 LED 디스플레이 프로토타입 만들기
처음으로 작동한 버전은 최종 버전보다 훨씬 단순했습니다. 컨트롤러에서 WLED-MM을 실행한 뒤 Codex의 도움으로 렌더러와 커스텀 스킬을 만들었습니다. 그런 다음 ChatGPT 데스크톱 앱의 음성 대화 기능으로 디스플레이에 무엇을 띄울지 말해 줬습니다.
그것만으로도 디스플레이를 쓰는 느낌이 달라졌습니다. 날씨, 내 일정, 지하철 도착 정보, 금융 차트, 메시지, 카운트다운, 사진, 미술 작품은 물론 직접 구성한 애니메이션 장면까지 띄울 수 있었습니다. 머릿속에 그렸던 모습이 작은 화면에서 잘 살아나지 않을 때마다 렌더러를 조금씩 손봤습니다.
음성 대화는 여전히 Codex 안에서 이뤄졌고, Codex는 커스텀 스킬로 벽에 걸린 디스플레이의 내용을 바꿀 수 있었습니다. Mac에서 실행되는 렌더러가 레이아웃을 128 × 64 RGB 프레임으로 변환한 뒤 DDP를 사용해 로컬 네트워크로 보내면, WLED-MM을 실행하는 ESP32 컨트롤러가 그 프레임을 패널에 표시했습니다.
Codex는 각 구성 요소를 연결한 뒤에도 도움이 됐습니다. 128 × 64 화면은 공간이 넉넉하지 않습니다. 텍스트와 이미지, 날씨, 캘린더 일정, 지하철 도착 정보를 넣으면서도 한눈에 읽을 수 있도록 배치를 계속 다듬었습니다. 제가 어색한 부분을 짚으면 Codex가 렌더러나 레이아웃을 수정했고, 다시 화면에 띄워 확인했습니다. 그렇게 몇 번이고 고치다 보니 계속 켜 두고 싶은 대기 화면이 됐습니다.
문제는 이 모든 기능이 여전히 제 Mac에 의존한다는 것이었습니다. 렌더러도 Mac에서 실행됐고 음성 대화도 거기서 시작했습니다. 노트북이 잠자기 모드로 들어가거나 제가 노트북을 들고 나가면 벽에 걸린 디스플레이를 원하는 대로 쓸 수 없었습니다. 제가 바란 건 퇴근해서 집에 돌아오면 벽을 향해 보고 싶은 것을 띄워 달라고 말하는 것이었습니다.
음성 어시스턴트와 렌더러를 Raspberry Pi로 옮기기
노트북 없이도 작동했으면 좋겠다고 Codex에 말했습니다. 그래서 항상 켜 두어야 하는 부분을 Raspberry Pi로 옮기고 코드를 비공개 리포지터리에 넣었습니다. 백업이 있는지, 뭔가 잘못됐을 때 이전 버전으로 되돌릴 수 있는지도 확인했습니다. 제가 Pi를 연결한 뒤에는 Codex가 코드를 실행하고 로그를 확인하며 생기는 문제를 해결했습니다. 저는 그동안 어떤 동작을 원하는지 계속 설명했습니다.
지금은 Pi에서 작은 서비스 두 개가 실행됩니다.
- 음성 서비스는 마이크, PipeWire 오디오, WebRTC 에코 제거, 호출 시 활성화와 대기 상태로의 복귀, 사용자가 대화 도중 끼어들 때의 처리, GPT-Live-1 연결, 클라이언트 측 작업 위임을 담당합니다.
- 렌더러 서비스는 애니메이션 대기 화면을 계속 표시하고 날씨와 MTA 지하철 도착 정보를 갱신합니다. 정제된 캘린더 데이터를 사용하며, 장면 설명을 검증하고 벽에 걸린 디스플레이로 프레임을 스트리밍합니다.
Pi에 마이크와 스피커를 연결하자 컴퓨터를 열지 않고도 방에 들어서면서 “Hey Jack”이라고 불러 원하는 것을 부탁할 수 있었습니다. 호출에 반응하는 동작과 응답 방식은 한동안 더 다듬었습니다. 그래도 노트북에서 시연하던 것이 늘 켜 두고 쓸 수 있는 기기처럼 느껴지기 시작한 건 Mac에서 Pi로 옮긴 덕분이었습니다.
GPT-Live-1과 Raspberry Pi가 함께 작동하는 방식
최종적으로 GPT-Live-1은 저와 대화하는 역할을 맡고, 벽에 화면을 그리는 일은 따로 처리하도록 했습니다. GPT-Live-1은 대화를 이어 가면서 자신이 말하는 도중에도 제 말을 듣습니다. 덕분에 제가 중간에 끼어들 수 있습니다. 또 GPT-Live-1은 요청을 처리하려면 대화 외에 다른 작업이 필요한지도 판단합니다.
다른 작업이 필요하면 Raspberry Pi가 작업을 위임받아 클라이언트 측에서 Responses API를 호출합니다. 이때 GPT-5.6 Luna의 추론 수준은 낮게 설정합니다. Luna는 공개 웹을 검색하고, 읽기 전용 연결로 제 캘린더를 조회하고, Wikimedia Commons에서 재사용할 수 있는 이미지를 찾을 수 있습니다. 요청에 어떤 장면이 필요한지도 판단합니다.
한번은 잭에게 벽에 사진을 띄워 달라고 했더니 할 수 없다고 답했습니다. 렌더러는 이미 이미지를 지원했지만, 제가 음성 어시스턴트에 이미지를 찾아 보낼 도구를 제공하지 않았던 겁니다. Codex의 도움으로 음성 어시스턴트에 Wikimedia Commons를 연결하자 잭은 요청에 맞는 이미지를 찾고 라이선스와 출처 표기 정보도 확인할 수 있었습니다. 이미지를 패널에 맞추는 방식도 손봤습니다. Pi가 원본 비율을 유지하면서 128 × 64픽셀 안에 들어가도록 크기를 조정하니 이미지가 화면에 맞춰 길게 늘어나지 않았습니다.
기능을 추가하면서도 Codex 덕분에 각 부분의 역할을 명확하게 유지할 수 있었습니다. Pi에서 실행되는 코드는 Luna가 쓸 수 있는 도구를 정하고, Luna는 어떤 정보나 장면이 필요한지 판단합니다. 렌더러는 장면을 정의한 JSON을 검증한 뒤 정확히 128 × 64개의 RGB 픽셀로 변환합니다. 그런 다음 DDP로 프레임을 WLED-MM 컨트롤러에 보내면 컨트롤러가 HUB75 패널을 구동합니다.
초기 버그 하나는 아주 평범한 대화에서 드러났습니다. 잭에게 뉴욕 날씨를 물어본 뒤 “그걸 벽에 띄워 줘”라고 하면, 잭은 ‘그걸’이 무엇을 가리키는지 몰랐습니다. Codex가 살펴보니 앱이 화면을 갱신하는 모델에 마지막 요청만 보내고 있었습니다. 그래서 작업을 넘길 때 최근 대화와 앞서 얻은 결과도 함께 보내도록 바꿨습니다.
“Hey Jack”이라고 부른 뒤 LED 디스플레이에 화면이 뜨기까지
잭에게 무언가를 찾아 디스플레이에 띄워 달라고 하면 대략 다음과 같은 과정을 거칩니다.
- Raspberry Pi가 제 목소리를 24 kHz PCM 오디오로 받아 로컬에서 처리합니다.
- GPT-Live-1이 오디오 스트림을 받아 요청 내용을 파악하고, 제가 중간에 끼어들거나 말을 덧붙일 수 있도록 대화를 이어 갑니다.
- 요청을 처리하는 데 조사, 캘린더 정보, 이미지 또는 화면 갱신이 필요하면 GPT-Live-1이 클라이언트 측으로 작업을 위임하고, Pi가 Responses API를 통해 GPT-5.6 Luna에 작업을 보냅니다.
- Luna는 제가 해당 요청에 사용할 수 있도록 제공한 도구를 사용합니다. 호스팅형 웹 검색, 읽기 전용 캘린더 연결, 재사용 가능한 이미지 검색, 디스플레이 갱신 도구 등이 있습니다.
- 날씨, 일정, 메시지, 카운트다운 등 기존 장면 중 요청에 맞는 것이 있으면 Luna가 그 장면을 선택합니다. 미처 예상하지 못했던 요청이라면 새 장면을 만듭니다.
- 로컬 렌더러가 장면을 검증하고 128 × 64 RGB 프레임으로 변환해 DDP로 벽에 걸린 디스플레이에 보냅니다. 그동안 GPT-Live-1은 찾은 내용을 제게 말해 줍니다.
마음에 드는 점은 제가 말을 더 하고 싶을 때 음성 어시스턴트가 말을 마칠 때까지 기다릴 필요가 없다는 것입니다. 잭이 말하는 중간에 끼어들어 제가 무슨 뜻으로 말했는지 설명할 수 있고, 그동안에도 조사와 렌더링은 백그라운드에서 계속됩니다.
돌아보면 꽤 단순한 사이드 프로젝트였습니다. 저는 HUB75 패널도, ESP32 컨트롤러도, Raspberry Pi도, 음성 모델도 다뤄 본 적이 없었습니다. 예전 같았으면 디스플레이를 열어 보고는 거기서 그만뒀을지도 모릅니다. 이번에는 Codex의 도움을 받아 하나씩 알아 가면서 만들었고, 낯선 게 나오면 그때그때 물어볼 수 있었습니다.
이런 프로젝트를 해 보고 싶은데 어디서 시작해야 할지 모르겠다면 Codex에 물어보세요. 생각보다 훨씬 많은 것을 해낼 수 있을지도 모릅니다.