如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题
Sep 23, 2026 Codex

我用 GPT-Live-1 和 Codex 让 LED 显示屏活了起来

我是如何用 Codex、GPT-Live-1 和树莓派,把一块 LED 显示屏变成声控助手的。

作者: Sid Rampally

我用 GPT-Live-1 和 Codex 让 LED 显示屏活了起来

室友过生日时,我送了他一块小小的 LED 显示屏,上面能看到从我们窗外飞过的是哪个航班。这份礼物挺酷,不过看着航班一个个出现在屏幕上,我忍不住想,除了追踪飞机,这块屏还能做些什么?能不能看看天气或我的日程?出门时,我能不能随口问一句“下一班列车几点到”,然后直接在屏幕上看到答案?

这个念头很快就变成了一个业余项目。我用上了树莓派、128 × 64 的 HUB75 LED 面板和 Codex,还做了一个助手,后来我给它起名叫 Jack。负责对话的是 GPT-Live-1,也就是我们最近在 API 中推出的全双工语音模型。另一个模型帮忙查资料,渲染器负责把画面画出来。当然,一开始我们可没想得这么周全。这篇文章记录了整个过程。

Codex 如何帮我点亮 HUB75 RGB LED 面板

一开始,我和 Codex 得先弄明白怎么让显示屏显示点有用的东西。我手头有一块 128 × 64 的 HUB75 RGB 面板,但对控制器和接线都不太了解,也不知道要怎么做,才能让它显示原有画面以外的内容。

我先拍了些照片发给 Codex,请它解释照片里的东西。在它的帮助下,我认出了关键接线,弄清了基于 ESP32 的控制器是怎么工作的,也搞懂了 HUB75 面板究竟怎样接收显示数据。它甚至直接在照片上标出了要留意的部位。这对我很有帮助,要是自己看,我大概只能认出那是块电路板,其他地方光靠猜可太容易猜错了。

弄懂硬件的基本原理后,Codex 帮我把 WLED-MM 在控制器上跑起来,并确认面板分辨率已正确设为 128 × 64。这样一来,我们就能把自定义画面逐帧发给面板,试试哪些内容放到这么小的屏幕上也好看。Codex 负责查资料和排查故障,我负责动手接线,看到实际情况和预期不符,就告诉它。

在 Mac 上搭建声控 LED 显示屏原型

最早能用的版本比最终做出来的简单得多。控制器跑起 WLED-MM 后,Codex 帮我做了一个渲染器和一项自定义技能。我通过 ChatGPT 桌面应用的语音功能,告诉它要在屏幕上显示什么。

光是这样,显示屏用起来就已经很不一样了。它可以显示天气、我的日程、地铁到站时间、金融图表、留言、倒计时、照片、艺术作品,还能播放自定义动画场景。每当一个点子放到小屏幕上效果不理想,我们就接着调渲染器。

这时,语音交互仍在 Codex 里进行,自定义技能则让 Codex 可以更新墙上显示屏的内容。接下来,Mac 上的渲染器把布局转换成 128 × 64 的 RGB 帧,通过 DDP 在局域网上发送出去。运行 WLED-MM 的 ESP32 控制器负责把这些帧显示在面板上。

Codex 还帮我琢磨该怎么利用屏幕上有限的空间。在 128 × 64 的屏幕上,怎么放下文字、图片、天气、日历事项和地铁到站时间,又不至于挤成一团,什么都看不清?我把看着不对劲的地方告诉 Codex,它就调整渲染器或布局,我们再看看效果。就这样反复试,直到待机画面变成了我愿意一直挂在墙上看的样子。

问题是,整套系统仍然离不开我的 Mac。渲染器在 Mac 上运行,语音交互也从那里发起。笔记本电脑一休眠,或者我把它带出门,墙上的屏幕就没法按我想要的方式工作了。我希望下班回到公寓,直接对着墙说一声,就能看到想看的东西。

把语音助手和渲染器迁移到树莓派

我告诉 Codex,我希望这套系统能脱离笔记本电脑运行。于是我们把需要常开的部分迁移到树莓派上,把代码放进私有代码仓库,做好备份,也确保改出问题时能回滚。等我接好树莓派,Codex 就负责把代码跑起来、检查日志、解决运行中遇到的问题,我则继续描述自己希望系统怎么工作。

现在树莓派上运行着两个小服务:

  • 语音服务负责管理麦克风、处理 PipeWire 音频、用 WebRTC 消除回声、控制唤醒和休眠、处理对话中的打断,以及管理与 GPT-Live-1 的连接和客户端任务委派。
  • 渲染服务负责持续播放待机动画,刷新天气和 MTA 地铁到站信息,使用经过脱敏处理的日历数据,校验场景描述,并将画面逐帧传到墙上的显示屏。

给树莓派接上麦克风和扬声器后,我走进房间,说声“Hey Jack”,就可以提出请求,连电脑都不用打开。我们花了些时间改进唤醒效果和它回应我的方式,不过真正的转折是让它脱离了我的 Mac。从那以后,它就不再像是笔记本电脑上的演示,而成了我们平时可以一直开着用的东西。

GPT-Live-1 和树莓派如何协同工作

我们最后是这样分工的:GPT-Live-1 负责跟我对话,墙上的画面则由渲染器来画。GPT-Live-1 在说话时也能听我说,让我随时打断它、接着聊,还会判断什么时候需要做些对话之外的事才能满足我的请求。

这时,树莓派会接下委派的任务,从客户端向 Responses API 发起请求,调用 GPT-5.6 Luna,并将推理强度设为轻度。Luna 可以搜索公开网页,通过只读连接查看我的日历,从维基共享资源查找可复用的图片,再判断该用什么样的场景来满足请求。

有一次,我让 Jack 在墙上显示一张照片,它却说做不到。渲染器早就支持图片了,可我还没给语音助手配上能查找和发送图片的工具。Codex 帮我把它接入维基共享资源,让它能找到符合要求的图片,并核对图片的许可和署名信息。我们也调整了图片在面板上的显示方式:树莓派会按原始比例缩放图片,让它完整地显示在 128 × 64 像素的范围内,这样就不会为了铺满屏幕而把图片拉变形了。

随着功能越来越多,Codex 帮我理清了各部分的职责。树莓派上的代码决定 Luna 可以调用哪些工具,Luna 判断需要哪些信息或哪种场景,渲染器则先校验场景的 JSON,再把场景渲染成恰好 128 × 64 个 RGB 像素。然后,渲染器通过 DDP 把这些帧发给 WLED-MM 控制器,由控制器驱动 HUB75 面板显示画面。

用户通过树莓派与 GPT-Live-1 对话。树莓派把查资料和调用工具的任务发给 GPT-5.6 Luna,接收返回的结果,再将本地渲染器生成的像素数据发送到墙上的 LED 显示屏。

早期的一个问题是在一次再普通不过的对话里发现的。我先问 Jack 纽约的天气,再说“把这个显示在墙上”,它却不知道“这个”指什么。Codex 发现,应用只把最后一句请求发给了负责更新屏幕的模型。于是我们调整了任务交接的方式,把最近的对话和之前得到的结果也一起传过去。

从一声“Hey Jack”到 LED 屏幕上的画面

如果我让 Jack 查点东西,再把结果显示在屏幕上,整个过程大致是这样的:

  1. 树莓派以 24 kHz 的采样率采集我的语音,得到 PCM 音频,再在本地处理音频。
  2. GPT-Live-1 接收音频流,理解我的请求,并保持对话,这样我可以随时打断它或补充几句。
  3. 如果请求涉及查资料、读取日历信息、查找图片或更新墙上的显示内容,GPT-Live-1 就会向客户端委派任务,再由树莓派通过 Responses API 把任务发给 GPT-5.6 Luna。
  4. Luna 使用我为这次请求开放的工具,例如托管的网页搜索、日历只读连接、可复用图片查找工具,或者用于更新墙上显示内容的工具。
  5. 如果现有的天气、日程、留言或倒计时场景适合这次请求,它就选用相应的场景。如果我想看的东西是我们之前没想到的,它就创建一个新场景。
  6. 本地渲染器校验场景,将其转换成 128 × 64 的 RGB 帧,再通过 DDP 把画面发到墙上的显示屏。与此同时,GPT-Live-1 会告诉我它查到了什么。

我最喜欢的一点是,想再说点什么时,不用按语音助手的固定节奏等它说完。我可以随时打断 Jack,把自己的意思讲清楚,后台查资料和渲染画面的工作照样可以继续。

说到底,这只是个挺简单的业余项目。我以前没用过 HUB75 面板、ESP32 控制器、树莓派或语音模型。换作以前,可能刚拆开显示屏,我就打退堂鼓了。这次有 Codex 帮我边做边弄懂,碰到不熟悉的东西,直接问就行。

如果您也有类似的项目,却不知道从哪里入手,不妨问问 Codex。最后能做到哪一步,也许连您自己都会惊讶。