Zum Geburtstag hatte ich meinem Mitbewohner ein kleines LED-Display gekauft, das anzeigt, welche Flugzeuge gerade in der Nähe unseres Fensters vorbeifliegen. Das Geschenk war ziemlich cool. Aber jedes Mal, wenn ein Flugzeug auf dem Display auftauchte, fragte ich mich, was so ein Display wohl noch könnte. Könnte es das Wetter oder meinen Kalender anzeigen? Und könnte ich kurz vor dem Losgehen einfach fragen: „Wann fährt der nächste Zug?“ Würde ich die Antwort dann auf dem Display sehen?
Daraus wurde schnell ein Freizeitprojekt mit einem Raspberry Pi, einem HUB75-LED-Panel mit 128 × 64 Pixeln, Codex und einem Assistenten, den ich irgendwann Jack nannte. Das Gespräch läuft über GPT-Live-1, unser Vollduplex-Modell für Sprachgespräche, das wir vor Kurzem in der API veröffentlicht haben. Ein weiteres Modell hilft bei der Recherche, und ein Renderer kümmert sich um die Pixel. Als wir anfingen, hatten wir allerdings noch keinen so ausgefeilten Plan. In diesem Beitrag erzähle ich, wie das Ganze entstanden ist.
Wie ich mit Codex ein HUB75-RGB-LED-Panel zum Laufen gebracht habe
Zunächst mussten Codex und ich herausfinden, wie wir überhaupt etwas Brauchbares auf das Display bekommen. Ich hatte ein HUB75-RGB-Panel mit 128 × 64 Pixeln, wusste aber wenig über den Controller und die Verkabelung. Wie ich dem Panel andere Inhalte schicken konnte als die, die es bereits anzeigte, war mir auch nicht klar.
Ich schickte Codex Fotos und ließ mir erklären, was darauf zu sehen war. So fand ich heraus, welche Anschlüsse wichtig waren, wie der Controller auf ESP32-Basis funktionierte und wie ein HUB75-Panel seine Bilddaten empfängt. Codex markierte sogar die entscheidenden Stellen auf den Fotos. Das half mir, denn allein sah ich vor allem eine Platine und jede Menge Möglichkeiten, falsch zu raten.
Als wir die Hardware in Grundzügen verstanden hatten, half mir Codex, WLED-MM auf dem Controller zum Laufen zu bringen und zu prüfen, ob für das Panel die richtige Auflösung von 128 × 64 Pixeln eingestellt war. Jetzt konnten wir eigene Einzelbilder an das Panel senden und ausprobieren, was auf so einem kleinen Display gut aussah. Codex übernahm die Recherche und die Fehlersuche. Ich kümmerte mich um die Verkabelung und meldete zurück, wenn etwas anders lief als erwartet.
Mein erster Prototyp für ein sprachgesteuertes LED-Display auf dem Mac
Die erste funktionierende Version war viel einfacher als das, was am Ende daraus wurde. Sobald WLED-MM auf dem Controller lief, entwickelte ich mit Codex einen Renderer und einen eigenen Skill. Über den Sprachchat in der Desktop-App von ChatGPT sagte ich Codex, was auf dem Display erscheinen sollte.
Schon damit fühlte sich das Display ganz anders an. Es konnte das Wetter, meinen Kalender, die Ankunftszeiten der U-Bahn, Finanzdiagramme, Nachrichten, Countdowns, Fotos, Kunstwerke oder eine individuell gestaltete animierte Szene anzeigen. Wenn eine Idee auf dem kleinen Bildschirm nicht so aussah wie gedacht, passten wir den Renderer an.
Die Gespräche führte ich weiterhin in Codex. Mit dem eigenen Skill konnte Codex die Anzeige an der Wand aktualisieren. Der Renderer auf meinem Mac wandelte das Layout in RGB-Einzelbilder mit 128 × 64 Pixeln um und verschickte sie per DDP über das lokale Netzwerk. Der ESP32-Controller mit WLED-MM brachte die Bilder dann auf das Panel.
Codex half mir auch bei der Gestaltung. Auf einem Display mit 128 × 64 Pixeln ist wenig Platz. Wir probierten deshalb immer wieder aus, wie sich Text, Bilder, Wetterdaten, Kalendereinträge und die Ankunftszeiten der U-Bahn unterbringen ließen, ohne dass alles unleserlich wurde. Ich sagte Codex, was mich störte, Codex passte den Renderer oder das Layout an, und wir versuchten es noch einmal. Irgendwann gefiel mir die Anzeige im Ruhezustand so gut, dass ich sie gerne eingeschaltet ließ.
Ein Problem blieb: Alles hing von meinem Mac ab. Dort lief der Renderer, und dort begann auch jedes Gespräch. Sobald mein Laptop in den Ruhezustand wechselte oder ich ihn mitnahm, konnte ich das Display an der Wand nicht mehr so nutzen, wie ich es wollte. Am liebsten wollte ich nach der Arbeit nach Hause kommen und meine Wand einfach bitten, mir etwas zu zeigen.
Wie Sprachassistent und Renderer auf den Raspberry Pi kamen
Ich sagte Codex, dass das Ganze auch ohne meinen Laptop laufen sollte. Also verlagerten wir alles, was dauerhaft laufen musste, auf einen Raspberry Pi und legten den Code in einem privaten Repository ab. Wir sorgten dafür, dass wir eine Sicherungskopie hatten und bei Problemen zur vorherigen Version zurückkehren konnten. Sobald ich den Pi angeschlossen hatte, brachte Codex den Code zum Laufen, prüfte die Logs und behob die Fehler, die dabei auftraten. Ich beschrieb währenddessen weiter, was das Display können sollte.
Auf dem Pi laufen inzwischen zwei kleine Dienste:
- Der Sprachdienst kümmert sich um das Mikrofon, die Audioverarbeitung mit PipeWire, die Echounterdrückung mit WebRTC, das Aufwecken und den Wechsel in den Ruhezustand, Unterbrechungen im Gespräch, die Verbindung zu GPT-Live-1 und die clientseitige Delegation von Aufgaben.
- Der Renderer-Dienst hält die Animation im Ruhezustand am Laufen, aktualisiert die Wetterdaten und die Ankunftszeiten der MTA-U-Bahn, nutzt bereinigte Kalenderdaten, prüft Szenenbeschreibungen und streamt die Einzelbilder an das Display.
Mit einem Mikrofon und einem Lautsprecher am Pi konnte ich ins Zimmer kommen, „Hey Jack“ sagen und um etwas bitten, ohne meinen Laptop aufzuklappen. Wir feilten noch eine Weile daran, wie Jack auf den Weckruf reagierte und wie er antwortete. Aber erst als das Ganze ohne meinen Mac lief, fühlte es sich weniger wie eine Demo auf dem Laptop an und mehr wie etwas, das wir einfach eingeschaltet lassen konnten.
Wie GPT-Live-1 und der Raspberry Pi zusammenarbeiten
Am Ende haben wir die Arbeit so aufgeteilt: Mit GPT-Live-1 führe ich das Gespräch. Für die Darstellung an der Wand ist der Renderer zuständig. GPT-Live-1 hält das Gespräch offen, hört auch beim Sprechen zu und lässt sich von mir unterbrechen. Das Modell entscheidet außerdem, wann für eine Anfrage mehr nötig ist als eine Antwort im Gespräch.
In diesem Fall übernimmt der Raspberry Pi die delegierte Aufgabe und startet über die Responses API eine clientseitige Anfrage an GPT-5.6 Luna mit geringem Reasoning-Aufwand. Luna kann das öffentliche Web durchsuchen, meinen Kalender über eine Verbindung ohne Schreibzugriff abfragen, auf Wikimedia Commons Bilder zur Weiterverwendung finden und entscheiden, welche Art von Szene zur Anfrage passt.
Einmal bat ich Jack, ein Foto an der Wand zu zeigen. Jack sagte, das könne er nicht. Der Renderer konnte bereits Bilder anzeigen, aber dem Sprachassistenten fehlte ein Tool, um ein Bild zu finden und zu senden. Mit Codex band ich Wikimedia Commons an. So konnte Jack nach einem passenden Bild suchen, die Lizenz prüfen und nachsehen, welche Quellenangabe nötig war. Wir passten auch die Bildgröße an: Der Pi skalierte die Bilder auf höchstens 128 × 64 Pixel und behielt dabei das Seitenverhältnis bei. So erschienen die Bilder auf dem Display unverzerrt.
Mit jeder neuen Funktion half mir Codex, die Aufgaben klar zu trennen. Der Code auf dem Pi legt fest, welche Tools Luna nutzen darf. Luna ermittelt, welche Informationen oder welche Szene nötig sind. Der Renderer prüft die Szenenbeschreibung im JSON-Format und erzeugt daraus RGB-Einzelbilder mit genau 128 × 64 Pixeln. Diese schickt er per DDP an den WLED-MM-Controller, der das HUB75-Panel ansteuert.
Einer der ersten Fehler fiel in einem ganz alltäglichen Gespräch auf. Ich fragte Jack nach dem Wetter in New York und sagte dann: „Zeig das an der Wand.“ Jack wusste nicht, worauf sich „das“ bezog. Codex fand den Grund: Unsere App schickte dem Modell, das die Anzeige aktualisierte, immer nur die letzte Anfrage. Wir änderten die Übergabe so, dass das Modell auch den jüngsten Gesprächsverlauf und frühere Ergebnisse erhielt.
Von „Hey Jack“ zu Pixeln auf dem LED-Display
Wenn ich Jack bitte, etwas nachzuschlagen und auf dem Display zu zeigen, läuft das ungefähr so ab:
- Der Raspberry Pi nimmt meine Stimme als PCM-Audio mit 24 kHz auf und verarbeitet das Audiosignal lokal.
- GPT-Live-1 empfängt den Audiostream, versteht meine Anfrage und hält das Gespräch offen, sodass ich das Modell unterbrechen oder etwas ergänzen kann.
- Wenn meine Anfrage eine Recherche, Kalenderdaten, ein Bild oder eine Änderung der Anzeige erfordert, delegiert GPT-Live-1 die Aufgabe an den Client. Der Pi sendet sie über die Responses API an GPT-5.6 Luna.
- Luna nutzt die Tools, die ich für diese Anfrage bereitgestellt habe, etwa die gehostete Websuche, die Kalenderverbindung ohne Schreibzugriff, die Suche nach Bildern zur Weiterverwendung oder ein Tool zum Aktualisieren der Anzeige.
- Wenn eine vorhandene Szene für Wetter, Termine, Nachrichten oder einen Countdown passt, wählt Luna sie aus. Bitte ich um etwas, an das wir noch nicht gedacht hatten, erstellt Luna eine neue Szene.
- Der lokale Renderer prüft die Szene, wandelt sie in RGB-Einzelbilder mit 128 × 64 Pixeln um und sendet sie per DDP an das Display. Währenddessen erzählt mir GPT-Live-1, was es herausgefunden hat.
Mir gefällt besonders, dass ich nicht warten muss, bis der Sprachassistent mit seiner Antwort fertig ist. Ich kann Jack unterbrechen und genauer erklären, was ich meinte. Die Recherche und das Rendern laufen dabei im Hintergrund weiter.
Alles in allem war das ein ziemlich einfaches Freizeitprojekt. Mit HUB75-Panels, ESP32-Controllern, Raspberry Pis und Modellen für Sprachgespräche hatte ich keine Erfahrung. Früher hätte ich wahrscheinlich schon aufgehört, als ich das Display aufgeschraubt hatte. Mit Codex konnte ich mir Schritt für Schritt erschließen, wie alles funktionierte. Wenn mir etwas unbekannt war, konnte ich einfach nachfragen.
Wenn du ein ähnliches Projekt im Kopf hast und nicht weißt, wo du anfangen sollst, frag Codex. Vielleicht überrascht es dich, wie weit du kommst.