Wenn du OpenAI-Modelle nutzt, kannst du deine Kosten auf verschiedene Weise senken. Kosten und Latenz hängen meist zusammen. Wenn du weniger Tokens verwendest und weniger Anfragen sendest, geht die Verarbeitung in der Regel schneller. Mit der Batch API und der Flex-Verarbeitung von OpenAI kannst du ebenfalls Kosten sparen.
Kosten und Latenz
Mit diesen Strategien kannst du Latenz und Kosten senken:
- Weniger Anfragen senden: Beschränke dich auf die Anfragen, die du für die jeweilige Aufgabe brauchst.
- Weniger Tokens verwenden: Reduziere die Anzahl der Eingabetokens und optimiere deine Anfragen so, dass das Modell kürzere Ergebnisse liefert.
- Ein kleineres Modell wählen: Wähle ein Modell, das bei gleicher Genauigkeit weniger kostet und schneller antwortet.
Mehr zu diesen Strategien erfährst du in unserem Leitfaden zur Latenzoptimierung.
Batch API
Verarbeite Aufträge asynchron. Die Batch API bietet dafür leicht nutzbare Endpunkte. Bündle mehrere Anfragen in einer einzigen Datei und starte einen Batch-Auftrag, um sie auszuführen. Während die Anfragen laufen, kannst du den Status des Auftrags abfragen. Sobald er abgeschlossen ist, kannst du die gesammelten Ergebnisse abrufen.
Erste Schritte mit der Batch API →
Flex-Verarbeitung
Mit der Flex-Verarbeitung kosten Anfragen an Chat Completions oder Responses deutlich weniger. Dafür sind die Antwortzeiten länger und Ressourcen gelegentlich nicht verfügbar. Die Flex-Verarbeitung eignet sich besonders für Aufgaben außerhalb des Produktivbetriebs oder mit niedrigerer Priorität, etwa für Modellevaluierungen, die Anreicherung von Daten oder asynchrone Workloads.