Die Genauigkeit von LLMs optimieren

So erzielst du möglichst korrekte Ergebnisse und ein konsistentes Verhalten bei der Arbeit mit LLMs

LLMs zu optimieren ist schwierig.

Wir haben mit vielen Entwickelnden in Start-ups und großen Unternehmen zusammengearbeitet. Dabei zeigt sich immer wieder, dass vor allem die folgenden Fragen die Optimierung erschweren:

• Wie du mit der Optimierung der Genauigkeit anfängst
• Wann du welche Optimierungsmethode einsetzt
• Welche Genauigkeit für den Produktivbetrieb gut genug ist

Dieser Artikel stellt ein Denkmodell vor, mit dem du die Genauigkeit und das Verhalten von LLMs optimieren kannst. Wir betrachten Methoden wie Prompt Engineering, Retrieval-Augmented Generation (RAG) und Fine-Tuning. Außerdem zeigen wir, wie und wann du die einzelnen Techniken einsetzt und welche Fallstricke es gibt.

Überlege beim Lesen immer, was diese Prinzipien für die Genauigkeit in deinem konkreten Anwendungsfall bedeuten. Das mag selbstverständlich klingen, aber es macht einen Unterschied, ob ein schlechter Text entsteht, den ein Mensch korrigieren muss, oder ob jemand eine Rückerstattung von 1.000 USD statt 100 USD erhält. Bevor du über die Genauigkeit von LLMs sprichst, solltest du grob einschätzen können, was dich ein Fehler des LLM kostet und wie viel dir ein erfolgreiches Ergebnis einspart oder einbringt. Darauf kommen wir am Ende zurück, wenn es darum geht, welche Genauigkeit für den Produktivbetrieb „gut genug“ ist.

LLM-Optimierung im Überblick

Viele Anleitungen stellen die Optimierung als einfachen, linearen Ablauf dar: Du beginnst mit Prompt Engineering, gehst dann zu Retrieval-Augmented Generation über und schließlich zum Fine-Tuning. In der Praxis läuft es jedoch oft anders. Diese Methoden lösen unterschiedliche Probleme. Damit die Optimierung zum gewünschten Ziel führt, musst du die passende Methode wählen.

Hilfreicher ist es, die LLM-Optimierung als Matrix zu betrachten:

Bei einer typischen LLM-Aufgabe beginnen wir unten links mit Prompt Engineering: Wir testen, gewinnen Erkenntnisse und evaluieren die Ergebnisse, um einen Ausgangswert zu erhalten. Sobald wir diese ersten Beispiele überprüft und die Ursachen für falsche Ergebnisse ermittelt haben, können wir an einer der folgenden Stellen ansetzen:

• Kontextoptimierung: Du musst den Kontext optimieren, wenn 1) dem Modell Kontextwissen fehlt, weil es nicht in seinen Trainingsdaten enthalten war, 2) sein Wissen veraltet ist oder 3) es unternehmenseigene Informationen benötigt. Auf dieser Achse maximierst du die Genauigkeit der Antworten.
• LLM-Optimierung: Du musst das LLM optimieren, wenn 1) das Modell inkonsistente Ergebnisse mit falscher Formatierung liefert, 2) Ton oder Sprachstil nicht passen oder 3) es dem vorgesehenen Gedankengang nicht durchgängig folgt. Auf dieser Achse maximierst du die Konsistenz des Verhaltens.

In der Praxis ergibt sich daraus eine Reihe von Optimierungsschritten: Wir evaluieren die Ergebnisse, stellen eine Hypothese zur Verbesserung auf, setzen sie um, evaluieren erneut und entscheiden dann über den nächsten Schritt. Hier ist ein Beispiel für einen recht typischen Optimierungsablauf:

In diesem Beispiel gehen wir wie folgt vor:

• Wir beginnen mit einem Prompt und evaluieren anschließend seine Leistung
• Wir ergänzen statische Few-Shot-Beispiele, die für konsistentere Ergebnisse sorgen sollten
• Wir ergänzen einen Schritt zum Informationsabruf, der je nach Frage dynamisch passende Few-Shot-Beispiele einbindet. Das verbessert die Leistung, da für jede Eingabe relevanter Kontext bereitsteht
• Wir bereiten einen Datensatz mit mindestens 50 Beispielen vor und führen ein Fine-Tuning des Modells durch, um die Konsistenz zu erhöhen
• Wir optimieren den Informationsabruf und ergänzen eine Faktenprüfung, um Halluzinationen zu erkennen und die Genauigkeit zu erhöhen
• Wir trainieren das durch Fine-Tuning angepasste Modell erneut mit den neuen Trainingsbeispielen, die unsere verbesserten RAG-Eingaben enthalten

Das ist ein recht typischer Optimierungsablauf für ein anspruchsvolles geschäftliches Problem. Er hilft uns zu entscheiden, ob wir relevanteren Kontext oder ein konsistenteres Modellverhalten benötigen. Sobald das klar ist, wissen wir, wo wir mit der Optimierung ansetzen müssen.

Mit diesem Denkmodell als Grundlage sehen wir uns nun die Methoden an, mit denen wir in all diesen Bereichen konkret Verbesserungen erzielen können. Wir beginnen unten links mit Prompt Engineering.

Prompt Engineering

Prompt Engineering ist in der Regel der beste Einstieg**. Für Anwendungsfälle wie Zusammenfassungen, Übersetzungen und Codegenerierung reicht diese Methode oft aus. Hier kann bereits ein Zero-Shot-Ansatz die für den Produktivbetrieb nötige Genauigkeit und Konsistenz erreichen.

Das liegt daran, dass du dabei festlegen musst, was Genauigkeit für deinen Anwendungsfall bedeutet. Du beginnst ganz einfach mit einer Eingabe und musst beurteilen können, ob die Ausgabe deinen Erwartungen entspricht. Ist das nicht der Fall, zeigt dir die Frage, warum das so ist, wo du mit weiteren Optimierungen ansetzen kannst.

Beginne dafür immer mit einem einfachen Prompt und einer klaren Vorstellung von der erwarteten Ausgabe. Ergänze dann Kontext, Anweisungen oder Beispiele , bis der Prompt das gewünschte Ergebnis liefert.

Optimierung

Für die Optimierung deiner Prompts stütze ich mich vor allem auf Strategien aus dem Leitfaden zu Prompt Engineering in der OpenAI API-Dokumentation. Jede Strategie hilft dir, den Kontext, das LLM oder beides zu optimieren:

Diese Strategien sind mitunter etwas abstrakt. Deshalb probieren wir sie an einem praktischen Beispiel aus: Wir lassen gpt-4-turbo isländische Sätze korrigieren und sehen uns an, wie das funktioniert.

SYSTEM: The following sentences contain Icelandic sentences which may include errors. Please correct these errors using as few word changes as possible.

# Examples
USER: "Stofnendurnir séu margir og eru fulltrúar hennar frá Englandi, Grikklandi, Rússlandi, Svíþjóð og fleiri löndum Evrópu."
ASSISTANT: "Hann segir að stofnendur leynireglunnar séu margir og að fulltrúar hennar séu frá Englandi, Grikklandi, Rússlandi, Svíþjóð og fleiri löndum Evrópu."

USER: "Helsta fæða bjúgorma eru hægfara lífverur sem eru á sama búsvæði og bjúgormarnir, oft smærri ormar eins og burstormar (fræðiheiti: Polychatete)."
ASSISTANT: "Helsta fæða bjúgorma eru hægfara lífverur sem eru á sama búsvæði og bjúgormarnir, oft smærri ormar eins og burstaormar (fræðiheiti: Polychatete)."

USER: "Sörvistölur eru nær hálsi og skartgripir kvenna á brjótsti."
ASSISTANT: "Sörvistölur eru nær hálsi og skartgripir kvenna á brjósti."

USER: [input user query here]

Wir haben gesehen, dass Prompt Engineering ein guter Ausgangspunkt ist und wir die Leistung mit den richtigen Optimierungsmethoden deutlich steigern können.

Die größte Schwierigkeit beim Prompt Engineering ist allerdings, dass es oft nicht skaliert. Entweder müssen wir Kontext dynamisch bereitstellen, damit das Modell ein breiteres Spektrum an Problemen bearbeiten kann, als es mit fest hinzugefügten Kontextinhalten möglich wäre. Oder wir brauchen ein konsistenteres Verhalten, als wir mit Few-Shot-Beispielen erreichen können.

Wie weit kommst du also mit Prompt Engineering? Das hängt vom jeweiligen Fall ab. Evaluationen helfen dir bei der Entscheidung.

Evaluierung

Deshalb ist ein guter Prompt mit einem Evaluierungsdatensatz aus Fragen und korrekten Referenzantworten das beste Ergebnis dieser Phase. Wenn wir mindestens 20 Fragen und Antworten zusammengestellt, die Fehler im Detail untersucht und eine Hypothese zu ihren Ursachen entwickelt haben, besitzen wir eine solide Grundlage für fortgeschrittenere Optimierungsmethoden.

Bevor du zu anspruchsvolleren Optimierungsmethoden übergehst, solltest du auch überlegen, wie du diese Evaluierung automatisieren kannst, um deine Iterationen zu beschleunigen. Folgende gängige Ansätze haben sich dabei unserer Erfahrung nach bewährt:

• Verfahren wie ROUGE oder BERTScore für eine grobe Einschätzung nutzen. Ihre Ergebnisse stimmen zwar nicht besonders stark mit menschlichen Bewertungen überein, können aber schnell und effektiv zeigen, wie stark eine Iteration die Modellausgaben verändert hat.
• GPT-4 zur Bewertung einsetzen, wie im G-Eval-Paper beschrieben. Dabei gibst du dem LLM ein Bewertungsraster vor, mit dem es die Ausgabe möglichst objektiv beurteilen kann.

Wenn du dich genauer mit diesen Ansätzen beschäftigen möchtest, sieh dir dieses Cookbook an. Es führt dich durch die praktische Anwendung aller genannten Verfahren.

Die Tools verstehen

Du hast also Prompt Engineering betrieben und einen Evaluierungsdatensatz erstellt, aber dein Modell erfüllt deine Anforderungen noch immer nicht. Der wichtigste nächste Schritt ist herauszufinden, wo es scheitert und welches Tool sich am besten eignet, um es zu verbessern.

Dabei hilft dieses einfache Schema:

Du kannst jede falsch beantwortete Evaluierungsfrage als ein Problem mit dem Wissen im Kontext oder dem erlernten Wissen betrachten. Stell dir als Vergleich vor, du schreibst eine Prüfung. Es gibt zwei Möglichkeiten, die richtige Antwort zu finden:

• Du hast in den vergangenen sechs Monaten am Unterricht teilgenommen und dabei immer wieder Beispiele dafür gesehen, wie ein bestimmtes Konzept funktioniert. Das ist erlerntes Wissen. Bei LLMs gehst du entsprechend vor: Du zeigst dem Modell Beispiele für Prompts und die erwarteten Antworten, aus denen es lernt.
• Du hast das Lehrbuch dabei und kannst die Informationen nachschlagen, die du zur Beantwortung der Frage brauchst. Das ist Wissen im Kontext . Bei LLMs lösen wir das, indem wir relevante Informationen in das Kontextfenster aufnehmen: entweder statisch durch Prompt Engineering oder in großem Maßstab mithilfe von RAG.

Diese beiden Optimierungsmethoden ergänzen einander und schließen sich nicht aus . Sie lassen sich kombinieren, und bei manchen Anwendungsfällen musst du beide gemeinsam einsetzen, um die optimale Leistung zu erreichen.

Nehmen wir an, wir haben ein Problem mit dem Kurzzeitgedächtnis. Dafür setzen wir RAG ein.

Retrieval-Augmented Generation (RAG)

Bei RAG werden Inhalte abgerufen ( Retrieval), um den Prompt deines LLM zu erweitern ( Augmentation), bevor es eine Antwort generiert ( Generation). So erhält das Modell Zugriff auf fachspezifischen Kontext , um eine Aufgabe zu lösen.

RAG ist ein äußerst nützliches Tool, um die Genauigkeit und Konsistenz eines LLM zu steigern. Viele der größten Implementierungen bei unserer Kundschaft haben wir bei OpenAI ausschließlich mit Prompt Engineering und RAG umgesetzt.

In diesem Beispiel haben wir Embeddings für eine Wissensbasis mit Statistiken erstellt. Wenn jemand eine Frage stellt, erstellen wir auch dafür ein Embedding und rufen die relevantesten Inhalte aus unserer Wissensbasis ab. Diese werden dem Modell übergeben, das die Frage beantwortet.

Mit RAG-Anwendungen kommt eine weitere Dimension hinzu, die wir optimieren müssen: der Informationsabruf. Damit RAG funktioniert, müssen wir dem Modell den richtigen Kontext geben und anschließend bewerten, ob es korrekt antwortet. Ich stelle diese Aspekte hier in einer Matrix dar, um einen einfachen Ansatz für die Evaluierung von RAG zu zeigen:

Deine RAG-Anwendung kann in zwei Bereichen scheitern:

Entscheidend ist, dass das Prinzip unseres anfänglichen Denkmodells unverändert bleibt: Du evaluierst, um herauszufinden, was schiefgelaufen ist, und behebst das Problem mit einem Optimierungsschritt. Der einzige Unterschied bei RAG ist, dass du jetzt auch den Informationsabruf berücksichtigen musst.

RAG ist zwar nützlich, löst aber nur unsere Probleme beim Lernen aus dem Kontext. Bei vielen Anwendungsfällen müssen wir sicherstellen, dass das LLM eine Aufgabe so erlernt, dass es sie konsistent und zuverlässig ausführen kann. Dafür nutzen wir Fine-Tuning.

Fine-Tuning

Um Probleme mit dem erlernten Wissen zu lösen, trainieren viele Entwickelnde das LLM mit einem kleineren, fachspezifischen Datensatz weiter und optimieren es so für die jeweilige Aufgabe. Dieses Verfahren heißt Fine-Tuning.

Fine-Tuning wird in der Regel aus einem von zwei Gründen durchgeführt:

• Die Genauigkeit des Modells bei einer bestimmten Aufgabe verbessern: Das Modell mit aufgabenspezifischen Daten trainieren, um ein Problem mit dem erlernten Wissen zu lösen. Dazu zeigt man ihm viele Beispiele, in denen die Aufgabe korrekt ausgeführt wird.
• Die Effizienz des Modells verbessern: Die gleiche Genauigkeit mit weniger Token oder mit einem kleineren Modell erreichen.

Fine-Tuning beginnt mit der Vorbereitung eines Datensatzes aus Trainingsbeispielen. Das ist der wichtigste Schritt, denn diese Beispiele müssen genau das abbilden, was dem Modell später in der Praxis begegnet.

Sobald dieser bereinigte Datensatz vorliegt, kannst du durch einen Trainingslauf ein Modell per Fine-Tuning anpassen. Je nach Plattform oder Framework lassen sich dabei möglicherweise Hyperparameter einstellen, ähnlich wie bei anderen Modellen für maschinelles Lernen. Wir empfehlen immer, einen separaten Datensatz zurückzuhalten und nach dem Training zur Evaluierung zu verwenden, um Überanpassung zu erkennen. Tipps zum Erstellen eines guten Trainingsdatensatzes findest du in den Hinweisen unserer Fine-Tuning-Dokumentation. Nach Abschluss des Trainings steht das neue, per Fine-Tuning angepasste Modell für die Inferenz bereit.

Für die Optimierung des Fine-Tunings konzentrieren wir uns auf bewährte Methoden aus der Nutzung von OpenAIs Angeboten zur Modellanpassung. Diese Prinzipien sollten jedoch auch für andere Anbieter und Open-Source-Angebote gelten. Folgende Methoden sind besonders wichtig:

• Beginne mit Prompt Engineering: Erstelle dabei einen soliden Evaluierungsdatensatz, den du als Vergleichsbasis nutzen kannst. So bleibt der Aufwand gering, bis du von deinem Basis-Prompt überzeugt bist.
• Fang klein an und achte auf Qualität: Beim Fine-Tuning eines Basismodells ist die Qualität der Trainingsdaten wichtiger als ihre Menge. Beginne mit mindestens 50 Beispielen und evaluiere die Ergebnisse. Vergrößere anschließend den Trainingsdatensatz, wenn die Genauigkeit noch nicht deinen Anforderungen entspricht und die falschen Antworten auf Probleme mit der Konsistenz oder dem Verhalten zurückgehen, nicht auf den Kontext.
• Achte auf repräsentative Beispiele: Eine der häufigsten Fehlerquellen, die wir beobachten, sind nicht repräsentative Trainingsdaten. Dabei unterscheiden sich die Beispiele für das Fine-Tuning in Formatierung oder Form leicht von den Eingaben, die das LLM im Produktivbetrieb erhält. Wenn du beispielsweise eine RAG-Anwendung hast, verwende beim Fine-Tuning auch RAG-Beispiele, damit das Modell die Nutzung des Kontexts nicht erst ohne Beispiele im Zero-Shot-Verfahren erlernen muss.

Alle Methoden kombinieren

Diese Techniken lassen sich kombinieren. Wenn deine ersten Evaluationen sowohl beim Kontext als auch beim Verhalten Probleme zeigen, wirst du in deiner produktiven Lösung wahrscheinlich Fine-Tuning und RAG gemeinsam einsetzen. Das ist sinnvoll, denn in Kombination können sie die Schwächen beider Ansätze ausgleichen. Zu den wichtigsten Vorteilen gehören:

• Mit Fine-Tuning die Anzahl der Token minimieren , die du für Prompt Engineering brauchst. Dazu ersetzt du Anweisungen und Few-Shot-Beispiele durch viele Trainingsbeispiele, um dem Modell konsistentes Verhalten anzutrainieren.
• Dem Modell durch umfangreiches Fine-Tuning komplexes Verhalten beibringen
• Mit RAG Kontext bereitstellen, etwa aktuellere Inhalte oder anderen speziellen Kontext, den deine Anwendungsfälle erfordern

# One training example
SYSTEM: The following sentences contain Icelandic sentences which may include errors. Please correct these errors using as few word changes as possible.
USER: "Hið sameinaða fyrirtæki verður einn af stærstu bílaframleiðendum í heiminum."
ASSISTANT: "Hið sameinaða fyrirtæki verður einn af stærstu bílaframleiðendum heims."

Du solltest jetzt besser einschätzen können, was RAG und Fine-Tuning leisten und wann sie jeweils sinnvoll sind. Ein letzter Punkt ist dabei zu beachten: Sobald du diese Werkzeuge einsetzt, geht das zulasten der Geschwindigkeit, mit der du Änderungen testen und umsetzen kannst:

• Bei RAG musst du sowohl den Informationsabruf als auch das Verhalten des LLM optimieren
• Beim Fine-Tuning musst du für weitere Optimierungen den Fine-Tuning-Prozess erneut durchlaufen und deine Trainings- und Validierungsdatensätze verwalten.

Beide Prozesse können zeitaufwendig und komplex sein. Mit zunehmender Komplexität deiner LLM-Anwendung können sie auch Regressionen verursachen. Wenn du aus diesem Artikel nur eine Erkenntnis mitnimmst, dann diese: Erreiche mit einfachen Methoden so viel Genauigkeit wie möglich, bevor du zu komplexeren Ansätzen wie RAG oder Fine-Tuning greifst. Orientiere dich an deiner angestrebten Genauigkeit, statt RAG + FT nur deshalb einzusetzen, weil sie als besonders ausgefeilt gelten.

Welche Genauigkeit ist für den Produktivbetrieb „gut genug“?

Die Genauigkeit von LLMs zu optimieren, kann zur endlosen Aufgabe werden. Mit Standardmethoden werden sie kaum eine Genauigkeit von 99,999 % erreichen. In diesem Abschnitt geht es darum, zu entscheiden, wann die Genauigkeit ausreicht: Wann kannst du ein LLM mit gutem Gewissen im Produktivbetrieb einsetzen, und wie gehst du mit den Risiken deiner bereitgestellten Lösung um?

Ich finde es hilfreich, diese Frage sowohl aus wirtschaftlicher als auch aus technischer Sicht zu betrachten. Ich beschreibe die grundlegenden Ansätze für beide Bereiche und zeige am Beispiel eines Helpdesks im Kundenservice, wie wir die jeweiligen Risiken steuern.

Wirtschaftliche Aspekte

Unternehmen fällt es oft schwer, LLMs zu vertrauen, wenn sie die vergleichsweise hohe Verlässlichkeit regelbasierter Systeme, klassischer Systeme für maschinelles Lernen oder auch von Menschen gewohnt sind! Ein System, dessen Fehler unterschiedlichste Formen annehmen können und unvorhersehbar sind, lässt sich nur schwer damit vereinbaren.

Einen erfolgreichen Ansatz habe ich bei einem Anwendungsfall im Kundenservice erlebt. Dabei sind wir wie folgt vorgegangen:

Zunächst bestimmen wir die wichtigsten Erfolgs- und Fehlerfälle und ordnen ihnen geschätzte Kosten zu. So können wir anhand der Ergebnisse im Pilotbetrieb klar beziffern, welche Einsparungen oder Kosten durch die Lösung voraussichtlich entstehen.

• Wenn beispielsweise eine KI einen Fall löst, den zuvor ein Mensch bearbeitet hat, kann das 20 USD einsparen.
• Eine unnötige Weiterleitung an einen Menschen könnte 40 USD kosten
• Im schlimmsten Fall ist jemand so frustriert von der KI, dass die Person als Kundschaft abwandert. Das kostet uns 1.000 USD. Wir nehmen an, dass dies in 5 % der Fälle passiert.

Außerdem haben wir empirische Kennzahlen zum Prozess erhoben, um die Gesamtauswirkungen der Lösung messen zu können. Im Kundenservice könnten das beispielsweise folgende Kennzahlen sein:

• Der CSAT-Wert für rein menschliche Interaktionen im Vergleich zu Interaktionen mit der KI
• Die Genauigkeit der Entscheidungen bei nachträglich überprüften Fällen im Vergleich zwischen Mensch und KI
• Die Zeit bis zur Lösung im Vergleich zwischen Mensch und KI

Im Kundenservice-Beispiel half uns das, zwei zentrale Entscheidungen zu treffen, nachdem einige Pilotversuche belastbare Daten geliefert hatten:

1. Auch wenn unsere LLM-Lösung häufiger als gewünscht Fälle an Menschen weiterleitete, sparte sie gegenüber der bestehenden Lösung enorme Betriebskosten ein. Damit konnte selbst eine Genauigkeit von 85 % ausreichen, sofern die übrigen 15 % überwiegend frühzeitig weitergeleitete Fälle waren.
2. Wo Fehler sehr hohe Kosten verursachten, etwa bei einer falschen Entscheidung in einem Betrugsfall, entschieden wir uns dafür, dass ein Mensch die Bearbeitung übernimmt und die KI unterstützend hilft. Hier zeigte uns die gemessene Entscheidungsgenauigkeit, dass wir eine vollständig autonome Bearbeitung nicht für vertretbar hielten.

Technik

Auf der technischen Seite ist die Aufgabe klarer: Das Unternehmen weiß jetzt, welchen Nutzen es erwartet und welche Kosten durch Fehler entstehen können. Deine Aufgabe ist es, eine Lösung zu entwickeln, die Fehler so abfängt, dass sie das Nutzungserlebnis nicht beeinträchtigen.

Zur Veranschaulichung greifen wir noch einmal auf das Kundenservice-Beispiel zurück. Nehmen wir an, unser Modell erkennt das Anliegen mit einer Genauigkeit von 85 %. Als technisches Team können wir die Auswirkungen der fehlerhaften 15 % auf verschiedene Weise minimieren:

• Mit Prompt Engineering können wir das Modell dazu anleiten, bei Unsicherheit weitere Informationen zu erfragen. Dadurch sinkt möglicherweise die Genauigkeit beim ersten Versuch, doch mit 2 Versuchen können wir das Anliegen unter Umständen genauer erkennen.
• Wir können dem nachgelagerten Assistenten die Möglichkeit geben, zur Erkennung des Anliegens zurückzukehren. So lassen sich Fehler im Ablauf automatisch korrigieren, allerdings verlängert sich dadurch die Wartezeit für die Nutzenden etwas.
• Mit Prompt Engineering können wir das Modell dazu anleiten, den Fall an einen Menschen zu übergeben, wenn das Anliegen unklar ist. Das verringert kurzfristig unsere Einsparungen bei den Betriebskosten, kann aber langfristig das Risiko senken, Kundschaft zu verlieren.

Diese Entscheidungen wirken sich auf das Nutzungserlebnis aus: Eine höhere Genauigkeit geht mit längeren Wartezeiten einher. Oder es müssen häufiger Menschen eingreifen, was wiederum in das oben im Abschnitt zu wirtschaftlichen Aspekten beschriebene Kostenmodell einfließt.

Du hast jetzt einen Ansatz, um die wirtschaftlichen und technischen Entscheidungen systematisch aufzuschlüsseln, die du für ein wirtschaftlich fundiertes Genauigkeitsziel treffen musst.

Die nächsten Schritte

Dieses übergeordnete Denkmodell zeigt dir, wie du die Genauigkeit von LLMs maximieren kannst, welche Werkzeuge dir dabei helfen und wie du entscheidest, welche Genauigkeit für den Produktivbetrieb ausreicht. Du hast damit den Rahmen und die Werkzeuge, um deine Lösungen zuverlässig in den Produktivbetrieb zu bringen. Wenn du dich davon inspirieren lassen möchtest, was andere mit diesen Methoden erreicht haben, sieh dir unsere Kundengeschichten an: Beispiele wie Morgan Stanley und Klarna zeigen, was du mit diesen Techniken erreichen kannst.

Viel Erfolg! Wir sind gespannt, was du damit entwickelst!