如何让 LLM 的回答尽可能准确、行为尽可能一致
优化 LLM 并不容易。
我们与许多来自初创公司和大型企业的开发者合作过,发现优化的难点通常归结为三个问题:
- 提高准确性应该从哪里入手?
- 什么时候该用哪种优化方法?
- 准确性达到什么水平就足以投入生产?
本文介绍一套思考框架,帮助您优化 LLM 的准确性和行为。我们将探讨提示词工程、检索增强生成(RAG)和微调,说明各种方法的用法、适用时机和常见误区。
阅读时,请结合您的具体应用场景,想想什么样的结果才算准确。这一点看似显而易见,但生成一段需要人工修改的文案,与本应给客户退款 100 美元却退了 1000 美元,后果大不相同。在讨论 LLM 的准确性之前,您应该先大致估算一下:模型出错一次会造成多少损失,成功一次又能节省多少成本或带来多少收益。文末讨论准确性达到什么水平才足以投入生产时,我们还会回到这个问题。
从两个维度理解 LLM 优化
许多优化指南把优化描述成一套简单的线性流程:先做提示词工程,再引入检索增强生成,最后进行微调。但实际情况往往并非如此。这些方法解决的问题各不相同,要找准优化方向,首先要选对方法。
您可以从两个维度来理解 LLM 优化:

对于典型的 LLM 任务,我们会从图的左下角开始做提示词工程,通过测试、分析和评估建立基线。检查基线测试中的示例并分析错误原因后,就可以选择优化方向:
- 上下文优化:以下情况需要优化上下文:1)训练集中没有相关信息,导致模型缺乏必要的背景知识;2)模型的知识已经过时;3)任务需要使用专有信息。这一维度的目标是尽可能提高回答的准确性。
- LLM 优化:以下情况需要优化 LLM:1)模型输出不稳定,格式有误;2)表达的语气或风格不符合要求;3)模型无法始终遵循预期的推理过程。这一维度的目标是尽可能提高行为的一致性。
实际优化通常需要多轮迭代。每一轮先评估表现,提出优化假设并加以实施,再次评估后决定下一步。下面是一种典型的优化流程:

在这个示例中,我们按以下步骤操作:
- 从一个提示词开始,评估它的效果。
- 加入一组固定的少样本示例,以提高结果的一致性。
- 增加检索步骤,根据问题动态选取少样本示例,让每个输入都有相关的上下文,从而改善表现。
- 准备包含至少 50 个示例的数据集,并微调模型以提高一致性。
- 调整检索方式,加入事实核查步骤来识别幻觉,从而提高准确性。
- 用包含改进后的 RAG 输入的新训练示例,再次训练已微调的模型。
在解决复杂的业务问题时,这样的优化流程很常见。它帮助我们判断,当前更需要的是相关性更高的上下文,还是更一致的模型行为。有了这个判断,就知道优化的第一步该怎么走。
有了这套框架,我们再来具体看看每个维度可以采用哪些方法。先从左下角的提示词工程开始。
提示词工程
提示词工程通常是最佳起点**。对于摘要、翻译和代码生成等任务,零样本方法就可能达到生产环境所需的准确性和一致性,因此往往只需要提示词工程。
这是因为提示词工程要求您明确:对您的应用场景而言,什么样的结果才算准确?最基本的做法是给出一个输入,判断输出是否符合预期。如果结果不符合预期,弄清原因就能帮助您决定下一步用什么方法优化。
请始终从一个简单的提示词开始,先想清楚预期输出,再逐步补充上下文、指令或示例来优化提示词,直到得到您想要的结果。
优化方法
在优化提示词时,我主要采用 OpenAI API 文档中的提示词工程指南介绍的策略。每种策略都可以帮助您优化上下文、LLM 或两者:
| 策略 | 上下文优化 | LLM 优化 |
|---|---|---|
| 编写清晰的指令 | X | |
| 将复杂任务拆分为更简单的子任务 | X | X |
| 给 GPT 模型留出“思考”的时间 | X | |
| 系统地测试改动的效果 | X | X |
| 提供参考文本 | X | |
| 使用外部工具 | X |
这些策略读起来可能有些抽象。下面用 gpt-4-turbo 纠正冰岛语句子,看看实际效果如何。
可以看到,提示词工程很适合作为起点,选对调整方法就能显著改善表现。
不过,提示词工程最大的局限在于它往往难以扩展。有时,仅靠在提示词中补充内容不足以覆盖更多问题,需要动态提供上下文;有时,少样本示例能够带来的一致性仍达不到要求。
长上下文模型可以让提示词工程适用于更多任务。不过,当提示词很长、指令又很复杂时,模型可能难以始终关注所有相关信息。因此,使用长上下文模型时,应在不同的上下文长度下进行评估,确保模型不会遗漏中间的信息。“遗漏中间的信息”指的是 LLM 无法在同一时间对输入的所有 Token 给予同等关注。这可能导致模型漏掉某些信息,看起来像是随机遗漏。长上下文仍然可以使用,但需要配合充分的评估。开源贡献者 Greg Kamradt 设计了一项实用的评估,称为大海捞针(NITA)。这项评估将一条信息放在长文档中的不同位置,检验模型能否将其检索出来。它揭示了长上下文的一个问题:把所有内容都放进上下文,看似大大简化了检索流程,却可能牺牲准确性。
那么,单靠提示词工程究竟能做到什么程度?答案取决于具体任务,您可以通过评估来判断。
评估
这一阶段最理想的成果,是一个效果良好的提示词,以及一套包含问题和标准答案的评估集。如果我们已经收集了至少 20 组问答,逐一分析过失败案例,并对出错原因有了初步判断,就有了尝试更进阶优化方法所需的基线。
在采用更复杂的优化方法之前,还值得考虑如何将评估自动化,以加快迭代。实践中,以下做法比较有效:
- 使用 ROUGE 或 BERTScore 等方法做粗略判断。这些指标与人工评审结果的相关性并不很强,但能快速、有效地衡量一次迭代让模型输出发生了多大变化。
- 按照 G-Eval 论文介绍的方法,使用 GPT-4 进行评估。向 LLM 提供评分表,让它尽可能客观地评价输出。
如果您想进一步了解这些方法,可以参阅这篇实践教程,了解每种方法的具体用法。
了解优化工具
假设您已经做了提示词工程,也有了评估集,但模型表现仍未达到要求。接下来最重要的是找出模型在哪些地方出错,并确定哪种工具最适合解决这些问题。
可以按以下框架进行判断:

对于评估中答错的每道题,您都可以判断问题出在上下文记忆还是习得记忆。以考试为例,有两种方式可以帮助您答对题:
- 您在过去六个月里一直上课,反复接触了许多示例,学会了如何应用某个概念。这就是习得记忆。对于 LLM,可以向模型展示提示词及其预期回答的示例,让模型从中学习。
- 您带着课本参加考试,可以查到答题所需的信息。这就是上下文记忆。对于 LLM,可以把相关信息放进上下文窗口:既可以通过提示词工程静态添加,也可以用 RAG 大规模地完成这一过程。
这两种优化方法可以叠加使用,并不互斥。在某些场景下,您需要结合使用它们才能获得最佳表现。
假设我们面对的是短期记忆问题,接下来就用 RAG 来解决。
检索增强生成(RAG)
RAG 的过程是先检索内容,用它增强 LLM 的提示词,再让模型生成回答。这样,模型就能获取特定领域的上下文来完成任务。
RAG 对于提高 LLM 的准确性和一致性很有价值。在 OpenAI 规模最大的客户部署项目中,有许多仅使用了提示词工程和 RAG。

在这个示例中,我们已将统计知识库中的内容转换为嵌入向量。用户提问时,我们也将问题转换为嵌入向量,从知识库中检索最相关的内容,再将这些内容提供给模型,由模型回答问题。
RAG 应用引入了一个新的优化维度:检索。要让 RAG 发挥作用,我们需要先向模型提供正确的上下文,再评估模型的回答是否正确。下图将这两个维度组合起来,方便您理解如何评估 RAG:

RAG 应用可能在两个环节出问题:
| 环节 | 问题 | 解决方法 |
|---|---|---|
| 检索 | 如果提供了错误的上下文,模型就无从作答。如果提供了太多无关内容,有用的信息可能被淹没,导致模型产生幻觉。 | 优化检索,例如: - 调整搜索方式,使其返回正确的结果。 - 调整搜索方式,减少无关内容。 - 让每条检索结果包含更多信息。 这些只是部分做法。RAG 性能优化本身就是一个专门领域,LlamaIndex 和 LangChain 等库提供了多种调整方法。 |
| LLM | 即使得到了正确的上下文,模型也可能使用不当。 | 通过提示词工程改进指令和模型处理任务的方法。如果展示示例能够提高准确性,还可以引入微调。 |
这里的原则与开头介绍的框架一致:先通过评估找出问题,再有针对性地优化。使用 RAG 时,区别只在于还需要考虑检索这个维度。
RAG 很有用,但它只解决上下文学习方面的问题。在许多应用场景中,我们还需要让 LLM 学会一项任务,以便持续、可靠地完成它。这类问题可以用微调来解决。
微调
为解决习得记忆方面的问题,许多开发者会用规模较小的领域专用数据集继续训练 LLM,使其更适合某项具体任务。这一过程称为微调。
微调通常出于以下两种目的之一:
- 提高模型在特定任务上的准确性:使用特定任务的数据训练模型,让它学习大量正确完成该任务的示例,从而解决习得记忆问题。
- 提高模型效率:用更少的 Token 或更小的模型达到同样的准确性。
微调的第一步是准备由训练示例组成的数据集。这也是最关键的一步,因为微调示例必须准确反映模型在实际应用中会遇到的输入。
许多客户采用一种称为提示词烘焙的方法:在试点期间详细记录提示词的输入和输出,再从日志中筛选出真实示例,组成有效的训练集。

准备好经过清洗的数据集后,就可以运行一次训练来微调模型。与训练其他机器学习模型类似,能否调整超参数取决于所用的平台或框架。我们建议始终留出一份单独的数据集,在训练后用它进行评估,以便发现过拟合。有关如何构建高质量训练集的建议,请参阅微调文档中的相关指南。训练完成后,就可以使用微调后的模型进行推理。
关于如何改善微调效果,下面主要介绍我们在 OpenAI 模型定制服务中总结的实践经验。这些原则也应适用于其他提供商和开源方案:
- 从提示词工程开始:在提示词工程阶段建立可靠的评估集,用它作为基线。在确定基础提示词效果可靠之前,这样可以控制投入。
- 从小规模开始,优先保证质量:在基础模型上进行微调时,训练数据的质量比数量更重要。先从至少 50 个示例开始,再评估效果。如果准确性仍未达标,而且答错的原因在于一致性或行为,而非上下文,再扩大训练集。
- 确保示例具有代表性:我们经常看到的误区之一是训练数据缺乏代表性:微调示例的格式或形式与 LLM 在生产环境中接收的输入略有差异。例如,如果您开发的是 RAG 应用,微调时就应使用包含 RAG 上下文的示例,以免模型在实际使用时只能靠零样本方式摸索如何利用这些上下文。
组合使用上述方法
这些技术可以叠加使用。如果早期评估发现上下文和行为都有问题,您的生产方案最终很可能既需要微调,也需要 RAG。这很正常,两种方法可以互相弥补不足。组合使用的主要好处包括:
- 通过微调尽量减少 Token 用量:用大量训练示例代替提示词工程中的指令和少样本示例,让模型学会以一致的方式完成任务。
- 通过充分的微调,让模型学会复杂行为。
- 通过 RAG 注入上下文,包括较新的内容或具体应用场景所需的其他专门信息。
到这里,您应该已经了解 RAG 和微调各自的作用与适用场景。还有一点值得考虑:引入这些工具会影响迭代速度。
- 使用 RAG 时,您需要同时优化检索和 LLM 的行为。
- 使用微调时,每次进一步调整都需要重新运行微调流程,并管理训练集和验证集。
这两种过程都可能复杂且耗时。随着 LLM 应用变得更加复杂,改动也可能让原本表现良好的任务出现退步。如果只记住本文的一条建议,那就是在采用更复杂的 RAG 或微调之前,先用基础方法尽可能提高准确性。应根据准确性目标选择方法,不必因为 RAG 与微调的组合看起来最先进就直接采用它。
准确性达到什么水平才足以投入生产?
提高 LLM 的准确性可能是一场没有终点的拉锯战。仅靠现成的方法,准确率很难达到 99.999%。这一节讨论如何判断何时可以停止优化:您怎样才能放心地把 LLM 投入生产,又该如何管理上线后的风险?
我通常会从业务和技术两个角度考虑这个问题。下面分别介绍这两方面的基本思路,并以客服支持为例,说明如何管理风险。
业务层面
对于习惯了规则系统、传统机器学习系统甚至人工处理的业务团队来说,这些方式的表现相对容易预判,转而信任 LLM 并不容易。一个系统可能以各种难以预料的方式出错,业务团队很难判断这样的风险是否可以接受。
在一个客服项目中,我见过一种行之有效的做法。具体步骤如下:
首先,确定主要的成功和失败情形,估算每种情形对应的收益或成本。这样就能根据试点表现,清楚地说明方案预计能节省多少成本,又可能造成多少损失。
- 例如,一个原先由人工解决的工单,现在由 AI 解决,可能节省 20 美元。
- 一个本无需转人工的工单被转给人工客服,可能产生 40 美元的成本。
- 在最坏的情况下,客户因对 AI 极度不满而流失,给我们造成 1000 美元的损失。我们假设 5% 的失败案例会出现这种情况。
| 事件 | 单次价值 | 案例数 | 总价值 |
|---|---|---|---|
| AI 成功解决问题 | +20 | 815 | $16,300 |
| AI 处理失败(转人工) | -40 | 175.75 | $7,030 |
| AI 处理失败(客户流失) | -1000 | 9.25 | $9,250 |
| 净收益 | +20 | ||
| 盈亏平衡所需准确率 | 81.5% |
我们还收集了实际运行数据,以衡量方案的整体影响。仍以客服为例,可以比较以下指标:
- 纯人工服务与 AI 服务的客户满意度(CSAT)得分。
- 通过事后复核工单得到的人工决策准确率与 AI 决策准确率。
- 人工解决问题与 AI 解决问题所需的时间。
在这个客服项目中,我们通过几轮试点获得了明确的数据,并据此做出两项关键决策:
- 即使 LLM 方案转人工的次数比预期更多,与现有方案相比,它仍能大幅节省运营成本。因此,如果 15% 的错误主要是过早转人工,那么 85% 的准确率也可能可以接受。
- 对于出错代价很高的情形,例如错误处理欺诈工单,我们决定由人工主导、AI 辅助。决策准确率这一指标帮助我们判断,在这类情况下还不能放心地让 AI 全权处理。
技术层面
技术团队的任务更加明确。业务团队已经明确了预期收益和出错的代价,您的职责就是构建一个能够妥善处理失败、让用户仍能顺利完成操作的方案。
再以客服为例。假设模型识别用户意图的准确率为 85%,技术团队可以采取以下措施,尽量减轻剩余 15% 误判的影响:
- 可以通过提示词工程,让模型在把握不足时向客户询问更多信息。首次判断的准确率可能下降,但如果有两次机会识别意图,最终的准确率可能更高。
- 可以允许二线助手将工单退回意图识别环节。这样,流程就有机会自行纠正错误,代价是用户需要多等一会儿。
- 可以通过提示词工程,让模型在意图不明确时转交人工处理。这样做短期内会减少节省的运营成本,但长期来看可能降低客户流失风险。
这些决策会影响用户体验和成本。例如,为提高准确性,用户可能需要等待更久;如果需要更多人工介入,则应将相应的开支计入前面介绍的业务成本模型。
现在,您可以分别梳理设定准确性目标所涉及的业务决策和技术决策,使目标符合实际业务需求。
将这些方法用于实践
这套框架概括了如何尽可能提高 LLM 的准确性、可以使用哪些工具,以及如何判断准确性何时足以满足生产要求。有了这套框架和工具,您就可以按一套可重复的流程将应用投入生产。如果您想了解其他团队用这些方法取得了什么成果,可以阅读我们的客户案例。Morgan Stanley 和 Klarna 的实践展示了这些技术能帮助您实现什么。
祝您进展顺利,期待看到您用这些方法构建的应用!
各种优化方法的 BLEU 得分(满分 100 分)