使用 LLM 時,如何盡可能提高回應的正確性與行為的一致性
最佳化 LLM 並不容易。
我們與許多新創公司和大型企業的開發人員合作過,發現大家在最佳化過程中反覆遇到的難題可以歸納為三個問題:
- 該從何著手提高準確度?
- 何時該用哪一種最佳化方法?
- 準確度要達到什麼程度,才足以在正式環境中使用?
本文提供一套思考架構,協助你提高 LLM 的準確度並改善其行為。我們將探討提示工程、檢索增強生成(RAG)和微調等方法,說明各項技術的用法與適用時機,也會分享幾個常見的陷阱。
閱讀時,請思考這些原則與你的使用情境有何關聯,以及「準確」在這個情境中意味著什麼。這一點看似顯而易見,但模型寫了一段需要人工修改的文案,與模型原本該退還客戶 100 美元卻退了 1,000 美元,後果大不相同。每次討論 LLM 的準確度之前,你都應該先大致估算模型失敗一次會讓你付出多少成本,成功一次又能省下或賺進多少錢。本文最後會回到這個問題,探討什麼樣的準確度才「足以」在正式環境中使用。
如何思考 LLM 最佳化
許多最佳化指南把過程描述成簡單的線性流程:先做提示工程,再導入檢索增強生成,最後進行微調。實際情況往往不同。這些方法各自解決不同的問題,你需要根據問題選擇方法,才能朝正確的方向改善。
你可以用一個矩陣來理解 LLM 最佳化:

典型的 LLM 任務會從左下角的提示工程開始。我們透過測試、觀察與評估建立基準,再檢視基準測試中的案例,分析出錯原因,據此選擇最佳化方向:
- 上下文最佳化: 如果模型缺少解題所需的背景知識,原因是 1)訓練集中沒有這些知識、2)模型的知識已經過時,或 3)任務需要專有資訊,就需要最佳化上下文。這個方向的目標是盡可能提高回應準確度。
- LLM 最佳化: 如果 1)模型輸出的結果不一致且格式有誤、2)措辭的語氣或風格不符預期,或 3)模型無法穩定地遵循推理步驟,就需要最佳化 LLM。這個方向的目標是盡可能提高行為一致性。
實務上,最佳化需要分步進行。我們先評估表現,對改善方式提出假設並付諸實行,接著再次評估,決定下一步。以下是常見的最佳化流程:

在這個例子中,我們依序採取下列步驟:
- 先寫一個提示詞,再評估其成效。
- 加入固定的少樣本範例,預期能提高結果的一致性。
- 加入檢索步驟,根據問題動態選取少樣本範例,確保每筆輸入都有相關上下文,藉此提升表現。
- 準備至少 50 個範例組成資料集,並微調模型以提高一致性。
- 調整檢索方式,並加入事實查核步驟來找出幻覺,進一步提高準確度。
- 使用新的訓練範例重新訓練微調後的模型。這些範例包含改良後的 RAG 輸入。
這是解決棘手業務問題時常見的最佳化流程。它能幫助我們判斷,問題是需要更切題的上下文,還是需要模型表現得更一致。釐清這一點,就能決定最佳化的第一步該採用哪種方法。
有了這套思考架構,接下來看看各個方向可以採取哪些具體做法。我們先從左下角的提示工程開始。
提示工程
提示工程通常是最佳起點**。在摘要、翻譯和程式碼生成等使用情境中,零樣本方法就可能達到正式環境所需的準確度與一致性,因此往往只需要提示工程。
原因在於,提示工程會促使你明確定義「準確」在你的使用情境中的意義。你從最基本的動作開始,也就是提供一筆輸入,因此必須能判斷輸出是否符合預期。如果結果不符預期,找出為什麼,就能知道下一步該用什麼方法改善。
請一律從簡單的提示詞開始,並先想清楚預期的輸出。接著逐步加入上下文、指示或範例來改善提示詞,直到得到想要的結果。
最佳化
在最佳化提示詞時,我主要參考 OpenAI API 文件中提示工程指南列出的策略。每項策略都能幫助你調整上下文、LLM,或同時調整兩者:
| 策略 | 上下文最佳化 | LLM 最佳化 |
|---|---|---|
| 撰寫清楚的指示 | X | |
| 將複雜任務拆解為較簡單的子任務 | X | X |
| 給 GPT 模型時間「思考」 | X | |
| 有系統地測試變更 | X | X |
| 提供參考文字 | X | |
| 使用外部工具 | X |
單看策略名稱可能不容易想像實際做法。以下用 gpt-4-turbo 修正冰島語句子,看看這些策略如何運用在具體任務上。
從這個例子可以看到,提示工程是個很好的起點。只要調整得當,就能大幅提升模型表現。
不過,提示工程最大的限制在於往往難以擴大應用範圍。有時只靠在提示詞中加入固定內容,能處理的問題類型有限,需要動態提供上下文,模型才能應付更多問題。有時則是任務對行為一致性的要求超出少樣本範例所能達到的程度。
支援長上下文的模型能進一步擴大提示工程的應用範圍。不過,當提示詞很長、指示又複雜時,模型可能難以兼顧全文。因此,使用長上下文模型時,務必在不同的上下文長度下進行評估,確認模型不會忽略中段資訊。「忽略中段資訊」指的是 LLM 無法同時對輸入的所有 Token 投以同等的注意力,因此可能漏掉某些資訊,看起來像是隨機遺漏。長上下文仍然值得使用,但必須搭配充分的評估。開放原始碼貢獻者 Greg Kamradt 設計了一項實用的評估,稱為大海撈針(NITA)。這項評估把一段資訊藏在長文件的不同位置,再評估模型找出該資訊的能力。這個測試說明了長上下文的難題:把所有資料都放進上下文,確實能大幅簡化檢索流程,代價卻可能是準確度下降。
那麼,提示工程究竟能改善多少?答案取決於使用情境,你需要透過評估來判斷。
評估
因此,這個階段最理想的成果是一個成效良好的提示詞,以及一組包含問題與標準答案的評估資料。如果我們已經準備至少 20 組問答、仔細檢視失敗案例,並對出錯原因提出假設,就有了嘗試進階最佳化方法所需的基準。
在採用更複雜的最佳化方法之前,也值得考慮如何自動化評估,加快每一輪調整的速度。根據我們的經驗,以下是常見且有效的做法:
- 使用 ROUGE 或 BERTScore 等方法做初步估計。這類分數與人工評審的判斷相關性不算高,但能快速有效地衡量每一輪調整對模型輸出的影響有多大。
- 依照 G-Eval 論文提出的方法,讓 GPT-4 擔任評審,提供評分表給 LLM,讓它盡可能客觀地評估輸出。
如想進一步瞭解這些方法,可以參考這份實作指南,逐一練習如何運用這些方法。
瞭解各種工具
假設你已經做過提示工程,也準備好了評估集,但模型的表現仍不符合需求。這時最重要的是找出模型在哪裡出錯,再判斷哪種工具最適合用來改善。
你可以使用以下基本架構來分析:

針對每一道答錯的評估題目,可以判斷問題出在上下文記憶還是習得記憶。以考試為例,有兩種方式可以幫你答對題目:
- 你在過去六個月持續上課,透過許多反覆出現的例子,學會某個概念如何運作。這是習得記憶。要讓 LLM 學會一項任務,可以提供多組提示詞與預期回應的範例,讓模型從中學習。
- 你帶著教科書應考,可以查到答題所需的正確資訊。這是上下文記憶。對 LLM 而言,做法是把相關資訊放進上下文視窗。你可以用提示工程加入固定資訊,也可以用 RAG 大規模地提供資訊。
這兩種最佳化方法可以疊加,彼此並不排斥。在某些使用情境中,必須搭配使用才能達到最佳表現。
假設我們面對的是短期記憶問題,接下來看看如何用 RAG 解決。
檢索增強生成(RAG)
RAG 的做法是先檢索內容,用來增強 LLM 的提示詞,再生成答案。這能讓模型取得特定領域的上下文,進而完成任務。
RAG 對於提高 LLM 的準確度與一致性非常有價值。OpenAI 客戶規模最大的部署案例中,有許多只用了提示工程和 RAG。

在這個例子中,我們已將知識庫裡的統計資料轉成嵌入向量。使用者提問時,我們也把問題轉成嵌入向量,據此從知識庫中檢索最相關的內容,再交給模型回答問題。
RAG 應用程式多了一個需要最佳化的面向,也就是檢索。要讓 RAG 發揮作用,必須先提供正確的上下文,再評估模型是否正確作答。下圖以矩陣呈現這兩個面向,方便你思考如何評估 RAG:

RAG 應用程式可能在兩個環節出問題:
| 環節 | 問題 | 解決方式 |
|---|---|---|
| 檢索 | 提供的上下文有誤,模型因而無從作答;或是提供了太多不相關的上下文,淹沒真正有用的資訊,導致模型產生幻覺。 | 最佳化檢索的做法包括: - 調整搜尋方式,讓搜尋傳回正確的結果。 - 調整搜尋方式,減少結果中的雜訊。 - 讓每筆檢索結果提供更多資訊。 這些只是幾個例子。調校 RAG 效能本身就是一門專業,LlamaIndex 和 LangChain 等程式庫都提供了多種調校方法。 |
| LLM | 即使模型取得了正確的上下文,也可能未能妥善運用其中的資訊。 | 透過提示工程改善指示以及模型處理問題的方法。如果提供範例有助於提高準確度,也可以加入微調。 |
這裡的原則與開頭的思考架構相同:透過評估找出問題,再採取相應的最佳化步驟來修正。使用 RAG 時,差別只在於現在還需要考慮檢索這個面向。
RAG 雖然實用,卻只能解決上下文學習方面的問題。在許多情境中,真正的難題是如何讓 LLM 學會一項任務,並且穩定、可靠地執行。這時可以採用微調。
微調
為了解決習得記憶的問題,許多開發人員會使用規模較小、針對特定領域的資料集繼續訓練 LLM,讓它更適合執行特定任務。這個過程稱為微調。
進行微調通常是為了達成下列兩個目的之一:
- 提高模型執行特定任務的準確度: 使用任務專屬資料訓練模型,提供大量正確執行該任務的範例,解決習得記憶的問題。
- 提高模型效率: 使用較少的 Token 或較小的模型,達到相同的準確度。
微調的第一步是準備訓練範例資料集。這也是最關鍵的一步,因為微調範例必須如實反映模型在實際使用時會遇到的輸入。
許多客戶採用一種稱為提示詞烘焙的方法,在試行期間詳實記錄提示詞的輸入與輸出,再從紀錄中篩選出貼近實際情境的範例,整理成有效的訓練集。

整理好資料集後,就可以執行一次訓練,產生微調後的模型。和其他機器學習模型一樣,可調整哪些超參數取決於你使用的訓練平台或框架。我們一向建議保留一組不參與訓練的資料,供訓練結束後評估模型,以便偵測過度擬合。如需建立優質訓練集的訣竅,請參閱微調文件中的相關指引。訓練完成後,就可以使用新的微調模型進行推論。
以下介紹如何改善微調成效,重點放在我們從 OpenAI 模型客製化服務中歸納出的最佳做法。這些原則應該也適用於其他供應商的服務和開放原始碼方案。請留意以下幾點:
- 從提示工程開始: 在提示工程階段建立可靠的評估集,作為後續比較的基準。在你對基礎提示詞有足夠信心之前,這個做法可以讓你以較少的投入進行嘗試。
- 從小規模開始,優先確保品質: 微調基礎模型時,訓練資料的品質比數量重要。先準備至少 50 個範例並評估結果。如果準確度還不符合需求,而且答錯的原因在於一致性或行為,上下文並無問題,再擴大訓練集。
- 確保範例具有代表性: 我們最常見的陷阱之一,就是訓練資料缺乏代表性。微調範例的格式或呈現方式與 LLM 在正式環境中接收到的輸入略有不同,就可能造成問題。例如,如果你開發的是 RAG 應用程式,微調時就應該納入含有 RAG 上下文的範例,讓模型在訓練時學會使用上下文,避免上線後才以零樣本方式摸索。
搭配使用這些方法
這些技術可以搭配使用。如果初期評估發現上下文和行為都有問題,正式環境中的解決方案很可能會同時用到微調和 RAG。這樣做很合理,兩種方法搭配起來可以彌補彼此的不足。主要好處包括:
- 利用微調盡可能減少 Token 用量。以大量訓練範例取代提示工程中的指示和少樣本範例,讓模型學會以一致的方式執行任務。
- 透過充分的微調,教會模型複雜的行為。
- 使用 RAG 加入上下文,提供較新的內容,或使用情境所需的其他專業背景資訊。
到這裡,你應該已經瞭解 RAG 和微調各自的作用與適用時機。採用這些工具時,還有一項取捨需要考量:每一輪調整都可能需要更多時間。
- 使用 RAG 時,除了 LLM 行為,也需要調整檢索方式。
- 使用微調時,每次進一步調整,都需要重新執行微調流程,並管理訓練集與驗證集。
兩種流程都可能相當耗時且複雜。隨著 LLM 應用程式變得更複雜,調整也可能讓原本表現良好的部分退步。如果只記住本文的一項建議,請在採用較複雜的 RAG 或微調之前,先盡可能用基本方法提高準確度。請以實際需要的準確度為目標,別只因為 RAG 加上微調看起來最先進,就直接採用兩者。
準確度要多高才足以在正式環境中使用?
提高 LLM 準確度可能是個沒有終點的過程。只靠現成的方法,模型不太可能達到 99.999% 的準確度。本節探討如何判斷準確度是否已經足夠:你要如何確認可以放心讓 LLM 上線,又該如何管理解決方案上線後的風險?
我發現,同時從業務和技術兩個角度來思考很有幫助。以下會概述兩方面的做法,再以客服支援中心為例,說明我們如何分別管理風險。
業務面
對業務團隊而言,規則式系統、傳統機器學習系統,甚至人工處理,結果都相對容易預期。習慣了這些方式之後,要信任 LLM 並不容易。系統出錯的形式沒有固定範圍,事前也難以預測,確實很難評估風險。
我曾在一個客服案例中看到以下做法成功發揮作用:
首先,我們找出主要的成功與失敗情境,分別估算其成本。有了這些估算,就能根據試行期間的表現,清楚說明方案可能省下多少錢,又可能產生多少成本。
- 例如,原本需要人工處理的案件改由 AI 解決,每件可能省下 20 美元。
- 原本無須轉交人工的案件卻轉由人工處理,每件可能產生 40 美元的成本。
- 最糟的情況是客戶對 AI 感到非常挫折,因而不再使用服務。每流失一位客戶,就會損失 1,000 美元。我們假設有 5% 的案例會發生這種情況。
| 事件 | 每件價值 | 案件數 | 總價值 |
|---|---|---|---|
| AI 成功解決 | +20 | 815 | $16,300 |
| AI 失敗(轉交人工) | -40 | 175.75 | $7,030 |
| AI 失敗(客戶流失) | -1000 | 9.25 | $9,250 |
| 結果 | +20 | ||
| 達到損益兩平所需的準確度 | 81.5% |
我們也蒐集了實際處理流程的統計資料,用來衡量解決方案的整體影響。同樣以客服為例,可以比較下列指標:
- 全程由人工服務與由 AI 服務的客戶滿意度(CSAT)分數。
- 事後審查案件時,人工與 AI 的決策準確度。
- 人工與 AI 解決案件所需的時間。
在這個客服案例中,我們進行了幾次試行,取得明確的數據後,據此做出兩項重要決定:
- 即使 LLM 方案轉交人工的次數比預期多,與既有方案相比,仍能大幅節省營運成本。因此,即使準確度只有 85%,只要其餘 15% 的案件主要是提早轉交人工,就可能是可接受的結果。
- 對於失敗成本非常高的情境,例如誤判詐騙案件,我們決定由人員主導,AI 擔任助手。在這種情況下,決策準確度的數據讓我們判斷,還無法放心讓 AI 完全自主處理。
技術面
技術團隊的任務比較明確。業務團隊已經釐清預期效益和可能的失敗成本,接下來要做的是打造能妥善處理失敗情況的解決方案,避免使用者體驗因此中斷。
再以客服為例,假設模型判斷客戶意圖的準確度為 85%。技術團隊可以用以下方法,盡量降低其餘 15% 誤判的影響:
- 透過提示工程,讓模型在把握不足時請客戶提供更多資訊。首次判斷的準確度可能會下降,但如果有兩次機會判斷意圖,最終的準確度可能會提高。
- 讓第二線助理可以把案件送回意圖判斷階段。這樣一來,流程可以自行修正先前的判斷,只是使用者需要多等一些時間。
- 透過提示工程,讓模型在客戶意圖不明確時轉交人工處理。短期內能省下的營運成本會減少,但長期來看,可能降低客戶流失的風險。
這些決定會反映在使用者體驗上。為了提高準確度,使用者可能要等更久,或需要人員更常介入。這些影響也應納入前面業務章節介紹的成本模型。
運用這套做法,你就能逐一分析設定準確度目標時涉及的業務與技術決策,讓目標符合實際業務需求。
將這套方法付諸實行
這套思考架構說明了如何盡可能提高 LLM 的準確度、可以運用哪些工具,以及如何判斷準確度何時已經足以上線。有了這些方法與工具,你就能有系統地將應用程式部署到正式環境。如果想從其他團隊的成果獲得靈感,可以參考我們的客戶案例,看看 Morgan Stanley 和 Klarna 如何運用這些技術,以及實際達成了什麼。
祝你開發順利,我們期待看到你用這些方法打造的應用!
各種調校方法的 BLEU 分數(滿分 100 分)