Buildt 使用 OpenAI 基礎模型已經有一段時間了。這些模型非常強大，關于這一點，互聯網上已經有了大量的記錄，特別是隨著 ChatGPT 的出現，它的關注度超過了之前 GPT-3 的 100 倍。然而，在應用這些模型解決相應問題（代碼庫搜索、理解和增強）的過程中，我們發現了一個明顯的障礙：延遲和成本。比較大的模型（特別是 davinci 家族）無疑能產生最高質量的輸出，但運行起來也最慢、最昂貴。

要獲得良好的搜索體驗，顯然速度就得快。你看谷歌，100 毫秒就可以索引數百萬個網頁，代碼庫搜索也是如此。我們發現，在單個搜索中，其中一個最耗時的點就是生成輸出的 LLM 層（我們使用 LLM 來增強搜索，讓你可以搜索代碼是什么，而不是它做什么，例如“找出最慢的遞歸函數”）。Alex grave 是 Github Copilot 的創建者之一。據他說，每增加 10 毫秒的延遲，完成率就會下降 1%。這一邏輯也適用于搜索。所以，當務之急是從 davinci 這樣的大型模型轉向 ada 和 babbage 這樣的小型模型。

我們的解決方案很簡單，對于給定的任務，由 davinci 生成一個中等大小的語料庫，并精心優化像 babbage 這樣的模型來完成相同的任務。如果操作得當，你可以以低 40 倍的成本、低 4-5 倍的延遲獲得幾乎相同的完成率（或至少 90% 的相似性）。

如果你愿意花點時間，則還可以在循環中加一個人：我們最近就做了這樣的事情來優化 babbage 模型，以便能夠識別代碼的特征，所以我讓 ChatGPT 幫我創建了一個基本的 Web UI，讓我們可以輕松地審核和改進 davinci 所的識別結果；從根本上說，你永遠無法從一個更小的模型那里獲得類似的性能，所以讓完成率勝過你試圖模仿的模型，意味著你至少在訓練完成時就比較接近。

關于這種技術，我想的最多的一個問題是：我需要多少樣本？答案恐怕是“視情況而定”。

根據經驗，如果你只是想標準化平淡無奇的輸出格式，那么你可以用幾百個樣本；如果你是在做邏輯推理，那么你至少需要 1000 個樣本；如果你在做 DSL 工作，那么你需要幾千個樣本。樣本大小通常會是一個障礙，但有了用更大的模型來生成合成數據集的方法，那突然變得比較容易處理了，特別是當這些模型變得越來越好時。

這種方法有很多應用場景；如果你有一個提示符，它可以重復做同樣的工作，那么你就可以使用這項技術來加快速度，降低成本。

有人問過我這種方法的維護問題，特別是如果想要更改輸出結構時會出現什么情況。我們內部構建了一個經過精心優化的管道來自動化整個過程，其底層是 davinci-003 提示符，然后我們用它來生成 n 個合成樣本，格式化后傳遞給 OpenAI 調優 API，它會吐出一個調優過的模型。這樣，如果你想更改提示符的輸出，只需一次單擊就可以更新一個調優過的模型。

我總是很樂意談論這個話題，歡迎在 Twitter 上關注我（@AlistairPullen），我上面描述的所有內容都可以在我們的代碼搜索工具 Buildt 中找到。

審核編輯 ：李倩