在小公司做大模型，這個事情是可以的。

筆者在小公司，做了一年多的大模型。先列一下成績單：

開源了目前業界可能是分類較完整（50類）、數量較大（1100+萬）的SFT數據集：匠數科技大模型sft數據集[1]

通過SFT、DPO、RLHF等技術訓練了領域寫作模型。實測下來，在該領域寫作上，強于國內大多數的閉源模型。

如何在小公司做大模型，筆者總結，有如下幾點：

1、至少要有基礎的硬件條件。

如果雙卡3090都沒有，那是比較難的。實在沒有，可以說服老板，租機器訓練。

2、要有選擇跟進模型訓練、部署的最新進展，選主流、走大道。

技術迭代太快，人力有限的情況下，不可能什么都跟進的。比如部署，市面上的部署方案很多了，但是主流的就是vllm，所以，集中精力將vllm搞懂用好，就夠了，其他的可以了解，但不用重點關注。

再比如各種訓練技術，經過驗證好用的也就是那么幾個。看起來過于旁門左道的論文，可以先放放，讓子彈飛一會兒再說。提一點，DPO確實是小公司對齊訓練的福音。

3、要堅持開放交流，多加群。

圍繞llm，有很多社群，也有很多活動，可以選擇性參加，但是切記切記，不要過分沉溺其中，以為這樣就能緊跟時代前沿，掌握最新趨勢了。假裝學到很多，是很有害滴。記得前段時間不是有個什么架構，號稱取代transformer嗎？鋪天蓋地的宣傳，筆者當時也聽了作者的線上分享。現在呢？自己連個像樣的模型都沒搞出來。純純浪費太多精力。相信時間會證明一切。

4、要針對業務場景解決問題，不要陷入llm崇拜。

這種現象典型的就是不是llm的工作就提不起神，不想做。實話實說，這是病，得治。筆者根據業務問題需求，開源的cutword[2]，就是為了替代jieba的新一代分詞工具，同時，ner類型和效果都是目前開源中一流的，也收獲了大家的認可。

解決問題才是關鍵。不能有了llm這個錘子，看什么都是釘子。具體問題具體分析的能力很重要。

審核編輯：黃飛