前言

當下，各種大模型層出不窮，先有 openai 的 chatgpt，后有百度文心一言，再就是國內大模型齊頭并進的搶先發布。

讓普通的開發者不必為不能體驗 chatgpt 而擔憂，國內的大模型速度也很快。但是大家目前都是在體驗，能不能部署一下試試呢？

今天，我們就以華為云 Flexus 云服務器 X 實例來部署一下，順便測測其性能看看。

在華為云 828 B2B 企業節狂潮中，Flexus X 實例的限時大促銷震撼來襲，絕對是你不容錯過的超級福利！對于那些追求極致算力、對自建 MySQL、Redis、Nginx 性能有著苛刻要求的技術極客們，這次活動無疑是你們的專屬盛宴！趕緊抓住這個千載難逢的機會，讓業務效能飛躍升級！??！

注意：本文為高端局，對于還不知道怎么使用 shell 工具，不知道云服務器為何物？不知道大模型為何物的讀者可以退出啦，本文不太適合

部署千問大模型

之前一直就想搞個大模型玩玩了，奈何電腦配置不打夠，所以只能是可望而不可及，今天，就單獨用這款華為云 Flexus 云服務器 X 實例來試試。

本文我們基于 Ollama 部署和運行大模型，那么，何為 Ollama？

不過官網上都是洋文，看著比較吃力。我搜了些資料，給大家現個丑：

Ollama 是一個強大的框架，設計用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器內部署和管理 LLM 的促進者，它使該過程變得非常簡單。它幫助用戶快速在本地運行大模型，通過簡單的安裝指令，可以讓用戶執行一條命令就在本地運行開源大型語言模型，例如 Llama 2。

下面，我們來開始實操！

我們可以直接從瀏覽器中輸入，然后會自動下載，當然，我們也可以直接從 shell 工具中下載，不過就是有點慢，他這個東西還很大。

等待的過程挺漫長，可以先去找點別的事兒去做。

接著等待....

終于在漫長的等待過程中，我們將 ollama 下載下來了啦，下面我們就可以開始體驗了?。?！

1.啟動 ollama 的服務

當我們服務器中有了 ollama 的服務后，我們需要啟動他！命令如下：

systemctl start ollama.service

然后我們在執行一下下面的命令，看看服務是否已經啟動：

systemctl status ollama.service

3. 設置服務開機自啟動：

sudo systemctl enable ollama

1.查看內存占用情況。

兩個方法都可以查看，第一是從寶塔面板中查看，第二就是直接輸入命令：

free -h

大家可以看的出來，used 這一列，表示的是已使用，目前來看，并不多。

1.運行大模型

我們先來看看 ollama 支持的大模型有哪些？

我們先跑個小點的千問大模型吧，千問 0.5B 的模型看看。

輸入命令：

ollama run qwen2:0.5b

還是繼續等待....等待的過程中，為了不浪費時間，可以看看別的事兒。

等待完成，下面我們就可以看到:Send a message 這句話了，表示我們可以直接使用大模型提問啦

1.體驗大模型

我們輸入個問題試試看看：

[MISSING IMAGE: , ]不知道為啥，他非要說自己是李政保，還說的有鼻子有眼的，質量的問題我們不管，我們看性能和速度問題。

簡單的錄了個小視頻，這速度還是很快的?？梢娺@服務器的性能還是不錯的，感興趣的伙伴們，可以嘗試跑跑更大的模型試試。

總體來說，這次活動的力度還是蠻大的，主要是服務器性能也確實可以，不用 GPU 也可以跑大模型了，本文就是我們單純的用 CPU 就行跑的，體驗很好。

至此，本文 over。

審核編輯 黃宇