以及為什么 WasmEdge 是 AGI 采用 Rust 的關鍵路徑!

為什么不選 Python?

今天的 LLM 應用程序，包括推理應用程序和代理（Agent），大多用 Python 編寫。但這即將發生變化。Python 對于新一波開發者來說簡直太慢、太臃腫且不夠輕便。實際上， Chris Lattner[1]， ?LLVM、Clang和 Swift 的發明者展示出 Python 可能比編譯型語言慢35000倍——這是他發明 Mojo[2] 語言的原因，想要替代 Python 。

根據 Chris Lattner 的說法，編譯型語言可以比 Python 快35000倍。

這迫使開發者將越來越多的應用邏輯推送為原生編譯代碼 C 、C++ 和 Rust 。例如，非常熱門的項目 llama.cpp[3]、whisper.cpp[4]和 llama2.c[5] 都是 C 和 C++ 寫的，沒有Python 依賴。

OpenAI 聯合創始人兼總裁 Greg Brockman 也認為 Python 太慢了。

這反過來降低了 Python 開發者的體驗。事實上，管理云上部署的 Python 安裝已成為一個重大挑戰。

Wikimedia 的機器學習負責人 Chris Albon 甚至說自己很難弄清“現代”Python。

換句話說，Python 不僅非常慢，而且用來開發 LLM 應用程序的時候也非常難用。

Rust!

Python 的挑戰為高性能編譯語言創造了機會。隨著 Rust 在開發者社區對 C 和 C++ ?攻城略地，Elon Musk 指出 Rust 可能是 AGI 時代的語言。

好好消化一下這個事實吧?。p關：讓水槽進來）

Rust 連續7年被 StackOverflow 評為最受開發者歡迎的編程語言[9]，其市場份額持續穩步增長。

Rust + Wasm 兩全其美

然而，將 Rust 直接編譯成原生機器代碼也有其他問題。

安全性。原生二進制文件可能會使整個系統崩潰。

可移植性。原生二進制文件特定于底層操作系統和硬件。

性能。由于安全性和可移植性要求，通常需要在 Linux 容器中運行原生二進制文件。此類容器為程序添加了巨大的啟動和運行時開銷，從而顯著降低了速度。

Wasm 作為 Rust 應用的領先安全運行時環境出現，想要解決這些問題。有了云原生優化的 Wasm 運行時 WasmEdge[10]，開發者現在可以在 LLM 應用程序棧的每一層使用高性能 Rust，作為 Python 的高性能替代方案。

使用 Rust + Wasm 取代 Python 以提高性能，減少占用空間并改善安全性

代理層：網絡密集型任務，用于接收網絡事件、連接數據庫和調用其他 Web 服務。Rust 和 WasmEdge 提供異步和非阻塞 I/O，以實現高密度和高性能的代理應用。示例：flows.network[11]。

推理層：CPU 密集型任務，用于將數據(如單詞和句子)預處理為數字，并將數字后處理為句子或結構化的 JSON 數據。這些函數可以用 Rust 編寫以實現最佳性能，并在 WasmEdge 中運行以實現安全性和可移植性。示例：mediapipe-rs[12]。

張量層：從 Wasm 將 GPU 密集型任務通過 WasmEdge 的 WASI-NN 插件傳遞給原生張量庫(如llama.cpp、PyTorch 和 Tensorflow)。

結論

Rust 和 Wasm 可以成為 Python 的高性能、開發者友好的替代選擇。

二者與底層 GPU 張量庫(也是用 C/C++/Rust 編寫的)有更好地集成。

二者在實現應用程序特定的預處理和后處理數據功能方面更高效，這也是推理工作量的絕大部分。

二者在實現LLM 代理所需要的網絡密集型和長時間運行的任務方面更高效。

與 Python 鏡像相比，它們的容器鏡像大小要小得多(幾 MB vs 數百 MB)。

由于軟件供應鏈有限和攻擊面暴露較小，二者比 Python 容器更安全。

與 Python 程序相比，二者更容易安裝和管理依賴項。

關于?WasmEdge

WasmEdge 是輕量級、安全、高性能、可擴展、兼容OCI的軟件容器與運行環境。目前是 CNCF 沙箱項目。WasmEdge 被應用在 SaaS、云原生，service mesh、邊緣計算、邊緣云、微服務、流數據處理等領域。

　　審核編輯：湯梓紅