ChatGPT是由OpenAI于2022年12月推出的對話AI模型，一經面世便受到廣泛關注。獲得千億、萬億級別參數的大語言模型需要超大規模AI服務器集群進行訓練，且隨著模型不斷迭代，對云端算力的需求增加。2023年以來，以英偉達為代表的AI芯片、通信網絡和服務器產業鏈相關企業股價漲幅明顯。

（1）云側AI：數據云端匯集訓練，模型通用性強。從終端采集和感知到的聲音、視頻等數據都通過網絡傳輸到云中心側進行后續處理，云側的資源高度集中，存儲和計算能力強，并且具有很高的通用性；

（2）端側AI：終端設備上進行的輕型模型運用。越來越多的 AI計算和推理工作負載在手機、筆記本電腦、XR 頭顯、汽車和其他邊緣終端上運行，端側硬件具備一定的計算能力，以及低延遲、個性化、隱私安全的特征。

端側AI的四大優勢：隱私和安全、低延時、可靠性、低成本。

? 隱私和安全：端側AI從本質上有助于保護用戶隱私，因為查詢和個人信息完全保留在終端上。數據的存儲計算等都在本地，避免了傳到云端可能帶來的數據安全問題。對于企業和工作場所等場景中使用端側AI，這有助于解決保護公司保密信息的難題。例如，用于代碼生成的編程助手應用可以在終端上運行，不向云端暴露保密信息。

? 低延時：當生成式AI查詢對于云的需求達到高峰期時，會產生大量排隊等待和高時延，甚至可能出現拒絕服務的情況數據的存儲計算在本地處理、本地響應方面時間更短速度更快。

? 可靠性：與云端互聯的網絡可能不穩定、甚至斷線。決策在本地大幅降低了數據經過更長的通路產生錯誤的幾率。終端側AI處理能夠在云服務器和網絡連接擁堵時，提供媲美云端甚至更佳的性能。如果所有的推理案例都在云服務器上進行，準確率是79.31%；如果49.88%的推理案例在移動端進行，其余在云端進行，仍可達到79.31%的云級準確率。

? 低成本：隨著生成式AI模型使用量和復雜性的不斷增長，僅在云端進行推理并不劃算。將一些處理從云端轉移到邊緣終端可減輕云基礎設施的壓力并減少開支。此外與云端相比，端側AI能夠以很低的能耗運行生成式AI模型。