隨著人工智能的興起，曾經“簡單”的設備變得越來越智能，導致計算設備比以往任何時候都多。

英特爾首席執行官帕特·基辛格 (Pat Gelsinger) 在 2024 年 1 月 9 日舉行的 CES 2024 上發表主題演講，將探討通過創新和開放軟件賦能的硅如何為消費者和企業提供人工智能功能。第二天，高通總裁兼首席執行官克里斯蒂亞諾·阿蒙將強調更多設備將如何無縫融入我們的生活；他將解釋說，在設備上普遍且持續運行的人工智能將改變用戶體驗，使用戶體驗更加自然、直觀、相關和個性化，同時需要提高即時性、隱私性和安全性。

這意味著越來越多的受限設備和傳感器中需要更多的機器學習 (ML)，無論是物聯網 (IoT)、工業自動化、自動駕駛和軟件定義車輛 (SDV) 還是健康領域和可穿戴設備。

在嵌入式世界中，以下趨勢能夠實現其中的一些目標。

邊緣智能變得更好

蘋果剛剛發布的關于在內存有限的資源受限設備上部署大型語言模型（LLM）的研究論文顯示，通過將模型參數存儲在閃存上，但按需將它們傳送到 DRAM，解決了高效運行超出可用 DRAM 容量的 LLM 的挑戰。

蘋果團隊在論文中表示，他們的方法涉及構建一個與閃存行為相協調的推理成本模型，從而實現兩個關鍵領域的優化：減少從閃存傳輸的數據量以及以更大、更連續的塊讀取數據。為此，他們引入了兩種技術，一種稱為“窗口”，通過重用先前激活的神經元來戰略性地減少數據傳輸，另一種稱為“行列捆綁”，以增加從閃存讀取的數據塊的大小。

論文指出，“這些方法共同支持運行高達可用 DRAM 大小兩倍的模型，與 CPU 和 GPU 中的簡單加載方法相比，推理速度分別提高了 4-5 倍和 20-25 倍。我們將稀疏性意識、上下文自適應加載和面向硬件的設計集成在一起，為在內存有限的設備上有效推理 LLM 鋪平了道路?！?/p>

這表明該行業的總體發展方向是在邊緣部署更多的機器學習和推理。

RISC-V 的采用變得更加明顯

2023 年 8 月，多家公司宣布成立一家新的未命名公司，該公司將有助于加速 RISC-V 硬件在全球的商業化。上周，該公司被命名為Quintauris，亞歷山大·科赫 (Alexander Kocher) 被任命為首席執行官。該公司總部位于德國慕尼黑，投資者包括博世、英飛凌、Nordic Semiconductor、NXP Semiconductors 和 Qualcomm Technologies。

該公司將成為支持基于 RISC-V 的兼容產品、提供參考架構并幫助建立行業廣泛使用的解決方案的單一來源。最初的應用重點將是汽車，但最終將擴展到移動和物聯網。

看看 Quintauris 如何與RISC-V International 并肩作戰將會很有趣。毫無疑問，行業協會負責維護指令集架構 (ISA) 規范，而 Quintauris 很可能成為需要現成參考板和系統進行自己開發的開發人員的資源。

當許多評論者談論 RISC-V 時，經常忽略的一點是，開發人員正在設計基于異構架構的系統，因此多個 ISA 很可能成為芯片的一部分，而 RISC-V 則被部署用于各種功能。

咨詢公司 SHD Group 在 2023 年 11 月美國 RISC-V 峰會上提交了一份報告，強調其自己的 RISC-V 市場分析，預計今年將作為報告發布。在 2023 年 12 月向Embedded.com 舉行的簡報中，SHD Group 首席分析師 Richard Wawrzyniak 告訴我們：“我們處于一個異構的世界。我們并不是說 RISC-V 正在占領世界，但生態系統正在構建良好，其中包含設計人員創建自己的芯片所需的所有元素。”

SHD Group 的 RISC-V 市場收入預測

他的研究強調了內置 RISC-V 的部件數量，而不是 RISC-V 內核的實際數量。他說：有數十億臺 SoC 以任何形式或功能搭載 RISC-V。該報告研究了 6 個不同類別的 54 個應用程序，預計到 2030 年，基于 RISC-V 的 SoC 的芯片收入將接近 1000 億美元，并將帶來 16 億美元的 IP 收入。研究預計到 2027 年左右，收入將從許可驅動型收入轉變為特許權使用費驅動型收入。

Chiplet 業務將開始變得有點像 IP 業務

Chiplet 去年風靡一時，到 2024 年，知識產權 (IP) 業務可能會開始像大約 20 年前那樣。我們中的一些人可能還記得最初成立于 2000 年的Virtual Component Exchange，其目標是充當 IP 買家和賣家的門戶。

現在，小芯片是克服當今機器學習密集型產品的海量計算需求挑戰的答案之一，而無需使用最先進（且昂貴）的工藝技術構建單片芯片。正如去年加州Chiplet 峰會主席 Chuck Sobey 所說：“Chiplet 在提高芯片可擴展性、模塊化和靈活性方面可以發揮很大作用。但只有產品開發人員能夠快速且廉價地集成它們時，這個想法才有效。有效的集成平臺需要許多工具。所有領域的供應商都必須提供一個平臺并支持生態系統和開源工作，以填補界面和軟件空白?！?/p>

零 ASIC 的 efabric 概念

2023 年該領域出現的最有趣的初創公司之一是 Zero ASIC，該公司表示他們正在通過小芯片設計和仿真平臺實現芯片制造的自主化。

該公司于 10 月份公開露面，提供 3D 小芯片可組合性以及基于全自動無代碼小芯片的芯片設計。該公司表示，其平臺能夠從已知良好的小芯片目錄中自動設計、驗證和組裝系統級封裝（SiP）?；?Web 的設計和仿真工具允許用戶在訂購物理設備之前快速準確地測試定制設計，使用云 FPGA 在定制 SoC 中實現每個小芯片的 RTL 源代碼。

Chiplet 的激增以及使用各種來源的 Chiplet 的能力當然取決于標準，但隨著UCIe（通用 Chiplet 互連快速）規范的發展，這已經成為業界思考的一部分。

英偉達推動 AI/ML趨勢

最終，推動上述趨勢的是對機器學習 (ML) 的需求。雖然沒有特別強調，但毫無疑問，特定領域的 AI/ML 將成為 2024 年的關鍵驅動因素。

數據的豐富性將是一個關鍵問題，因此開發人員無疑將更加密切地關注數據加密、硬件和連接層的網絡安全等領域，以及使用機器學習來解決這些問題。

多家公司都提供了他們對 2024 年的人工智能預測和趨勢。英偉達高管重點介紹了其對 2024 年的 17 個預測。該公司負責企業計算的副總裁 Manuvir Dav 表示，一種方法無法適應所有情況，將有數百個客戶大語言模型 (LLM) 來提供準確、具體的知情響應，以分析企業內的大量數據；為了實現這一目標，開源軟件和現成的人工智能和微服務將發揮帶頭作用。

在醫療保健領域，英偉達醫療保健副總裁 Kimberly Powell 談到將儀器、成像、機器人技術和實時患者數據與人工智能相結合，以實現更好的外科醫生培訓、手術期間更加個性化以及通過實時反饋和指導提高安全性，即使在遠程手術期間也是如此。她說，這將有助于縮小 1.5 億例所需但未進行的手術的缺口，特別是在低收入和中等收入國家。

在汽車領域，該公司汽車副總裁吳新宙表示，生成式人工智能將有助于實現智能工廠中汽車生產生命周期的現代化，并創建數字孿生。除了汽車產品生命周期之外，生成式 AI 還將實現自動駕駛汽車 (AV) 開發的突破，包括將記錄的傳感器數據轉化為完全交互式的 3D 模擬。這些數字孿生環境以及合成數據生成將用于在自動駕駛汽車部署到現實世界之前大規模安全地開發、測試和驗證自動駕駛汽車。

英偉達嵌入式、邊緣和計算副總裁 Deepu Talla 表示，生成式 AI 將為機器人開發代碼，并創建新的模擬來測試和訓練它們。他補充道：“法學碩士將通過自動構建 3D 場景、構建環境并根據輸入生成資產來加速模擬開發。由此產生的模擬資產對于合成數據生成、機器人技能培訓和機器人應用測試等工作流程至關重要?！彼硎?，為了使機器人行業規?；?，機器人必須變得更加通用——也就是說，它們需要更快地獲得技能或將它們帶到新的環境中。“在模擬中訓練和測試的生成式人工智能模型將成為推動更強大、更靈活和更易于使用的機器人的關鍵推動因素?！?/p>

Ampere ：改變計算格局的趨勢

AmpereComputing 首席產品官 Jeff Wittich 繼續討論 2024 年通用計算趨勢，在博客中提出了他對 2024 年的看法，并總結如下：

人工智能推理和大規模部署成為焦點。

在人工智能的背景下，可持續性和能源效率變得更加重要。

計算和數據處理變得更加分布式和復雜。

第三個要點總結了我們 2024 年的趨勢，引用 Wittich 的話說：“隨著人工智能的興起，曾經‘簡單’的設備變得越來越智能，導致計算設備比以往任何時候都多。為了實時處理來自這些設備的數據，高性能計算正在各處部署——在公共云和私有云中，但現在也在邊緣，導致與集中區域相比，超本地區域對計算的需求更大。這些環境的復雜性需要業界五年前還沒有的解決方案，并且將會有比以往更多的專業供應商試圖解決這種情況?！?/p>