人類高度依賴對聲音的感知，從某些角度出發甚至高于對于視覺的依賴。海倫凱勒說：盲隔離人和物，聾隔離人和人。可以說聲音是人與人交互最重要的手段。人對聲音的高度依賴從生到死永不停息，耳朵是一生從不關斷的感應裝置，即使在睡眠中也始終保持敏銳，每時每刻都在接收環境內所有的聲音并傳遞給大腦。因此，在人工智能時代，聲音也將是人機交互的最重要手段之一。

也正因為人類對聲音感知的高度依賴，人類對美好聲音的追求永無止境。從最早的留聲機到收錄機 、從CD到 MP3，從藍牙音箱 到TWS 耳機，人們對高品質音頻體驗的追求更是永不停息，昨天發燒友的愿望往往成為明天普通人的標配。相伴而行的是人們持續對于音頻產品便攜化，小型化，長待機的需求。

歷史證明了，音頻產品雖然歷史悠久，但卻常常在各個時代引領時尚。從早期的留聲機到八十年代的收錄機成為家庭和街頭的時尚，從70年代的三轉一響到80-90年代八大件作為結婚標配，都有音頻產品引領時尚的歷史痕跡。蘋果公司是全球最具創新力的公司之一， 多次以顛覆性的創新改變人們的生活，其中有兩次都是以音頻產品成功引領時尚， 一次是iPod引領 MP3 便攜式音頻的新體驗，其后是Airpods引領TWS耳機風潮。

近幾年，以亞馬遜Alexa為標志的智能音箱風靡一時，帶來了人機語音互動的新體驗。新一代基于語音互動的ChatGPT則讓所有人對于未來的AI體驗有了無盡的想象空間。相信在AI 時代，AI化的音頻產品依然會引領 AI 時代的時尚，最早落地生根。而芯片，是讓這些引領時尚的音頻產品成為現實的核心，音頻 AI 化必將再一次驅動芯片跳躍式創新。

2023年11月10日，炬芯科技股份有限公司董事長兼CEO周正宇博士受邀出席中國集成電路設計業2023年會（ICCAD2023)，結合音頻領域的發展趨勢及AI時代熱潮，分享便攜式產品如何在AI時代打造高算力，發表主題演講：《煥新聲音活力：AI驅動下的音頻芯片創新》。

? 低功耗前提下打造高算力是便攜式AI音頻SoC的核心基礎

周正宇博士指出：AI時代，對于音頻穿戴或者音頻便攜式產品而言，提升AI體驗的挑戰和機遇，是如何在每毫瓦功耗上打造盡可能大的算力，而不是簡單追求大算力絕對值。以電池供電為基礎的便攜式音頻或者穿戴產品，成功AI化的核心訴求是在低功耗下打造大算力，才能實現更好的AI體驗。

算力和功耗兩者是矛盾的統一體，大算力必然需要更大的功耗，功耗的增大又成為算力提升的障礙。周正宇博士提到，“實現單位mW下算力的數量級提升不能光是期待和依賴先進工藝，必須在計算架構和芯片電路實現上進行創新。”

以最典型的兩種穿戴產品：TWS耳機和智能手表為例，基于4.2V的鋰電池供電, 其使用的典型完整功能 SoC平均工作電流一般在3-5mA；也就是說, 便攜式音頻或穿戴產品核心SoC整體功耗總預算在15-20mW以下，在電池技術沒有革命性變革的情況下，便攜式音頻或穿戴產品SoC應該以10mW或者以下的功耗預算來打造更大的AI算力。

通過對當下較著名的不同領域AI模型和算法所需算力進行系統的分析和歸納，AI音頻模型算力需求基本在1TOPS 以下，并且典型算力在200-500GOPS即可提供很好的音頻AI體驗。所以，我們面對的挑戰是如何在低于10mW的功耗下打造200-500 GOPS的AI算力。200-500GOPS的算力貌似挑戰不大，幾乎所有的NPU IP都能達成，但在10mW以下的功耗預算內達成卻極具挑戰。

以基于傳統計算架構的NPU周易公開數據為例，它在28nm下能效比約2TOPS/W, ?也就是說200-500GOPS需要100-250mW的功耗，比10mW以下的功耗預算高了10-25倍以上。即便使用7nm，周易可以達成10TOPS/W，但功耗仍有20-50mW，僅進入了合理的量級，依然高了2-5倍。換而言之，即使使用7nm先進工藝，在功耗限制下依然只能提供比目標值低很多的算力。

也就是說，要達到“10mW以下功耗預算打造200-500GOPS的音頻AI算力”的目標，傳統馮諾依曼計算架構必須依賴比7nm更先進的工藝，如5nm或者3nm，并且這都還是假設傳統NPU能夠發揮百分百的計算效率, 不受“存儲墻”和“功耗墻”的限制。

馮諾依曼計算架構的特點是存儲和計算是完全分離的，由于處理器的設計以提升計算速度為主，存儲則更注重容量提升和成本優化，“存” “算”之間性能失配從而導致了訪存帶寬低、時延長、功耗高等問題，主要功耗消耗及性能瓶頸在存和算之間的數據搬移，即通常所說的“存儲墻”和“功耗墻”。訪存愈密集，速度越快，“墻”的問題愈嚴重，算力提升愈困難。

為了突破馮諾伊曼架構的“存儲墻”和“功耗墻”，存內計算（Compute-In-Memory，簡稱CIM）是一種富有潛力的技術路徑。在芯片設計過程中，不再區分存儲單元和計算單元，真正實現存算融合，在存儲單元上實現計算，直接消除“存”“算”界限，使計算能效達到數量級提升。這樣的一種極度的近鄰的布局，基本上完全消除了數據移動延遲和功耗, 是解決傳統馮諾依曼架構下存儲墻與功耗墻問題的關鍵技術。

當下，基于幾種最普及的存儲介質，例如Flash, DRAM, SRAM和其它新興Memory發展CIM各有優缺點和合理的應用領域。基于Flash的CIM最大問題在于寫速度慢而且寫的次數有限制，寫多次后芯片就壞了，同時它需要使用特殊工藝，雖成熟但不宜和SoC的其他電路整合，不是CIM技術的理想選擇。基于DRAM的CIM雖然沒有寫次數的限制，但相對能效比在四種介質中最低，不適合低功耗算力的打造，同時DRAM也是特殊工藝無法在SoC集成，但它具備密度高的優勢，所以適合云計算、服務器類打造超大算力采用。新興的存儲介質如RRAM、MRAM等雖然理論上具備非常多的優勢，未來可能給大家帶來驚喜，但當前工藝極其不成熟，還沒有到可大規模量產的階段。

而基于SRAM的CIM最大缺點是密度低不適合適用在超大算力（如幾十TOPS的AI應用） ，然而上述討論音頻AI應用并不需要超大算力（僅0.2-0.5TOS），有效規避了SRAM的密度相對小的弱點。

于是在低功耗下打造音頻產品算力的應用里，基于SRAM的CIM具有非常顯著的技術優勢包括：

能效比高，功耗低，讀寫速度快，適合低功耗高性能裝置使用

寫次數沒有限制，適用于模型反復調整的，基于自學習或者自適應的AI模型和算法，也便于需要經常切換模型的支持多種神經網絡算法的自適應調節和分時處理

工藝成熟，可大規模量產。標準CMOS工藝成熟，穩定，普適，所有的FAB都可大規模生產

工藝領先，適合集成。容易采用最先進的工藝節點，方便在任何工藝節點實現單芯SoC 集成。

周正宇博士總結：針對低功耗的音頻SoC，基于SRAM的CIM是目前打造低功耗音頻AI算力的首選。

? 在極低的功耗預算下達成為便攜式或穿戴產品提供音頻 AI 算力

基于SRAM的CIM電路實現有兩種主流的實現方法，一是基于純模擬設計的電路實現，另一種是基于模數混合設計的電路實現。它們的主要差異在于模擬CIM的運算單元以ADC和模擬乘法器和加法器實現運算單元，而模數混合的CIM的運算單元則是使用custom-design的方式來融合存儲單元和實現數字的邏輯運算單元。周正宇博士提出，炬芯科技選擇了基于模數混合電路的SRAM存內計算（Mixed-Mode SRAM based CIM，簡稱MMSCIM）的技術路徑，它兼備模擬和數字電路各有的優勢，當然設計的壁壘也相對高。

相對于模擬CIM的設計思路，MMSCIM有幾個明顯的好處：

精度是無損的，模擬是會受電路的噪聲和環境因素的干擾，每一次計算出來的結果并不完全一致，精度有損失。

數字實現運算單元具有高可靠性和高量產一致性，這是數字化天生的優勢。

易于工藝升級和不同FAB間的設計轉換。

容易提升速度，進行性能/功耗/面積(PPA)的優化。

資料的讀取與計算在 SRAM 內部是同步的，能效比更高。

自適應模型的稀疏性易基于此提升能效比。

MMSCIM基于已經實現的Testchip測試和估算結果，在22nm工藝下能效比能達到7.8TOPS/W，接近使用7nm先進工藝實現的傳統架構NPU；MMSCIM預計在16nm下能效比能達到15.6TOPS/W，高于7nm先進工藝下傳統架構的NPU。但10mW以下的功耗下依然不足以打造出200-500GOPS算力的需求，所以技術上還需要繼續創新。

周正宇博士提出, 利用AI矩陣計算的稀疏性提升能效比將是一個重要突破口。音頻算法的AI模型大部分具有矩陣稀疏性的特性，也就是有許多模型參數為零，遇到零可以不做運算，以便節省功耗。傳統NPU可以通過特殊邏輯電路設計來執行Skip-Zero技巧以降低功耗。然而, 這種Skip-Zero的邏輯電路對于一維AI算子相對容易實現, 但面臨2D算子則實現挑戰較大, 而且需要付出額外邏輯電路成本和功耗的代價，使得Skip Zero所提升的能效比有所打折。

而MMSCIM卻擁有天生的自適應稀疏矩陣的特性，乘法運算單元遇到輸入零則不耗電，無論1D或2D的算子，都能無需附加邏輯電路的幫助自然達成Skip-Zero的效果，使得MMSCIM技術渾然天成達到更好的能效比。

炬芯科技透過仿真分析, 當矩陣稀疏性在50%-80%的范圍內，MMSCIM在22nm可以達成24.5TOPS/W-70.38TOPS/W的能效比，對應10mW功耗可以打造245GOPS-704GOPS算力。而在12nm的實現下, 在矩陣稀疏性在20%-50%的范圍內，能效比就達成23.5-46.9TOPS/W, ?對應10mW的算力可達235GOPS-469GOPS。

所以，基于模數混合設計的 SRAM based存內計算（MMSCIM），在稀疏矩陣的加持下，兩者有機結合，可以在極低的功耗預算下，可達成為便攜式音頻或穿戴產品提供音頻 AI 算力的目標，即“在10mW以下功耗預算打造200-500GOPS的音頻AI算力”，且可實現迅速的大規模量產。22nm MMSCIM能效比就有望超過 7nm傳統馮諾依曼架構的NPU，12nm的情況下大幅超越7nm傳統架構的NPU。??

? 炬芯科技將推出最新基于MMSCIM的高端AI音頻芯片

周正宇博士最后分享總結，音頻AI化將再次驅動芯片技術的創新，尤其是 SoC技術的創新，而這個創新的最主要的基礎是如何在端側便攜式產品上在低功耗前提下來提供大算力，這是穿戴和便攜式SoC以及終端產品在 AI 時代所面臨的挑戰，只有堅持不懈地創新，才能幫助大家突破困局，也為國產端側AI音頻芯片帶來了巨大的市場機會。

一直以來，炬芯科技致力于打造基于CPU+DSP雙核異構音頻處理架構的低功耗下的低延遲高音質技術，炬芯科技將順應人工智能的發展大勢，從高端音頻芯片入手，整合低功耗 AI 加速引擎，逐步全面升級為 CPU+DSP+NPU（based MMSCIM）三核異構的AI SoC架構，為便攜式產品提供更大的算力。不久將為AI降噪、人聲分離、人聲隔離等應用帶來高品質的提升，將廣泛應用于智能音頻、智能辦公、智能教育、智能陪護等多個市場領域。