上海潤欣科技股份有限公司創研社

前言

聲音本來就是最天然的人機交互方式，但在之前漫長的時間里面，受限于語音識別，人工智能網絡寬帶等因素，并沒有成為主流。但從2017年開始，AI,語音識別，網路應用，移動APP，這幾樣已經發展成熟，萬事俱備，語音智能的應用正好趁著東風迅速發展起來，而且智能音箱表面看似乎只是一款音箱，但實際上有更戰略性的作用，也就是說實際上是智能家庭的入口，借助于物聯網技術，智能音箱實際上成為了智能家庭連接互聯網的網關，是家庭互聯網交互的人機界面，正因為如此，我們可以看到幾乎所有的互聯網巨頭都不遺余力的發展自己的智能音箱產品，因為誰搶占了智能家庭的入口，誰就可以把握先機，在此基礎上布置本公司的家電產品生態鏈。

我們通過拆解市面上已經有的一些產品來分析，然后對于語音子系統會有一個詳細的案例。首先我們來看一下，智能音箱產品的系統構成以及工作中的信息流動。首先智能音箱區別于傳統的AI產品。它不是一個孤立的存在，它們實質是一個互聯網的智能終端。

先通過麥克風陣列時刻采集語音，然后對語音進行降噪等加工，然后做關鍵字識別，例如：homepad Hisiri或者 “天貓精靈”，“小愛同學”之類的關鍵詞，一旦識別關鍵詞之后，就會對后面采集到的語音數據進行壓縮編碼，通過互聯網傳到云端，云端的AI服務器具有強大的運算能力，對語音指令進行識別，然后根據指令來做相應的回復，例如傳回語音回復，傳回一首歌的流媒體數據，或者傳回對家中聯網的物聯網終端的控制，例如開關空調等動作。智能音箱收到媒體流數據后進行解碼驅動，揚聲器播放語音回復，手到家電控制指令后通過WIFI,BT來轉發到被控制的家電。所以這個工作的數據流還是很清晰的。

在產品架構上面，首先，這是一臺嵌入式電腦，因為涉及到降噪等算法，以及流媒體編解碼和播放功能，通常有一顆運算能力相當強勁的處理器內核，目前主流的ARM架構是四核或者八核的CORTEX-A7處理器，浮點的運算能力強勁，以及1G以上的ARM空間，外部搭配8G的EMMC或者NANDFLASH等閃存外設，用于存儲應用的數據。外圍則有兩個主要的子系統，一個是語音處理子系統，一個是無線通信子系統，其中無線通信子系統輔助WIFI和BT通信，通過WIFI連接到無線AP和云端，或者在沒有公網的情況下和無線局域網中的其他智能家電通過WIFI來交互。WIFI通信的吞吐量達，可以傳大流量的流媒體數據是智能音箱的聯網基礎。藍牙這一部分通常通過經典藍牙作為手機和外設交互數據，通過BLEMESH或者傳統的BLE一拖多的方式和家庭網關的其他智能設備交互。可以預見未來無限通信部分還可能引入ZIGBEE模式作為網關來連接ZIGBEE燈之類的智能家居產品。

然后就是語音子系統，又分為輸入和輸出兩塊，輸入通常是一個麥克風陣列，用于拾取聲音數據，輸出通常是IIS/PCM接口的音頻CODEC芯片，通過音頻功效進行功率放大后驅動一個4歐、8歐尺寸揚聲器，當然語音和機械結構高度相關，因此除了電子部分外，音腔的設備，麥克風的位置，陣列結構也是很重要的。

除了內核，無線，語音三個主要板塊外，還有一些其他輔助性的外設，比如LED燈，指示和背景燈，8D卡存儲,USB接口以及充電和電源管理系統。

在聲學結構上面，在設計的時候要注意麥克風和揚聲器的結構設計,對于麥克風：

1） 人聲能直達每個麥克，避免掩蔽效應，即產品正常使用場景下，保證聲源的直達聲（非反射聲）到達每個麥克的機會是均等的，舉例，麥克風震膜背對人的嘴巴就可能會形成掩蔽效應；

2） 聲音到達麥克風的路徑盡可能短、寬，要求諧振點頻率在8KHz以上。對于緊貼面殼安裝方式，要求聲孔的深度(面殼進聲孔外側到MIC進聲孔外側的距離)小于1.5mm，聲孔直徑盡可能大（最小2mm）。如果麥克能直接在表面最好；

3） 聲音路徑內不要存在任何空腔，對于緊貼面殼安裝方式，震膜和殼體內壁不要有縫隙；

4） 麥克風要遠離干擾或震動（喇叭震動、結構轉動震動）。對于震動，一般采用硅膠套進行減震密封處理，硅膠軟硬度可根據實際結構形式進行匹配驗證，一般要求盡可能軟；

5） 對于駐極體麥克風，結構設計和生產過程中要考慮對麥克風的保護，避免擠壓引發的麥克風一致性損失；

對于揚聲器：

1） 喇叭的失真要小，100Hz-1kHz失真要小于10%，1kHz之后小于5%。一般喇叭在低頻部分失真會較高，超過10%，建議加濾波器濾除低頻成份。

2） 喇叭的結構設計要避免結構引發的失真，喇叭要進行減震處理，避免結構震動對麥克造成較大影響。

3） 喇叭腔體四周與其它機構件至少保留1mm的間距，振膜上方與機構件至少保留1.5mm的間隙，防止喇叭碰到結構件產生振動和異音。

4） 避免結構內聲音傳播，即喇叭的聲音不能在結構內泄露到麥克，只能通過結構外的空氣傳播到麥克，建議喇叭和麥克風放在不同腔體內或選用性能好的密封材料對腔體內麥克部分進行密封；

語音子系統的框架結構如下圖所示：

目前在開源硬件領域，有一些非常具有參考價值的實現，比如Respeaker就是一個注明的智能語音系統的開源實現。

Resepeker 2-MIC Array

這款麥克風陣列使用WM8960作為codec。

Resepeker 4-MIC Array

芯智匯AC108 高性能四通道數據轉換器ADC，主要應用于智能語音遠場麥克風陣列拾音，最多可級聯16路麥克風。AC108的SNR為108dB

Respeaker 6-MIC Array

芯智匯AC108 高性能四通道數據轉換器ADC + AC101 DAC

Respeaker Core 2.0

Rockchip 瑞芯微RK3229單芯片方案,內部集成音頻處理單元

除了上述麥克風陣列方案之外，還可以使用DSP方案來做語音處理，這里介紹一款專用的語音DSP方案，Realtek ALC5680.

上面可以看到此DSP芯片的參數以及硬件封裝。

使用DSP 芯片可以將前級的音頻輸出做前期處理，從而大大減少了ARM處理器的負荷，在低功耗解決方案中是常用的配置。

在軟件處理上面，當前有一些開源的實現可供參考：

GNU/Linux OS

speech algorithms

- DoA (Direction of Arrival)

- BF (Beam-Forming)

- AEC (Acoustic Echo Cancellation)

- KWD Keyword wake-up

- NS(Noise suppression)

- AGC (Automatic gain control)

基于Linux系統，有較多的語音處理算法。

在AI 上面，目前主要的生態系統有 Amazon Google DuerOS等。

AI Ecosystem

- Amazon Alexa

- Google Assistant

- DuerOS

- Etc.