項目說明

本次項目用 Syntiant TinyML 開發板自帶的麥克風，通過 Edge Impulse 搭建機器學習模型，使板卡上的 LED 燈根據中文語音指令呈現出不同效果。一共訓練了四個標簽的聲音數據，具體說明如下。

硬件平臺

Syntiant TinyML Board 是美國 AI 芯片研發商 Syntiant 推出的一款 TinyML 開發板，它配備了超低功耗 Syntiant NDP101 神經決策處理器，可以使語音和傳感器應用程序分別在 140 和 100 微瓦以下運行。與基于 MCU 的傳統 MCU 相比，Syntiant TinyML 板的吞吐量提高 20 倍，系統效率提高 200 倍。

?

Syntiant TinyML 板的尺寸非常小，僅為 24 毫米 x 28 毫米，是一個小型的獨立系統。開發者可以直接通過 Micro USB 連接硬件，通過 Edge Impulse 輕松下載經過訓練的模型，而無需任何專用調試硬件。

硬件組成：

神經決策處理器使用 NDP101，連接了兩個傳感器

BMI160 6 軸運動傳感器

SPH0641LM4H 麥克風

主機處理器：SAMD21 Cortex-M0+ 32 位低功耗 48MHz ARM MCU

內置 256KB FLASH 和 32KB SRAM

5 個數字 I/O（與 Arduino MKR 系列板兼容）

其中包含 1 路 UART 接口和 1 路 I2C 接口（包括在數字 I/O 引腳中）

2MB 板載串行閃存

一個用戶定義的 RGB LED

uSD 卡插槽

電路板可使用 5V Micro-USB 或 3.7V LiPo 電池供電

語音訓練

打開?studio.edgeimpulse.com?網頁，創建一個新的項目，例如 Syntiant_TinyML_Voice，作為本次語音訓練的項目。

創建完成后進入項目主頁面，在這里可以看到訓練的大致流程：選擇設備、選擇語音輸入源、采集語音數據、創建 Impulse 模型、訓練數據、生成固件、部署到硬件。

語音數據采集方面，由于我們需要采集類似“打開紅燈”這樣的語音，為了方便采集和訓練，我們將采集時長定為 2 秒。分別為四個標簽采集 20 組數據，按照 8:2 的比例分為訓練集和測試集。

采集數據后記得檢查一下數據的質量，在 Data acquisition 頁面選中任意一條采集的語音數據，可以看到聲音的波形，回放該條錄音。在訓練之前需要確保所有訓練和測試的數據完好，否則會影響訓練效果。

如果數據沒問題，接下來就可以創建機器學習模型，一共分為四個模塊。首先是時間窗口的設置，對于 Syntiant TinyML 語音模塊，Window size 大小固定為 968 ms，Window increase 設置為 30 ms（窗口增加設置比較小有利于機器學習匹配出語音）。第二個模塊選擇 Syntiant audio，第三個模塊選擇最近鄰分類器（Nearest Neighbor Classifier），最后確認輸出 turn_off、turn_on_blue、turn_on_green 和 turn_on_red 四個標簽。點擊 Save Impulse 保存模型。

然后設置 Mel 濾波器特征參數，這里采用默認參數。

開始訓練模式，訓練結果準確率為 90.2%，不是特別高，但也可以測試看看。

點擊左側邊欄的 Deployment，選擇 Syntiant NDP101 library 下載訓練好的庫，將其替換到你的工程中（參考?Syntiant TinyML Board 固件下載）。

Arduino 工程

參考?Syntiant_TinyML_Board_Demo?中的 VoiceResponding 項目，修改標簽名稱及其觸發的動作，代碼如下。

?

void on_classification_changed(const char *event, float confidence, float anomaly_score) {

    // here you can write application code, e.g. to toggle LEDs based on keywords
    if (strcmp(event, "turn_on_red") == 0) {
        // Toggle LED
        digitalWrite(LED_RED, HIGH);
        digitalWrite(LED_BLUE, LOW);
        digitalWrite(LED_GREEN, LOW);
    }

    if (strcmp(event, "turn_on_green") == 0) {
        // Toggle LED
        digitalWrite(LED_GREEN, HIGH);
        digitalWrite(LED_BLUE, LOW);
        digitalWrite(LED_RED, LOW);
    }

    if (strcmp(event, "turn_on_blue") == 0) {
        // Toggle LED
        digitalWrite(LED_BLUE, HIGH);
        digitalWrite(LED_GREEN, LOW);
        digitalWrite(LED_RED, LOW);
    }

    if (strcmp(event, "turn_off") == 0) {
        // Toggle LED
        digitalWrite(LED_BLUE, LOW);
        digitalWrite(LED_GREEN, LOW);
        digitalWrite(LED_RED, LOW);
    }}

?

通過 Arduino IDE 重新編譯、上傳到 Syntiant TinyML Board，就可以看到效果啦！?

?

?

審核編輯：劉清