描述

在早期的項目中，我開發了一個自平衡機器人。

機器人可以由操縱桿控制。在這個項目中，機器人由手勢控制。手勢由神經網絡識別。神經網絡基于TensorFlow Lite 。

TensorFlow Lite 是TensorFlow用于移動和嵌入式設備的輕量級解決方案。它使您可以在 Arduino 等移動設備上運行機器學習模型。

我的草圖是在Arduino Nano BLE Sense上實現的。該板具有內置的九軸 IMU。該傳感器模塊包含一個 3 軸陀螺儀、一個 3 軸加速度計和一個 3 軸磁傳感器。

對于使用 TensorFlow 進行訓練，首先使用陀螺儀和加速度計（Sketch IMU_Capture.ino）記錄所需的手勢。之后，使用 PC 上的Jupyter Notebook 或GoogleColab中的 Python 數據進行訓練。GoogleColab 提供了一個Jupyter notebook ，它允許我們在網絡瀏覽器中運行我們的機器學習模型。網絡訓練完成后，模型將轉換為 TensorFlow Lite。要將模型與 TensorFlow Lite 一起使用，您必須將完整的 TensorFlow 模型轉換為 TensorFlow Lite 格式。

最后，將轉換后的模型復制到草圖 IMU_Classifier.ino 的 Arduino 頭文件中。

Sandeep Mistry 和 Don Coleman的TinyML 文章中很好地解釋了必要的步驟。

• 練習 1：開發環境

• 練習 2：組裝硬件

• 練習 3：可視化 IMU 數據

• 練習 4：收集訓練數據

• 練習 5：機器學習

• 練習 6：分類 IMU 數據

• 練習 7：手勢控制的 USB 表情符號鍵盤

• 練習 8：后續步驟

草圖的模板在GitHub中：

• ArduinoSketches/IMU_Capture/IMU_Capture.ino

• ArduinoSketches/IMU_Classifier/IMU_Classifier.ino

為了我的目的，我已經修改了這些草圖。

Sketch IMU_Classifier.ino使用板載 IMU 開始從板載 IMU 讀取加速度和陀螺儀數據，一旦讀取足夠的樣本，它就會使用 TensorFlow Lite (Micro) 模型嘗試將運動分類為已知手勢. 識別手勢后，將 X 和 Y 坐標發送到自平衡機器人。不幸的是，我無法使用 Arduino Nano 的藍牙 BLE，因為這與我的 DUE 板上的 HC-05 Modul 與自平衡機器人不兼容。這就是我使用 HC-05 藍牙模塊的原因。

在以下示例中顯示了 Caputre 的手勢。

文件“前進”加速的圖形索引 0

?

文件'forward'陀螺儀的圖形索引0

?

鏈接：我在 Google Colab 上的 Jupyter Notebook。您可以在 Google Colaboratory 中運行它。