一、產品簡介

TL3568-PlusTEB人工智能實驗箱

國產高性能處理器

64 位 4 核低功耗

2.0 GHz超高主頻

1T 超高算力 NPU

兼容鴻蒙等國產操作系統

二、實驗目的

1、了解語音控制模塊的使用方法；

2、掌握基于語音控制實現機械臂特定動作的方法。

三、實驗原理

程序功能

通過語音控制機械臂實現特定復雜動作：

機械臂疊羅漢

機械臂跳舞

機械臂夾方塊

機械臂搬運

語音控制模塊

如圖示為語音控制模塊的實物圖和原理圖，模塊是基于CI122芯片。

語音控制模塊是基于啟英泰倫CI122模組的，CI112X 芯片具有較強的CPU運算能力，支持硬件NN加速，以及充足的RAM。能夠完成一些常見的語音處理算法。主要包含了ASR（語音識別）和語音降噪功能。

語音識別，一般簡稱ASR，是將聲音轉化為文字的過程。CI112X系列芯片中，CI1122支持50 ~ 80條語音指令。

降噪（DENOISE）算法能有效抑制穩態噪聲，在保證語音失真度的同時具有良好的噪聲抑制效果。開啟該功能后，可以通過降低穩態噪聲的方式進行識別效果的提升，但是同時該功能會消耗24KB的芯片內部存儲空間，并且會消耗CPU的帶寬資源。

四、實驗設備

實驗軟件

本實驗中使用的軟件為.VMware17+Ubuntu18.04.4 和串口調試工具Xshell。

實驗硬件

本實驗中使用的是TL3568-PlusTEB實驗箱，所需的配件為Micro SD卡、Type-C線、電源、語音控制模塊、網線和機械臂套件。

五、實驗步驟

硬件連接

（1）將Ubuntu系統啟動卡插至Micro SD卡槽。

（2）使用Type-C線連接USB TO UART2調試串口到PC機。

（3）將實驗箱ETH0 RGMII網口（COM21）通過網線連接至路由器。

（4）將語音控制模塊插入實驗箱的GPIO/PWM/SPI/UART/CAN 拓展接口。

（5）連接實驗箱電源，先不要上電。

（6）實驗擺放位置按照黃色區域放置黃色積木塊，紅色區域放置紅色積木塊，綠色區域放置綠色積木塊，藍色區域放置藍色積木塊。

（7）將機械臂的攝像頭連接到實驗箱的USB2.0 HOST。

（8）使用MIcro USB線連接機械臂的USB口和實驗箱的USB2.0 HOST。

（9）連接機械臂的電源，上電。

軟件操作

（1）先在設備管理器查看串口的端口號；

（2）再設置串口調試工具，波特率設置為1500000，點擊連接，在Xshell調試終端會顯示連接成功。

（3）連接成功后，撥動實驗箱的電源開關，將實驗箱上電。

（4）系統啟動成功后，輸入賬戶密碼登錄即可（賬密均為：tronlong）

（5）登錄成功后，查詢實驗箱的網口地址。

拷貝文件

我們先打開Ubuntu，將Demo文件夾拷貝到RK3568目錄下。

"Ctrl+Alt+T"打開控制臺，執行命令將文件拷貝至實驗箱文件系統（根據實驗箱實際IP地址修改命令）。

運行程序

在串口調試窗口執行命令，啟動開發環境

在網頁輸入地址，即可打開登錄界面 （根據實際IP地址修改網頁地址）。

輸入密碼：tronlong，登錄。

在程序目錄，雙擊打開程序，點擊重新運行程序。

程序運行后，通過語音控制機械臂實現特定復雜動作，包括：機械臂疊羅漢、跳舞、夾方塊、搬運。具體語音控制詞匯如下：

?喚醒詞：你好創龍。

?控制機械臂模擬跳舞：機械臂跳舞。

?控制機械臂夾取方塊：機械臂夾方塊。

?控制機械臂開始把積木塊堆疊起來：機械臂疊羅漢。

?控制機械臂搬運：機械臂搬運。

例如，先說：你好創龍，語音模塊會回應：有什么可以幫您？接著說：機械臂跳舞，機械臂會模擬跳舞，同時語音模塊會回應：開始跳舞。

夾方塊、疊羅漢、搬運前需提前布置好方塊的位置。

機械臂夾方塊：在中間區域每次放一個方塊，機械臂按照黃色-紅色-綠色-藍色的位置順序從中間往周圍放

機械臂疊羅漢：按照黃色-紅色-綠色-藍色的順序堆疊。

機械臂搬運：將堆疊好的四個方塊按照黃色-紅色-綠色-藍色的位置順序從中間往周圍搬運。

這是一條分割線