實(shí)驗(yàn)指南

概述

本實(shí)驗(yàn)將為您介紹如何在e2 studio中使用Reality AI相關(guān)組件來進(jìn)行AI開發(fā)，主要涉及如何使用Reality AI Data shipper/collector，Reality AI Data Storage Tool等工具來采集，存儲(chǔ)數(shù)據(jù)文件，同時(shí)將數(shù)據(jù)文件上傳到Reality AI portal中進(jìn)行模型訓(xùn)練與生成，代碼部署與調(diào)試。

本實(shí)驗(yàn)基于3軸加速度傳感器的X，Y，Z，3軸加速度在不同動(dòng)作下的變化，使用Reality AI tools訓(xùn)練并生成模型，來識(shí)別不同的動(dòng)作。開發(fā)流程簡(jiǎn)單，快捷易用。

實(shí)驗(yàn)?zāi)繕?biāo)

掌握Reality AI Data shipper/collector的基本使用方法

掌握Reality AI Data Storage Tool的基本使用方法

實(shí)驗(yàn)材料

Windows10/11 PC

FPB-RA6E2開發(fā)板及其配件

ICM-42670-P模塊

FSP 5.4.0

e2 studio 2024-04及以上

Reality AI Tools賬號(hào)

技能要求

熟悉Renesas e2 studio操作

了解RA MCU的外圍接口

一安裝和準(zhǔn)備

本節(jié)要點(diǎn)

本節(jié)學(xué)習(xí)如何搭建實(shí)驗(yàn)以及如何將套件連接至電腦端。

步驟

1.1首先確保已安裝所有實(shí)驗(yàn)工具。

e2stduio 2024-04及以上版本

（此鏈接包含了FSP5.4.0）

https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe

JLink RTT-Viewer V7.96g及以上版本

https://www.segger.com/downloads/jlink/

1.2本實(shí)驗(yàn)將用到如下組件：

Micro USB數(shù)據(jù)線1根

FPB-RA6E21塊

ICM-42670-P模塊1塊

PMOD bridge板1塊

1.3請(qǐng)按以下步驟操作：

將ICM-42670-P模塊和PMOD bridge板，按照下圖安裝（注意安裝方向）。再與FPB-RA6E2的左下PMOD1端口連接。

用Micro USB線，一端接入FPB-RA6E2板Micro USB端口，另一端接入PC USB接口。

右上黃色Debug LED和右上綠色Power LED會(huì)常亮。如果是處于代碼調(diào)試過程中，黃色Debug LED會(huì)處于閃爍狀態(tài)。

1.4打開PC設(shè)備管理器，在端口（COM和LPT）中會(huì)顯示“Jlink CDC UART Port（COMxx）”，表示PC已經(jīng)識(shí)別到FPB-RA6E2板上的JLink CDC UART。在通用總線設(shè)備中會(huì)顯示“BULK interface”（這個(gè)不是必要的，有些版本的windows不會(huì)顯示這個(gè)信息）。

注意：中文版本的Windows顯示信息會(huì)略有不同，會(huì)顯示通信端口（COMxx）或者串行端口（COMxx）。

1.5使用已經(jīng)申請(qǐng)到的Reality AI Tools賬號(hào)登錄Reality AI Tools網(wǎng)站（您可復(fù)制下方鏈接至瀏覽器，或掃描二維碼查看）。賬號(hào)申請(qǐng)需要聯(lián)系Renesas代理商或者Renesas銷售。

Reality AI Tools網(wǎng)站

https://portal.reality.ai/login

保持瀏覽器頁面如上圖所示。

二數(shù)據(jù)采集

本節(jié)要點(diǎn)

本節(jié)學(xué)習(xí)e2 studio中Reality AI組件的使用。

工程代碼

https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining

步驟

2.1運(yùn)行e2 studio，點(diǎn)擊File->Import。

2.2選擇General->existing Projects into Workspace，運(yùn)行“Next”。

2.3導(dǎo)入FPBRA6E2_AMR_training工程文件按照下圖所示，然后運(yùn)行“Next”。

2.4返回到Reality AI Tools網(wǎng)頁界面，創(chuàng)建一個(gè)新的項(xiàng)目“Asset Tracking”。

Name填寫Asset Tracking。

Description主要是用來描述項(xiàng)目簡(jiǎn)略情況的，可以不填，或者按照自己的需要填寫。

2.5單擊網(wǎng)頁右上角的用戶名，選擇“Api Key”。

2.6單擊下面的“Generate New API Key”后，再單擊右側(cè)的Copy按鈕復(fù)制顯示的“API Key”。

2.7點(diǎn)擊e2 studio中的Renesas AI->Reality AI Authentication。

粘貼上一步復(fù)制的API Key，并運(yùn)行“Apply and Close”。

2.8點(diǎn)擊“Test Connection…”，進(jìn)行連接測(cè)試。

如果顯示下面界面，表示e2 Studio已經(jīng)成功連接到Reality AI Tools。

2.9點(diǎn)擊e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。

2.10將項(xiàng)目切換到FPBRA6E2_AMR_training，再點(diǎn)擊“Data connection…”。

COM port選擇1.4步驟中的Jlink CDC UART Port，波特率選擇115200，其他配置參考下圖顯示。

點(diǎn)擊“Connect”。然后再點(diǎn)擊“Close”。

2.11點(diǎn)擊圖標(biāo)

來編譯工程。

本工程經(jīng)過編譯后，應(yīng)該沒有任何errors或者warnings。

2.12點(diǎn)擊按鈕

啟動(dòng)調(diào)試并檢查控制臺(tái)中的

內(nèi)容是否成功建立了連接。

2.13如果你遇到下面所示彈出的窗口，勾選“Remember my decision”，并點(diǎn)擊“Switch”。

2.14點(diǎn)擊按鈕

兩次。

此時(shí)，程序正常運(yùn)行起來。

2.15點(diǎn)擊Reality AI Data Storage Tool視圖中的Data file setting…。

這里可以設(shè)置

采集的數(shù)據(jù)文件的格式，支持csv，wav格式文件。

數(shù)據(jù)的采樣率。

采集數(shù)據(jù)文件的存儲(chǔ)地址。地址可以根據(jù)自己情況設(shè)置。

2.16點(diǎn)擊Reality AI Data Storage Tool視圖，可以看到三種實(shí)時(shí)運(yùn)行的波形圖。

注意：如果波形沒有出現(xiàn)或者波形圖不動(dòng)，點(diǎn)擊紅色框中的File review，再點(diǎn)擊Live view。如果還是沒有波形圖出現(xiàn)，檢查上述步驟中的JLink CDC UART是否連接正常。

2.17在Class name中輸入當(dāng)前的數(shù)據(jù)標(biāo)簽normal/shake/drop，生成的數(shù)據(jù)文件會(huì)以標(biāo)簽名為前綴名，并加上采集的data collector的ID號(hào)和時(shí)間戳。

如：drop_id0_20240813222558879.csv，表示該數(shù)據(jù)文件是drop類別的數(shù)據(jù)，它是由data collector0在2024年8月13日22點(diǎn)25分58秒879毫秒采集的。

本實(shí)驗(yàn)一共需要采集3類數(shù)據(jù)，normal（正常）、shake（搖晃）、drop（跌落）。每類數(shù)據(jù)采集1分鐘左右即可。

注意：盡量做到每類數(shù)據(jù)采集的時(shí)間相同，這樣可以確保接下來的訓(xùn)練數(shù)據(jù)處于平衡的狀態(tài)。

normal是板子處于靜止的狀態(tài)下采集的數(shù)據(jù)。

shake是拿著板子左右搖晃，前后搖晃或者移動(dòng)板子的狀態(tài)下采集的數(shù)據(jù)。

drop是拿著板子離桌面10cm左右，自由落體跌落的狀態(tài)下采集的數(shù)據(jù)。（建議在泡沫或者軟材質(zhì)墊子上進(jìn)行，避免板子損壞）。

點(diǎn)擊“Start new capture”，開始進(jìn)行數(shù)據(jù)采集。點(diǎn)擊“Stop capture”停止采集。

2.18選擇已經(jīng)采集的數(shù)據(jù)文件，點(diǎn)擊右下角的upload…按鈕，上傳數(shù)據(jù)到Reality AI Tools中。

2.19在彈出的窗口中選擇“Asset Tracking”，并輸入采樣率1600。點(diǎn)擊OK，等待數(shù)據(jù)上傳。

數(shù)據(jù)上傳完成后，會(huì)有如下提示窗口彈出。同時(shí)，文件列表中的Status顯示為Uploaded。

2.20點(diǎn)擊圖標(biāo)

來終止程序運(yùn)行。