一、為何要學習“AI+機器人”？

在開始動手實驗前，理解“AI”與“機器人”結合的價值至關重要。這不僅是技術的融合，更是開啟智能體（Agent）未來的鑰匙。

1. 從自動化到智能化

傳統機器人依賴于精確的預編程，只能在結構化環境中工作。AI的引入（如計算機視覺、自然語言處理），賦予機器人感知、理解和決策的能力，使其能適應開放、動態的真實世界。

2. 解決復雜任務的核心

本課程的終極目標——“按顏色自動分類積木”——單一技術無法完成。它需要視覺（識別）、決策（規劃）、控制（執行）的協同，這正是AI與機器人系統深度融合才能解決的典型問題。

3. 前沿技術與職業方向

“AI+機器人”是智能制造、智慧物流、服務機器人等領域的核心技術。掌握此項技能，意味著您將站在機器人工程師、AI算法工程師、智能系統集成師等前沿崗位的起點。

本課程的體現：您將親身體驗AI如何賦能機器人：

• ? 讓控制更直觀：在實驗09中，使用“拿起紅色積木”這樣的自然語言直接指揮機械臂，背后是視覺語言模型（VLM）在理解您的意圖。
• ? 讓感知更智能：在實驗05-07中，為機器人裝上“眼睛”，通過OpenCV和手眼標定，讓它能“看見”并定位物體。
• ? 探索前沿：實驗11的具身智能實驗，讓您初步接觸讓AI模型擁有“身體”、通過交互進行學習的更高級形態。

二、課程總覽：您將開啟怎樣的學習之旅？

本課程是一個從零開始、手腦并用的實踐指南。通過11個遞進式實驗，您將完整走完“傳統控制 → 仿真與強化學習 → 視覺語言模型（VLM）應用”的技術演進路徑，最終構建一個能聽、會看、能執行的智能機械臂系統。

核心學習閉環

感知（視覺）→ 決策（規劃/AI）→ 執行（控制）

十個核心實驗構成了您的學習階梯：

第一階段：基礎喚醒與控制（實驗1-4）

• ?實驗1：硬件連接、校準與單關節控制——讓機械臂“動起來”。
• ?實驗2-3：正/逆運動學——掌握關節角度與末端位置互相推算的核心數學原理。
• ?實驗4：軌跡規劃——實現末端執行器的平滑直線運動。

第二階段：視覺感知與空間映射（實驗5-7）

• ?實驗5：視覺接入與顏色識別——為機器人裝上“眼睛”。
• ?實驗6-7：逆透視變換與手眼標定（眼在手外/眼在手上）——實現從圖像像素坐標到機器人三維空間坐標的精準轉換，這是視覺控制的基礎。

第三階段：智能應用與綜合任務（實驗8-10）

• ?實驗8：Gazebo仿真——在虛擬世界中安全地演練和驗證算法。
• ?實驗9：VLM自然語言控制——用日常語言指揮機械臂，體驗最直觀的人機交互。
• ?實驗10：綜合任務：積木分類——整合所有知識，完成一個完整的智能任務。

拓展探索（實驗11）

• ?實驗11：具身智能實驗：進階內容，初步體驗數據采集、模型訓練，讓機械臂具備一定的自主學習能力。

三、開始前，請務必確認您的準備

為了順利開始這段旅程，請確保您已做好如下準備：

硬件準備（必須）

• ? 地瓜派X5/地瓜派S100 開發板
• ? Lerobot 6自由度機械臂
• ? USB攝像頭
• ? 標定板（棋盤格）
• ? 彩色積木（紅、藍、綠各色等）

軟件與環境準備（必須）

• ?操作系統：強烈推薦使用Ubuntu（實驗示例和指令均基于此系統）。
• ?核心軟件：需要安裝 Conda（管理Python 3.8+環境）、ROS2（機器人操作系統）、VS Code（代碼編輯）以及課程專用的 Lerobot庫。
• ?環境搭建：請嚴格按照《補充：編譯環境搭建.docx》和《ROS環境搭建教程.docx》的步驟進行操作。

知識與技能基礎（重要）

• ?編程基礎：掌握基礎的Python語法（用于大部分視覺和AI實驗）和C/C++基礎語法（用于理解底層驅動和MoveIt2相關代碼）。
• ?核心概念：理解三維坐標系（X, Y, Z軸）和角度（弧度制）的概念，這是理解機械臂運動的基礎。
• ?工具使用：對Linux終端命令有基本了解，能夠進行文件操作、運行程序等。

四、核心學習建議與提醒

• ?嚴格按順序學習：實驗設計環環相扣。例如，不理解運動學（實驗2-3）就無法進行軌跡規劃（實驗4）；不掌握手眼標定（實驗6-7），就無法實現精準的視覺抓取（實驗10）。請勿跳步。
• ?動手實踐是關鍵：機器人學是實踐的科學。務必親自動手連接硬件、運行代碼、觀察現象并嘗試修改參數和指令。理論只有通過實踐才能內化。
• ?善用實驗文檔：每個實驗都有對應的詳細操作文檔（如《實驗01-1-硬件校準與簡單控制.docx》），其中包含了實驗原理、步驟、代碼和常見問題，是您最重要的“實驗手冊”。遇到問題時，首先回顧文檔。
• ?理解核心思想：請時刻思考“坐標轉換”這一核心思想——它貫穿于從關節角度到末端位置（運動學）、從圖像像素到空間坐標（視覺）、從語言指令到動作參數（AI）的整個過程。
• ?注意安全：在操作真實機械臂時，注意其運動范圍，避免夾傷或碰撞。在仿真環境（實驗8）中可大膽嘗試。