一直以來，技術都有能力為人們的生活帶來巨大改變，而對于視障人士來說，這種改變可能是革命性的。多年來，輔助應用程序的數量明顯增加。除了深受歡迎的 Windows 電腦屏幕閱讀器 JAWS 和幫助用戶瀏覽手機和平板電腦的軟件之外，還有一些音頻描述應用程序，利用智能設備攝像頭來閱讀實物文件和識別周圍環境中的物品。

制作者兼開發者 Md. Khairul Alam 試圖創造一種廉價的可穿戴導航工具，解放用戶的雙手，并描述人們從自己眼睛的角度看到的東西。它以一副眼鏡為基礎，使用一個小型攝像頭傳感器收集視覺信息，然后發送到 Raspberry Pi 1 Model B 進行解讀。用戶可以聽到關于所見事物的語音描述。

毋庸置疑，這個項目將對全世界數十萬人產生積極影響。“全球約有 22 億人沒有視力，其中 90% 來自低收入國家。“有必要為有視覺障礙的人提供低成本的解決方案，讓他們能夠靈活地輕松導航，在進行研究后，我意識到邊緣計算機視覺可以成為解決這一問題的潛在答案"。

尖端技術

邊緣計算機視覺具有潛在的變革性。它從邊緣設備（如攝像頭）收集視覺數據，然后在本地進行處理，而不是發送到云端。由于信息是在靠近數據源的地方處理的，因此可以快速、實時地作出反應，減少延遲。當用戶視力受損，需要快速感知環境時，這一點尤為重要。

連接相當簡單：將 Xiao ESP32S3 Sense 模塊插入樹莓派（Raspberry Pi）。

在他的項目中，Khairul 選擇使用 Xiao ESP32S3 Sense 模塊，該模塊除了一個攝像頭傳感器和一個數字麥克風外，還集成了 Xtensa EPS32-S3R8 SoC 處理器、8MB 閃存和一個 microSD 卡插槽。該模塊被安裝在一副眼鏡的中央，并通過 USB-C 連接線與 Raspberry Pi 計算機相連，然后將一副耳機插入 Raspberry Pi 的音頻輸出端口。有了這些連接，Khairul 就可以專心研究項目的軟件了。

可以想象，機器學習是這個項目不可或缺的一部分；它需要準確地檢測和識別物體。Khairul 使用 Edge Impulse Studio 來訓練他的物體檢測模型。這個工具非常適合建立數據集，在這種情況下，需要從頭開始創建一個數據集。“他告訴我們："當我開始做這個項目時，我沒有找到任何現成的數據集用于這個特定用途。“豐富的數據集對于獲得良好的精確度非常重要，因此我制作了一個簡單的數據集用于實驗目的"。

為了幫助測試這款設備，Khairul 一直在使用一款廉價的 USB-C 便攜式揚聲器

物體檢測

Khairul 最初專注于六個物體，上傳了 188 張圖片來幫助識別椅子、桌子、床和臉盆。他能拍攝到的物體圖像越多，準確度就越高，但這也帶來了一些挑戰。“他解釋說："對于這類工作，我需要一個獨特而豐富的數據集來獲得良好的結果，這是最困難的工作。事實上，他仍在努力創建一個更大的數據集，這些工作需要大量時間；但在將模型上傳到 Xiao ESP32S3 Sense 后，它已經開始產生一些積極的結果。

當檢測到一個物體時，模塊會返回該物體的名稱和位置。“Khairul說："在檢測和識別物體后，Raspberry Pi就會公布其名稱--Raspberry Pi內置音頻支持，而Python有許多文本到語音庫。該項目使用了一個名為 “Festival ”的免費軟件包，它是由英國語音技術研究中心編寫的。它能將文本轉換成語音，然后用戶就能聽到。

在實際應用中，我們需要一個更整潔的解決方案，包括一個防水盒。

為了方便起見，所有這些目前都由一個小型可充電鋰離子電池供電，該電池由一根長線連接，可以放在用戶的口袋里。“功耗是另一個重要的考慮因素，“卡伊魯爾指出，”因為它是一個便攜式設備，所以需要非常省電。由于 “第三只眼 ”是為佩戴而設計的，因此還需要有合適的感覺。“外形尺寸是一個相當重要的因素--項目應該盡可能緊湊，"Khairul 補充道。

展望未來

第三只眼 "仍處于概念驗證階段，改進措施已經確定。Khairul 知道，Xiao ESP32S3 Sense 最終將無法滿足他對該項目的雄心壯志，因為它將在未來不斷擴展，而且隨著更大的機器學習模型被證明是必要的，Raspberry Pi 可能會承擔更多的工作量。

“老實說，ESP32S3 Sense 模塊的能力不足以應對大型模型。我只是將它用于小型模型的實驗目的，Raspberry Pi 可以是一個很好的替代品，"他說。“我相信，為了獲得更好的性能，我們可以使用 Raspberry Pi 進行推理和文本到語音的轉換。我計劃將來在 Raspberry Pi 計算機內完全實現該系統。”

其他潛在的未來調整也在不斷增加。“我想加入一些控制按鈕，這樣用戶就可以根據需要增大和減小音量，并將音頻靜音，"Khairul 透露。“深度攝像頭還能為用戶提供物體距離的重要信息。通過在 Hackster 上分享該項目，我們希望 Raspberry Pi 社區也能協助推進該項目。“他說："這樣的項目潛力巨大。