0.這篇文章干了啥？

這篇文章介紹了一種名為F-UAV-D的嵌入式系統(tǒng)，旨在利用事件到幀輸入來檢測無人機(jī)。文章首先介紹了無人機(jī)在各種領(lǐng)域中的應(yīng)用，并指出了對于保護(hù)隱私和安全，對無人機(jī)進(jìn)行預(yù)防和檢測至關(guān)重要的重要性。然后，文章討論了目前用于無人機(jī)檢測的兩種主要方法：主動掃描和被動掃描。接著，文章介紹了動態(tài)視覺傳感器（DVS）作為一種替代方案，其利用時間戳像素級亮度變化，適應(yīng)于低延遲的對象檢測。隨后，文章提出了F-UAV-D系統(tǒng)，它利用DVS作為實時低功耗配置中的RGB攝像頭的替代方案，并展示了該系統(tǒng)的性能優(yōu)勢。最后，文章總結(jié)了實驗結(jié)果，并提出了未來工作的計劃，包括擴(kuò)展數(shù)據(jù)集、深入研究提出的設(shè)置以及嘗試不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

下面一起來閱讀一下這項工作~

1. 論文信息

論文題目：Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors

作者：Jakub Mandula, Jonas K¨uhne等

作者機(jī)構(gòu)：瑞士蘇黎世聯(lián)邦理工學(xué)院

論文鏈接：https://arxiv.org/pdf/2403.11875.pdf

2. 摘要

無人機(jī)(Unmanned Aerial Vehicles, UAVs)在民用和軍事應(yīng)用中越來越受歡迎。然而，對受限區(qū)域的未經(jīng)控制的訪問威脅到隱私和安全。因此，預(yù)防和檢測無人機(jī)對于保證機(jī)密性和安全至關(guān)重要。盡管主要基于雷達(dá)的主動掃描是最精確的技術(shù)之一，但它可能比被動檢查，例如對象識別，更昂貴且不太靈活。動態(tài)視覺傳感器(Dynamic Vision Sensors, DVS)是一種受生物啟發(fā)的基于事件的視覺模型，利用了快速移動場景中的時間戳像素級亮度變化，很好地適應(yīng)于低延遲目標(biāo)檢測。本文提出了一種名為F-UAV-D (Fast Unmanned Aerial Vehicle Detector)的嵌入式系統(tǒng)，可實現(xiàn)快速移動無人機(jī)的檢測。具體而言，我們提出了一種利用DVS作為RGB攝像頭的替代方案的設(shè)置，實現(xiàn)實時和低功耗配置。我們的方法利用了DVS的高動態(tài)范圍(HDR)和背景抑制，在訓(xùn)練了各種快速移動無人機(jī)后，在低照度和快速移動場景等次優(yōu)環(huán)境中優(yōu)于RGB輸入。我們的結(jié)果顯示，F(xiàn)-UAV-D可以(i)平均使用<15W的功率檢測無人機(jī)，并且(ii)通過利用邊緣計算機(jī)的CPU和GPU節(jié)點進(jìn)行實時推理(即<50ms)。

3. 效果展示

RGB和事件到幀重疊的示例。

AprilTag 網(wǎng)格在 RGB 和事件到幀視圖中的示例。

4. 主要貢獻(xiàn)

設(shè)計和開發(fā)用于能效高和低延遲無人機(jī)檢測的嵌入式系統(tǒng)

數(shù)據(jù)集收集和地面真實創(chuàng)建，用于機(jī)器學(xué)習(xí)訓(xùn)練和評估

在邊緣不同批大小的YOLOv8的功耗消耗的實證評估。

5. 基本原理是啥？

這篇文章的基本原理是利用事件驅(qū)動的視覺傳感器（DVS）和傳統(tǒng)的RGB攝像頭相結(jié)合，實現(xiàn)在邊緣設(shè)備上實時檢測快速移動的無人機(jī)。傳統(tǒng)的RGB攝像頭每隔一定時間（幀率）返回一幀圖像，而DVS則在感知到亮度變化時立即生成事件，每個事件包含有關(guān)一個像素的信息（受到亮度變化影響的像素）以及時間戳和亮度變化的極性。

文章介紹了構(gòu)建系統(tǒng)所使用的硬件和軟件設(shè)置。硬件方面，系統(tǒng)基于商用DVS攝像頭、CMOS RGB陣列傳感器和低功耗計算節(jié)點構(gòu)建。軟件方面，系統(tǒng)基于實時目標(biāo)檢測算法和事件到幀轉(zhuǎn)換的組合。事件到幀轉(zhuǎn)換是一個關(guān)鍵步驟，將DVS生成的事件流轉(zhuǎn)換為傳統(tǒng)計算機(jī)視覺算法所需的幀格式。為了實現(xiàn)這一轉(zhuǎn)換，事件被累積到一個2D矩陣中，生成人工幀，其中正亮度變化的事件生成白色，負(fù)亮度變化的事件生成藍(lán)色。

在數(shù)據(jù)收集方面，文章介紹了創(chuàng)建一個包含不同無人機(jī)的公開可用數(shù)據(jù)集的過程。為了標(biāo)記數(shù)據(jù)集，作者使用了YOLO檢測器對傳統(tǒng)攝像頭幀進(jìn)行標(biāo)記，并將標(biāo)簽轉(zhuǎn)換為事件相機(jī)幀以用作先驗。

最后，文章通過對系統(tǒng)性能的定量和定性分析，展示了系統(tǒng)在實時檢測無人機(jī)方面的可行性。文章還提出了一個研究問題，即不同批次大小對功耗和推斷延遲的影響，為未來的研究提供了方向。

6. 實驗結(jié)果

本文旨在評估所提出的基于事件的計算機(jī)視覺算法在低端計算系統(tǒng)上實時檢測快速移動的無人機(jī)的性能。以下是實驗的關(guān)鍵內(nèi)容：

數(shù)據(jù)集收集和標(biāo)記：使用硬件收集數(shù)據(jù)集，并使用Label Studio進(jìn)行標(biāo)記，標(biāo)記人員可以在RGB和DVS輸入同步的情況下檢查兩者之一以進(jìn)行視覺確認(rèn)。

事件到幀轉(zhuǎn)換：DVS生成對亮度變化的響應(yīng)的事件流，但傳統(tǒng)計算機(jī)視覺算法支持幀作為輸入。因此，需要將事件流累積以生成人工幀，以便適應(yīng)傳統(tǒng)計算機(jī)視覺算法。作者采用了一種簡單的累積過程，將事件聚合成為2色幀，其中白色代表正事件，藍(lán)色代表負(fù)事件。

攝像頭同步和校準(zhǔn)：應(yīng)用圖像變換來對齊RGB和事件到幀的視角，以便手動標(biāo)記無人機(jī)，并在RGB空間運行檢測器并將標(biāo)簽傳輸?shù)绞录臻g。

數(shù)據(jù)集標(biāo)簽：使用自動生成的標(biāo)簽候選項，在Label Studio中繪制圍繞目標(biāo)的邊界框，以創(chuàng)建YOLO訓(xùn)練所需的地面真實數(shù)據(jù)集。

YOLOv5訓(xùn)練：采用YOLOv5-nano算法，將其調(diào)整為接受與事件到幀累積相對應(yīng)的二維、2通道矩陣，并使用默認(rèn)的訓(xùn)練代理和參數(shù)進(jìn)行訓(xùn)練。

功耗測量：使用Keysight N6705C DC功率分析儀測量F-UAV-D在推斷期間的總功耗，發(fā)現(xiàn)批次大小為4時功耗最低，每幀需求約為146mJ。

7. 總結(jié) & 未來工作

在本文中，我們介紹了F-UAV-D，這是一個由硬件和軟件組件組成的嵌入式系統(tǒng)，可實現(xiàn)使用事件到幀輸入來檢測無人機(jī)。我們展示了一個硬件設(shè)置，包括傳統(tǒng)的RGB攝像頭、新穎的DVS傳感器和低功耗嵌入式系統(tǒng)。我們展示了如何使用現(xiàn)有的機(jī)器學(xué)習(xí)工具如YOLO來自動化創(chuàng)建新的事件攝像頭數(shù)據(jù)集的標(biāo)記過程。此外，我們公開提供了我們的數(shù)據(jù)集，其中包括27分鐘的靜止和快速移動無人機(jī)錄像（即49,000幀）。我們通過測量功耗和延遲初步驗證了上述數(shù)據(jù)集。所測得的性能（即0.53 mAP）顯示出了實時推斷的現(xiàn)場可部署性，其每幀只需150mJ。我們計劃通過以下方式擴(kuò)展這項工作：（i）擴(kuò)展數(shù)據(jù)集（例如，包括更具挑戰(zhàn)性的條件）、（ii）對所提出的設(shè)置進(jìn)行更深入的研究（例如，包括RGB和DVS幀之間的同步和校準(zhǔn)過程的挑戰(zhàn)和限制）、（iii）嘗試不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。