好吊色欧美一区二区三区四区,国产精品久久久久不卡,久久久久亚洲精品乱码按摩红桃

0.筆者個人體會：這個工作來自于華中科技大學(xué)，發(fā)表于ICCV 2021。這個工作聚焦于點(diǎn)云的點(diǎn)特征表示學(xué)習(xí)，但是，與一般的點(diǎn)特征學(xué)習(xí)方法并不一樣。我們知道，基于深度學(xué)習(xí)的三維點(diǎn)云處理已經(jīng)在近年來得到了廣發(fā)關(guān)注，從先驅(qū)性的工作例如PointNet到近期的Point Transformer等。這些工作都能有效的學(xué)習(xí)點(diǎn)特征表示。但是，這些方法學(xué)習(xí)點(diǎn)特征都是基于輸入的某一個點(diǎn)云而言的，所有的操作也都集中在一個點(diǎn)云上，并且追求特征的描述性，力求能準(zhǔn)確表示三維點(diǎn)云的局部幾何結(jié)構(gòu)。但是，這篇論文針對點(diǎn)云配準(zhǔn)工作提出了另一種點(diǎn)云設(shè)計(jì)方式。我們知道配準(zhǔn)的目的是求解輸入的點(diǎn)云對之間的相對變換以使它們最好的對齊，在這個過程中，聚焦于用學(xué)到的點(diǎn)特征表示構(gòu)造可靠的匹配對。為此，對于點(diǎn)特征的魯棒性需求也很重要。為了實(shí)現(xiàn)這個目的，本工作提出從輸入的兩個點(diǎn)云出發(fā)，利用這兩個點(diǎn)云之間的交互進(jìn)一步調(diào)整點(diǎn)特征學(xué)習(xí)，使得到的點(diǎn)特征表示源于同時感知到當(dāng)前點(diǎn)云和另一個需要配對的點(diǎn)云，從而追求正確的匹配點(diǎn)的可匹配性的提升。也就是說這是一個針對特定任務(wù)而設(shè)計(jì)的點(diǎn)特征學(xué)習(xí)方法，或許此方法學(xué)到的點(diǎn)特征難以應(yīng)用到其他任務(wù)，例如分類、分割等，但對于匹配、配準(zhǔn)而言應(yīng)該更加適用。1、論文相關(guān)內(nèi)容介紹：論文標(biāo)題：? ?Feature Interac tive Representation for Point Cloud Registration作者列表：? ? ?Bingli Wu, Jie Ma, Gaojie Chen, Pei An摘要：點(diǎn)云配準(zhǔn)是使用兩個點(diǎn)云中的共同結(jié)構(gòu)將它們拼接在一起。為了找出這些共同的結(jié)構(gòu)并使這些結(jié)構(gòu)更準(zhǔn)確地匹配，源點(diǎn)云和目標(biāo)點(diǎn)云的交互信息是必不可少的。然而，當(dāng)前對顯式建模這種特征交互的關(guān)注有限。為此，我們提出了一個特征交互表示學(xué)習(xí)網(wǎng)絡(luò)，它可以從不同層次探索源點(diǎn)云和目標(biāo)點(diǎn)云之間的特征交互。具體來說，我們首先介紹了一種基于點(diǎn)云內(nèi)特征交互的組合特征編碼器（CFE）。CFE提取每個點(diǎn)云內(nèi)的交互特征并將它們組合起來以增強(qiáng)網(wǎng)絡(luò)描述局部幾何結(jié)構(gòu)的能力。然后，我們提出了一種點(diǎn)云間的特征交互機(jī)制，它包括一個局部交互單元（LIU）和一個全局交互單元（GIU）。前者用于跨兩個點(diǎn)云的點(diǎn)對之間的信息交互，從而使一個點(diǎn)云中的點(diǎn)特征與另一個點(diǎn)云中的相似點(diǎn)特征能夠相互感知。后者用于根據(jù)兩個點(diǎn)云的全局交互信息調(diào)整每個點(diǎn)特征，因此一個點(diǎn)云具有對另一個點(diǎn)云的全局感知。對部分重疊點(diǎn)云配準(zhǔn)的大量實(shí)驗(yàn)表明，我們的方法實(shí)現(xiàn)了最先進(jìn)的性能。主要貢獻(xiàn)：1）我們提出了一種組合特征編碼器來提取局部區(qū)域的交互特征，其通過結(jié)合不同層的特征，增強(qiáng)網(wǎng)絡(luò)提取局部幾何和語義信息的能力。2）我們設(shè)計(jì)了一種新穎的點(diǎn)云間特征交互機(jī)制，使每個點(diǎn)云都具有另一個點(diǎn)云的上下文感知，從而為后續(xù)模塊提供更具辨別力的特征3）我們的端到端 FIRE-Net在多種實(shí)驗(yàn)設(shè)置下于 ModelNet40 基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能，從而證明了其有效性和泛化能力。方法介紹：給定輸入點(diǎn)云

，

，我們的目標(biāo)是求解旋轉(zhuǎn)矩陣

和平移向量

以實(shí)現(xiàn)輸入點(diǎn)云最好的對齊。Fig1展示了我們的FIRE-Net的整體流程。簡要地說，我們的網(wǎng)絡(luò)的輸入包括源和目標(biāo)原始點(diǎn)云。組合特征編碼器（CFE）首先提取源和目標(biāo)的初始特征，將所有點(diǎn)編碼到一個公共特征空間中。然后，設(shè)計(jì)了一個局部交互單元（LIU）和一個全局交互單元（GIU）來建模點(diǎn)云間的特征交互。最終的交互特征被送到關(guān)鍵點(diǎn)層以選擇兩個點(diǎn)云中的公共結(jié)構(gòu)。最后，我們使用剛性變換計(jì)算模塊以迭代的方式來獲得可靠的對應(yīng)關(guān)系和計(jì)算剛性變換。每個模塊的詳細(xì)信息將在以下部分進(jìn)行說明。

Fig1：(a)FIRE-Net的整體框架，(b)局部特征交互單元，(c)全局特征交互單元。一、組合特征編碼：CFE的主要目標(biāo)是描述源點(diǎn)云和目標(biāo)點(diǎn)云的局部結(jié)構(gòu)。同時，作為我們特征交互模型的第一級，CFE 實(shí)現(xiàn)了點(diǎn)云內(nèi)的特征交互。我們的 CFE 是一個基于 GNN 的網(wǎng)絡(luò)，可以通過在3D坐標(biāo)空間中構(gòu)建固定圖并應(yīng)用串聯(lián)連接多層來分層的輸出來提取點(diǎn)的多級交互特征，其過程如圖2所示。

Fig2.組合特征編碼坐標(biāo)空間中的局部圖：為了表示給定點(diǎn)云的局部幾何結(jié)構(gòu)，我們將每個點(diǎn)作為一個中心節(jié)點(diǎn)，分別構(gòu)造一個kNN圖。

其中

是用于中心點(diǎn)及其近鄰點(diǎn)的相對特征的共享MLP。A是最大池化。σ是線性層。初始特征：為了增強(qiáng)模塊捕獲幾何和語義信息的能力，我們通過串接每個傳播層的輸出向量來合并低階和高階交互特征。最后，我們在串接的向量上應(yīng)用共享 MLP以獲得初始特征

和

。這個過程可以表述為：

其中

是一個共享的 MLP。

表示

層中的特征,L表示傳播層數(shù)。二、點(diǎn)云間的特征交互該模塊旨在對點(diǎn)云交互進(jìn)行建模，它由兩個串行單元組成：LIU學(xué)習(xí)局部交互函數(shù)以獲得局部交互特征

。然后，GIU學(xué)習(xí)一個全局交互函數(shù)

得到全局特征交互

。請注意，我們將

和作為殘差項(xiàng)，為可學(xué)習(xí)尺度參數(shù)和β和原始特征提供附加變化，即，

其中

和

是 LIU之后更新的特征、

和

是GIU之后更新的特征。1.局部特征交互單元：在CFE編碼了輸入點(diǎn)云到一個共同的特征空間的前提下，點(diǎn)云間的局部交互可以通過在特征空間上應(yīng)用GNN 來實(shí)現(xiàn)。特征空間的局部圖：在公共特征空間中，我們有M個源點(diǎn)云特征和N個目標(biāo)點(diǎn)云特征。我們首先構(gòu)造一個混合特征集

，然后將其中的每個特征

作為中心節(jié)點(diǎn)并應(yīng)用KNN 構(gòu)造局部圖

，從而得到混合圖

。構(gòu)建局部圖

有兩種策略：(1) 如圖 3左側(cè)所示，無論鄰居特征屬于

還是

，我們都連接中心節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)之間的所有邊。(2) 如圖3右側(cè)所示，邊只在屬于不同點(diǎn)云的節(jié)點(diǎn)之間構(gòu)建。在局部圖中，我們將邊視為兩個節(jié)點(diǎn)間的關(guān)系，例如表示從

到

的關(guān)系。因此在圖3中，類型 1 對特征空間中的關(guān)系進(jìn)行了更全面的建模，而類型 2 比類型 1 更清楚地將消息從另一個點(diǎn)云傳遞到中心節(jié)點(diǎn)。

Fig3.特征空間的局部圖結(jié)構(gòu)節(jié)點(diǎn)關(guān)系挖掘：通過上面定義的局部圖，可以通過節(jié)點(diǎn)特征及其鄰居點(diǎn)特征的邊來挖掘節(jié)點(diǎn)關(guān)系，例如，使用

獲得關(guān)系向量

。為了找到更有效的關(guān)系函數(shù)，我們研究了三種不同形式的關(guān)系函數(shù)。

其中

表示中心點(diǎn)特征，

是其相鄰特征之一。

是線性層。我們通過聚合關(guān)聯(lián)向量來更新中心的特征，即：

其中A是聚合函數(shù)，例如最大池化。

Fig4.局部特征交互單元的流程細(xì)節(jié)局部交互特征：更一般地，我們重復(fù)上述操作幾次，得到一個高級關(guān)聯(lián)表示

及其相應(yīng)的聚合輸出特征

。請注意，局部圖將隨著節(jié)點(diǎn)特征更新而動態(tài)重新計(jì)算，如圖4所示。這是與在固定輸入圖上工作的CFE的重要區(qū)別。最后，我們在聚合輸出特征上應(yīng)用非線性層來得到調(diào)整后的特征

，即局部交互特征。這個過程可以描述為：

通過LIU，每個點(diǎn)的特征具有局部鄰域的特點(diǎn)。在LIU之后，源和目標(biāo)的特征更新為

和

，然后后面緊接GIU。2.全局特征交互單元：為了共享全局信息并全面學(xué)習(xí)源和目標(biāo)之間的交互，我們設(shè)計(jì)了一個 GIU。所提出的GIU獲得源和目標(biāo)全局特征的交叉矩陣，然后通過將交叉矩陣投影到它們的潛在表示空間來更新點(diǎn)特征。全局信息聚合：我們首先聚合

和

以獲得全局特征。此聚合操作串聯(lián)池化后的特征，然后使用共享的 MLP對其進(jìn)行進(jìn)一步調(diào)整，其過程可以表示如下：

其中

是共享的MLP操作。全局信息交叉：對于源點(diǎn)云全局特征

和目標(biāo)點(diǎn)云全局特征

,我們構(gòu)建

成對交互：

其中

是交叉特征矩陣，d是特征的維數(shù)。通過交叉操作，每個可能的特征交互在交叉特征矩陣中明確建模。全局交互特征：為了將交叉矩陣中包含的信息投影到每個點(diǎn)特征中，我們將源點(diǎn)云特征乘以交叉矩陣

，同時目標(biāo)點(diǎn)云特征乘以轉(zhuǎn)置交叉矩陣

。這個過程由下式表示，最終得到了源點(diǎn)云全局交互特征

和目標(biāo)點(diǎn)云全局交互特征

。

通過 GIU，源點(diǎn)云和目標(biāo)點(diǎn)云可以交互全局上下文信息。即源點(diǎn)云的特征不僅集成了源點(diǎn)云全局信息，還集成了目標(biāo)點(diǎn)云全局信息，反之亦然。GIU之后，特征被更新為

和

。三、關(guān)鍵點(diǎn)層給定最終的交互特征

，我們通過一個簡單高效的關(guān)鍵點(diǎn)層來選擇源點(diǎn)云和目標(biāo)點(diǎn)云公共的興趣點(diǎn)。我們的關(guān)鍵點(diǎn)層可以表示如下：

其中是共享的MLP，

輸出每個點(diǎn)的顯著性分?jǐn)?shù)。這里，

提取給定輸入的K個最大元素的索引。

是從原始點(diǎn)云中選擇的關(guān)鍵點(diǎn)集。

和

表示相應(yīng)的關(guān)鍵點(diǎn)特征集。四、剛性變換計(jì)算給定點(diǎn)對的坐標(biāo)和特征，剛性變換計(jì)算模塊采用IDAM中的相似矩陣卷積 (SMC) 來回歸每個點(diǎn)對的相似性得分。不同之處在于IDAM將點(diǎn)對的特征串聯(lián)起來作為 SMC輸入的一部分，而我們的模型使用點(diǎn)對的特征差異。最后，SMC獲得的對應(yīng)關(guān)系被傳遞到SVD層以計(jì)算剛性變換。

審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報(bào)投訴