目前，大多數(shù)用于深度學習的構(gòu)建塊、技術(shù)和體系結(jié)構(gòu)都是基于實值操作和表示的。然而，最近對遞歸神經(jīng)網(wǎng)絡(luò)和舊的基本理論分析的研究表明，復數(shù)可能具有更豐富的表示能力，也可能促進噪聲魯棒記憶檢索機制。盡管復雜值深層神經(jīng)網(wǎng)絡(luò)具有吸引人的特性和開發(fā)全新神經(jīng)架構(gòu)的潛力，但由于缺乏設(shè)計此類模型所需的構(gòu)建塊，因此它們已被邊緣化。在這項工作中，我們?yōu)閺椭瞪顚由窠?jīng)網(wǎng)絡(luò)提供了關(guān)鍵的原子成分，并將其應用于卷積前饋網(wǎng)絡(luò)和卷積LSTM。更準確地說，我們依靠復雜卷積和現(xiàn)有算法實現(xiàn)復雜的批處理規(guī)范化、復雜值神經(jīng)網(wǎng)絡(luò)的復雜權(quán)重初始化策略，并將它們用于端到端訓練方案的實驗。我們證明了這種復雜價值模型與現(xiàn)實價值模型具有競爭性。我們在幾個計算機視覺任務(wù)、使用MusicNet數(shù)據(jù)集的音樂轉(zhuǎn)錄和使用Timit數(shù)據(jù)集的語音頻譜預測上測試了深層復雜模型。我們在這些與音頻相關(guān)的任務(wù)上實現(xiàn)了最先進的性能。

?

　　最近的研究進展在解決學習深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的困難方面取得了重大進展。關(guān)鍵創(chuàng)新包括標準化技術(shù)（IOffe和Szegedy，2015年；Salimans和Kingma，2016年）和基于門控的前饋神經(jīng)網(wǎng)絡(luò)（如公路網(wǎng)絡(luò)）的出現(xiàn)（srivastava等人，2015年）。剩余網(wǎng)絡(luò)（He等人，2015a；2016年）已經(jīng)成為一個最流行和最有效的訓練非常深的卷積神經(jīng)網(wǎng)絡(luò)（CNN）的策略之一。公路網(wǎng)絡(luò)和剩余網(wǎng)絡(luò)都通過為較低的網(wǎng)絡(luò)層提供容易的梯度流的快捷路徑，從而減少了效率，從而促進了深層網(wǎng)絡(luò)的訓練。消失梯度的ECTS（Hochreiter，1991年）。He等人（2016）表明學習層的顯式殘差有助于避免消失梯度問題，為網(wǎng)絡(luò)提供了一個更容易的優(yōu)化問題。批量規(guī)范化（IOffe和Szegedy，2015年）表明，通過小批量標準化網(wǎng)絡(luò)中中間層的激活可以作為一個強大的正則化器，并提供更快的訓練和更好的收斂特性。此外，這種標準化層輸出的技術(shù)在深層體系結(jié)構(gòu)中由于漸變問題的消失和爆炸而變得至關(guān)重要。

　　基于復數(shù)的表示的作用已經(jīng)開始受到越來越多的關(guān)注，因為它們有可能實現(xiàn)更簡單的優(yōu)化（Nitta，2002年）、更好的泛化特征（Hirose和Yoshida，2012年）、更快的學習（Arjovsky等人，2015年；DaniheLka等人，2016年；Wistom等人，2016年），以及考慮噪聲魯棒記憶機制（Danielka等人，2016年）。Wistom等人。（2016）和Arjovsky等人（2015）表明，在遞歸神經(jīng)網(wǎng)絡(luò)（RNN）中使用復數(shù)可以使網(wǎng)絡(luò)具有更豐富的表示能力。Danielka等人（2016）提出了一個LSTM（Hochreiter和Schmidhuber，1997）體系結(jié)構(gòu)，該體系結(jié)構(gòu)增加了具有復雜值內(nèi)部表示的關(guān)聯(lián)內(nèi)存。他們的工作強調(diào)了在檢索和插入關(guān)聯(lián)內(nèi)存時使用復雜值表示的優(yōu)點。在殘差網(wǎng)絡(luò)中，每個塊的輸出都被加到通過求和而累積的輸出歷史中，直到該點為止。一個有效的檢索機制可以幫助提取有用的信息并在塊內(nèi)進行處理。

　　為了充分利用復雜表示的優(yōu)點，我們提出了一個復雜值深神經(jīng)網(wǎng)絡(luò)構(gòu)造組件的一般公式，并將其應用于前饋卷積網(wǎng)絡(luò)和卷積LSTM的上下文中。我們在本文中的貢獻如下：

　　1.第3.5節(jié)中描述的復雜批次標準化的公式；

　　2.復雜重量初始化，見第3.6節(jié)；

　　3.比較第4.1節(jié)中介紹的不同的基于復值RELU的激活函數(shù)；

　　4.第4.2節(jié)介紹的MusicNet多樂器音樂轉(zhuǎn)錄數(shù)據(jù)集的最新成果；

　　5.第4.3節(jié)中介紹了TIMIT數(shù)據(jù)集語音頻譜預測任務(wù)的最新成果。

　　我們對我們的深層復雜網(wǎng)絡(luò)進行了健全性檢查，并在標準圖像分類基準（特別是CIFAR-10、CIFAR-100）上證明了其有效性。我們還使用了一組簡化的svhn，我們稱之為svhn*。對于與音頻相關(guān)的任務(wù)，我們在MusicNet數(shù)據(jù)集上執(zhí)行音樂轉(zhuǎn)錄任務(wù)，在Timit上執(zhí)行語音頻譜預測任務(wù)。對視覺分類任務(wù)的研究結(jié)果表明，學習復雜值表示可以獲得與實際值體系結(jié)構(gòu)相競爭的性能。我們在音樂轉(zhuǎn)錄和語音頻譜預測方面的有希望的結(jié)果強調(diào)了深復值神經(jīng)網(wǎng)絡(luò)應用于聲學相關(guān)任務(wù)的潛力1–我們繼續(xù)討論使用復雜操作和相關(guān)工作的動機。
?