神經網絡的基本思想是模擬計算機“大腦”中的多個互連細胞，使它能夠從環境中學習，識別不同的模式，通俗一點來說就是模仿人類的思維模式進行決策。

一個基本神經網絡包含數百萬個被稱為單元的人工神經元。這些單元分層排列，每一層都互相連接。

單元劃分為如下幾部分：

輸入單元——用于接受外部環境的信息。

隱藏單元——最終輸入到輸出單元。每個隱藏單元都是其輸入的壓縮線性函數。

輸出單元——這些信號表示網絡應如何響應最近獲取的信息。

大多數神經網絡都是互相連接的，這意味著每個隱藏單元和每個輸出單元都連接到層另一邊的每個單元上。每個單元之間的連接稱為“重量”。重量可以是正的，也可以是負的，這取決于它對另一單元的影響程度。較高的權重對互連單元具有更高的權限。

當神經網絡被訓練時，或者在訓練之后剛開始運行時，使用不同的輸入單元將不同的信息模式饋送到網絡中。這些信息將觸發隱藏組的層，然后到達輸出單元。這被稱為前饋網絡，是常用的設計之一。

當您使用訓練模型對神經網絡進行了充分訓練后，它會達到一個階段，在該階段會呈現一組全新的輸入，這些輸入在訓練階段沒有遇到，且它可以預測出令人滿意的輸出。

以下是當今神經網絡和深度學習的一些重要趨勢。

膠囊網絡（Capsule Networks）

膠囊網絡是深度神經網絡的一種新興形式。它模仿人類大腦的方式處理信息。這意味著膠囊網絡可以維持層次關系。

這與卷積神經網絡形成對比。盡管卷積神經網絡是迄今為止使用最廣泛的神經網絡之一，但它們沒有考慮簡單及復雜對象之間存在的關鍵空間層次結構，這導致了高錯誤率。

在進行簡單的識別任務時，膠囊網絡能夠降低錯誤率，實現了更高的準確度，同時它們也不需要大量的培訓模型數據。

卷積神經網絡（CNN）

卷積神經網絡已存在很多年，是一種前饋神經網絡。它啟發于生物的發展過程，特別是人類大腦對眼睛里接收到的信號的理解過程。目前，現有技術的視覺識別系統使用CNN算法來執行圖像分類，定位和對象檢測。

隨著社會發展，人們對卷積神經網絡的興趣也發生了轉移，目前它被廣泛應用于智能監控系統、社交網絡圖片標記和圖像分類、機器人、無人機和自動駕駛汽車。谷歌，亞馬遜，Facebook等數據科學家使用它來進行各種圖像過濾和分類。

與卷積神經網絡密切相關的領域是計算機視覺的深度學習，兩個常見的應用：條形碼掃描儀、面目識別。為了深入學習計算機視覺，市場上也相繼出現了大量的平臺，例如Google的Vision API，Allegro.ai，Missinglink.ai等。

深度強化學習（DRL）

深度強化學習是神經網絡的一種形式，深度強化學習將深度學習的感知能力和強化學習的決策能力相結合，可以直接根據輸入的圖像進行控制，是一種更接近人類思維方式的人工智能方法。一個著名的成功應用案例就是AlphaGo圍棋機器人，AlphaGo是第一個擊敗人類職業圍棋選手、第一個戰勝圍棋世界冠軍的人工智能機器人。

DRL是開發業務應用程序中的通用技術之一。對于訓練模型，它需要更少的數據。且它的另一個優點是可以通過模擬來訓練它，這完全消除了對標記數據的需求。

精益學習

到目前為止，機器學習，特別是深度學習最大的障礙就是用于訓練神經模型的大量標記數據的可用性問題。這兩種技術可以幫助解決這個問題——合成新數據并將任務A和訓練模型轉移到任務B。

像轉移學習（將學習從一個任務轉移到另一個任務）或單次學習（在只有一個或沒有相關示例的情況下進行學習）這樣的技術使它們成為精益數據學習技術。同樣，當使用插值或模擬來合成新數據時，它有助于獲得更多訓練數據。ML專家通常將此稱為增加現有數據來改進學習的方法。

此類技術可用于解決更廣泛的問題，尤其是較少歷史數據的情況下。

監督模型

監督模型是一種學習形式，其從先前標記的訓練數據推斷出特定功能。它使用監督學習算法，該算法包含一組帶有相應標記正確輸出的輸入。

標記的輸入和標記的輸出進行比較。鑒于兩者之間的差異，您可以計算錯誤值，然后使用算法來學習輸入和輸出之間的映射。

這里的最終目標是近似映射函數，如果接收到新的輸入數據，則可以預測準確的輸出數據。類似于教師監督學習過程，當算法達到令人滿意的性能或準確度時，學習過程停止。

具有內存模型的網絡

人類和機器的一個重要的區別就是謹慎工作和思考的能力。毫無疑問，計算機可以預先編程，以極高的精度完成特定的任務。但是，如果您將計算機放于不同的環境中工作，相應的問題就會出現。

想要提升機器對環境的適應能力，神經網絡必須能夠在不遺忘的情況下連續學習任務。神經網絡必須能夠利用許多不同的強大架構來克服災難性遺忘。包括：

長期內存網絡：可以處理和預測時間序列

彈性權重合并算法，可以根據先前完成的任務定義的優先級減慢學習速度

不受災難性遺忘影響的漸進式神經網絡能夠從已經學過的網絡中提取有用的特征，以用于新的任務。

混合學習模型

各種類型的深度神經網絡，包括GAN和DRL，在涉及其性能和不同類型數據的廣泛應用方面已表現出很不錯的發展前景。也就是說，深度學習模型無法以貝葉斯或概率方法的方式對不確定性進行建模。

混合學習模型可以將這兩種方法結合并利用每種方法的強度。這種混合模型的一些示例包括貝葉斯GAN和貝葉斯條件GAN。

混合學習模型可對解決業務問題的領域進行擴展，包括不確定性的深度學習。這將提高性能和模型的可解釋性，獲得更廣泛的應用。