国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

人工神經網絡和生物神經網絡到底有多像

zhKF_jqr_AI ? 來源:未知 ? 作者:胡薇 ? 2018-11-17 09:30 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

人工神經網絡機器學習已經成為大眾媒體的熱門主題。智能機器這一想法勾起了很多人的想象,而且人們特別喜歡把它和人類放一起比較。特別是有一個關于人工智能的底層機制的基礎問題經常出現——這些人工神經網絡的工作方式真的和我們大腦中的神經元相似嗎?

Tl;Dr

不。盡管從高層概念上說,ANN(人工神經網絡)受到了大腦中的神經元和神經網絡的啟發,但這些概念的ML實現和大腦的工作方式大有徑庭。不僅如此,隨著這些年來ML領域的進展,新的復雜想法和技術的提出(RNN、GAN等)——這一聯系進一步削弱了。

關鍵相似點

前饋全連接網絡的高層架構和一般原則體現了人工神經網絡和大腦中的神經網絡的相似性。

從高層看,大腦的神經元由三部分組成:

樹突(輸入機制)—— 通過突觸接受輸入的樹狀結構。輸入可能是來自感覺神經細胞的感覺輸入,也可能是來自其他神經細胞的“計算”輸入。單個細胞可以有多達10萬輸入(每個來自不同的細胞)。

胞體(計算機制)—— 細胞體收集所有樹突的輸入,并基于這些信號決定是否激活輸出(脈沖)。這是一個概括性的說法,因為有些計算在傳入胞體前就完成了(在樹突結構中編碼)。

軸突(輸出機制)—— 一旦胞體決定是否激活輸出信號(也就是激活細胞),軸突負責傳輸信號,通過末端的樹狀結構將信號以脈沖連接傳遞給下一層神經元的樹突。

類似地,ANN中也有等價的結構:

輸入連接—— 每個神經元接受一組輸入,或者來自輸入層(等價于感覺輸入),或者來自網絡中前一層的神經元。

線性計算和激活函數—— 這些“累加”輸入,接著非線性地決定是否激活神經元。

輸出連接—— 這些傳遞激活信號至網絡中下一層的神經元。

類似地,卷積神經網絡借鑒了視覺通路。很酷的一件事情是,CNN原本主要借鑒的是架構(對應特定形狀或模式的較小的核/過濾器,每次應用于較小的區域)。然而,多年之后,當ML研究人員開發了新的可視化CNN隱藏層的技術后,人們發現CNN表示圖像的方式和視皮層的層次表示十分類似——從表示簡單模式的第一層開始,較深的層復合出復雜形狀和對象。

可塑性—— 大腦的獨特性質之一,學習和記憶得以成立的關鍵特性。大腦基于經歷創建新的脈沖連接,廢棄舊的脈沖連接,加強或削弱現有的連接。可塑性甚至在單個神經元中起作用——影響它的電磁行為,以及對特定輸入作出回應觸發激活的趨向。

可塑性這一想法是訓練ANN的關鍵原則——基于批次輸入迭代修改網絡參數(權重)。最近,元學習領域的進展將ANN中可塑性的應用范圍從參數拓展到超參數乃至整個模型。

關鍵區別

大腦神經元的復雜性和魯棒性要比人工神經元復雜強大得多。這不僅體現在神經元的數量及每個神經元的樹突數量上——比我們現在的ANN高出若干數量級,還體現在單個神經元的內部復雜性上:和人工神經元相比,神經元的化學和電學機制精細得多,也強健得多。例如,神經元不是零電位差的——細胞的不同區域可能具有不同的電位,有不同的電流通過。這讓單個神經元可以進行非線性運算,識別隨著時間發生的變動(例如,移動的目標),或者將不同的區域并行映射至不同的樹突區域——這樣整個細胞就可以完成復雜的復合任務。和非常簡單的人造神經元相比,這些都是高級很多的結構和能力。

實現—— 大腦中的神經元是以非常復雜和精細的機制實現的,可以進行非常復雜的非線性計算:

信號在神經元突觸間隙中的化學傳播,是通過神經遞質和感受器完成的,并由各種興奮和抑制元素放大。

基于復雜的時空電磁波推斷邏輯,興奮/抑制性突觸后電位構建了動作電位。

離子通道和微電位差控制脈沖的觸發,細胞體中的脈沖將沿著軸突傳播。

大量我們尚未理解的機制……

和這些相比,ANN中使用的參數、權重、線性函數、激活函數十分簡單粗暴。

在此之上,大腦中的神經元的整體架構要比大多數ANN復雜得多,特別是和常見的前饋網絡相比(前饋網絡的每一層只和前一層、后一層連接)。不過,即使是和多層RNN或者殘差網絡相比,大腦中的神經元網絡也是不可思議地復雜,在許多方向上有著數萬跨“層”、跨區域的樹突。

另一方面,大腦不太可能使用反向傳播這樣的方法——基于誤差函數的偏導數上的鏈式法則。

能源消耗—— 大腦是一個極端高效的計算機,差不多十瓦左右,約為單個CPU能耗的三分之一。

GAN、RL、RNN等新進展—— 在ML的理論和應用上,都不斷涌現新的想法和創新。這些都不再基于大腦的工作機制。它們也許受到了大腦的啟發,或者人類行為的啟發,但在許多方面,現在的ML方面的研究和工作過著屬于自己的生活——迎接自身的挑戰,追尋自身的機遇。

大腦是持續的靈感來源

盡管有上面列出的這些不同,ML研究仍然不斷將大腦列為靈感來源,因為大腦比我們現有的計算設備要強健和高效太多。認識人工神經網絡和大腦的差距,以及關于大腦機制的研究,激發了一些最激動人心也最具挑戰性的ML近期研究。例如:

能效—— 如前所述,大腦的神經元和連接數量比我們創建的任何ANN都要大上若干數量級,但它消耗的能量卻要少若干數量級。這是一個很活躍的研究領域,包括基于DNA和其他分子的生物網絡,以及試圖模仿神經元和突觸的神經形態(neuromorphic)電子開關。

從很小的訓練樣本集學習—— 最有可能是通過一些內置的模型,這些模型對物理法則、心理學、因果關系和其他決定地球上的決策和行動的規則有一些“直覺上的”理解。和現有的通用白板神經網絡相比,這些加速了學習,并能指導預測/行動。

釋放無監督學習和強化學習的威力—— 無監督學習和強化學習是AI的“暗能量”。物理上,暗能量占據了我們的宇宙的大部分,而我們對其知之甚少。與此類似,很明顯我們的大腦主要通過無監督學習和強化學習的方式進行學習。而當前的大部分ML應用使用監督學習。解開這一謎題是構建能像人類一樣學習的機器的關鍵。

新的方法和架構。例如,嗅覺背后的神經系統,可以為新的ML方法提供靈感,處理現有方法無法很好應對的一些問題。

最后,這當然不可能是一個全面的答案,明顯還有很多我沒提到的相似性和區別。例如,來自多倫多的Blake Richards做了一個很棒的簡短演講:從一個新穎獨特的角度陳述了大腦和深度學習在原則上的相似性。事實上,這一問題是我們的時代最激動人心、最復雜、進展最快的兩個研究領域的交匯之處,所以你可以期望在未來我們會了解更多。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4838

    瀏覽量

    107768
  • 人工智能
    +關注

    關注

    1817

    文章

    50098

    瀏覽量

    265372

原文標題:人工神經網絡真的像神經元一樣工作嗎?

文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    神經網絡的初步認識

    日常生活中的智能應用都離不開深度學習,而深度學習則依賴于神經網絡的實現。什么是神經網絡神經網絡的核心思想是模仿生物神經系統的結構,特別是大
    的頭像 發表于 12-17 15:05 ?325次閱讀
    <b class='flag-5'>神經網絡</b>的初步認識

    自動駕駛中常提的卷積神經網絡是個啥?

    在自動駕駛領域,經常會聽到卷積神經網絡技術。卷積神經網絡,簡稱為CNN,是一種專門用來處理網格狀數據(比如圖像)的深度學習模型。CNN在圖像處理中尤其常見,因為圖像本身就可以看作是由像素排列成的二維網格。
    的頭像 發表于 11-19 18:15 ?2076次閱讀
    自動駕駛中常提的卷積<b class='flag-5'>神經網絡</b>是個啥?

    CNN卷積神經網絡設計原理及在MCU200T上仿真測試

    數的提出很大程度的解決了BP算法在優化深層神經網絡時的梯度耗散問題。當x&gt;0 時,梯度恒為1,無梯度耗散問題,收斂快;當x&lt;0 時,該層的輸出為0。 CNN
    發表于 10-29 07:49

    NMSIS神經網絡庫使用介紹

    NMSIS NN 軟件庫是一組高效的神經網絡內核,旨在最大限度地提高 Nuclei N 處理器內核上的神經網絡的性能并最??大限度地減少其內存占用。 該庫分為多個功能,每個功能涵蓋特定類別
    發表于 10-29 06:08

    在Ubuntu20.04系統中訓練神經網絡模型的一些經驗

    本帖欲分享在Ubuntu20.04系統中訓練神經網絡模型的一些經驗。我們采用jupyter notebook作為開發IDE,以TensorFlow2為訓練框架,目標是訓練一個手寫數字識別的神經網絡
    發表于 10-22 07:03

    CICC2033神經網絡部署相關操作

    在完成神經網絡量化后,需要將神經網絡部署到硬件加速器上。首先需要將所有權重數據以及輸入數據導入到存儲器內。 在仿真環境下,可將其存于一個文件,并在 Verilog 代碼中通過 readmemh 函數
    發表于 10-20 08:00

    液態神經網絡(LNN):時間連續性與動態適應性的神經網絡

    1.算法簡介液態神經網絡(LiquidNeuralNetworks,LNN)是一種新型的神經網絡架構,其設計理念借鑒自生物神經系統,特別是秀麗隱桿線蟲的
    的頭像 發表于 09-28 10:03 ?1220次閱讀
    液態<b class='flag-5'>神經網絡</b>(LNN):時間連續性與動態適應性的<b class='flag-5'>神經網絡</b>

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+神經形態計算、類腦芯片

    奇妙的突觸結構,多個分支,承載著多個突觸群,使復雜網絡的通信和處理成為可能。 不同的神經網絡 五、自選波類腦芯片 書里的內容越來越燒腦了, 需要不斷的學習才能理解 加油吧少年
    發表于 09-17 16:43

    神經網絡的并行計算與加速技術

    隨著人工智能技術的飛速發展,神經網絡在眾多領域展現出了巨大的潛力和廣泛的應用前景。然而,神經網絡模型的復雜度和規模也在不斷增加,這使得傳統的串行計算方式面臨著巨大的挑戰,如計算速度慢、訓練時間長等
    的頭像 發表于 09-17 13:31 ?1127次閱讀
    <b class='flag-5'>神經網絡</b>的并行計算與加速技術

    基于神經網絡的數字預失真模型解決方案

    在基于神經網絡的數字預失真(DPD)模型中,使用不同的激活函數對整個系統性能和能效何影響?
    的頭像 發表于 08-29 14:01 ?3471次閱讀

    無刷電機小波神經網絡轉子位置檢測方法的研究

    摘要:論文通過對無刷電機數學模型的推導,得出轉角:與三相相電壓之間存在映射關系,因此構建了一個以三相相電壓為輸人,轉角為輸出的小波神經網絡來實現轉角預測,并采用改進遺傳算法來訓練網絡結構與參數,借助
    發表于 06-25 13:06

    神經網絡專家系統在電機故障診斷中的應用

    摘要:針對傳統專家系統不能進行自學習、自適應的問題,本文提出了基于種經網絡專家系統的并步電機故障診斷方法。本文將小波神經網絡和專家系統相結合,充分發揮了二者故障診斷的優點,很大程度上降低了對電機
    發表于 06-16 22:09

    神經網絡RAS在異步電機轉速估計中的仿真研究

    眾多方法中,由于其結構簡單,穩定性好廣泛受到人們的重視,且已被用于產品開發。但是MRAS仍存在在低速區速度估計精度下降和對電動機參數變化非常敏感的問題。本文利用神經網絡的特點,使估計更為簡單、快速
    發表于 06-16 21:54

    基于FPGA搭建神經網絡的步驟解析

    本文的目的是在一個神經網絡已經通過python或者MATLAB訓練好的神經網絡模型,將訓練好的模型的權重和偏置文件以TXT文件格式導出,然后通過python程序將txt文件轉化為coe文件,(coe
    的頭像 發表于 06-03 15:51 ?1210次閱讀
    基于FPGA搭建<b class='flag-5'>神經網絡</b>的步驟解析

    NVIDIA實現神經網絡渲染技術的突破性增強功能

    近日,NVIDIA 宣布了 NVIDIA RTX 神經網絡渲染技術的突破性增強功能。NVIDIA 與微軟合作,將在 4 月的 Microsoft DirectX 預覽版中增加神經網絡著色技術,讓開
    的頭像 發表于 04-07 11:33 ?1177次閱讀