反向傳播算法隸屬于深度學(xué)習(xí)，它在解決模型優(yōu)化問(wèn)題的方面有著重要的地位。

這一算法由被譽(yù)為深度學(xué)習(xí)之父的Geoffrey Hinton提出。1986年，他發(fā)表了名為L(zhǎng)earning representations by back-propagating errors" (Rumelhart, Hinton & Williams, Nature, 1986)的論文，到目前為止已有將近16000次的引用，可以說(shuō)是一篇位于神經(jīng)網(wǎng)絡(luò)研究金字塔頂端的論文。

但是，學(xué)界對(duì)這篇代表反向傳播算法的論文卻態(tài)度褒貶不一。反對(duì)的聲音稱，這是一篇有點(diǎn)無(wú)聊的論文，。

本文作者，谷歌Business Insight團(tuán)隊(duì)的數(shù)據(jù)科學(xué)家，Takashi J OZAKI認(rèn)為，1986年的那篇論文的意義，并不單單只是提出了反向傳播，更是“神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)分離，轉(zhuǎn)向機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重大轉(zhuǎn)折。”

他將從這篇論文談起，詳細(xì)的介紹他對(duì)反向傳播算法的看法。

下文是作者以第一人稱論述反向傳播算法的意義，Enjoy！

反向傳播簡(jiǎn)單結(jié)構(gòu)

前不久，@tmaehara 桑在 Twitter 上這樣說(shuō)。

完全搞不懂 back propagation 的原論文有什么創(chuàng)新點(diǎn)… - 原論文感覺(jué)就不過(guò)用鏈?zhǔn)椒▌t先微分然后加上梯度法而已...

原論文：

http://elderlab.yorku.ca/~elder/teaching/cosc6390psyc6225/readings/hinton%201986.pdf

Learning representations by back-propagating errors" (Rumelhart, Hinton & Williams, Nature, 1986) 這篇論文，在 Google Scholar Citation到目前為止已有將近 16000 次的引用，可以說(shuō)是神經(jīng)網(wǎng)絡(luò)研究金字塔頂端的論文。

它在過(guò)去無(wú)法進(jìn)行非線性分割的Rosenblatt的感知機(jī)（perceptron）中，導(dǎo)入了看似有些奇怪的back propagation（反向傳播） 方法，于是讓其變得可進(jìn)行非線性分割。可以說(shuō)是一次范式轉(zhuǎn)移（根本性突破）的研究。

現(xiàn)在被稱為深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)已完全被反向傳播給占據(jù)了。因此或許可以說(shuō)，如果沒(méi)有這篇論文也就不會(huì)有現(xiàn)在的深度學(xué)習(xí)熱潮了。

換句話說(shuō)，現(xiàn)在的人工智能熱潮，正是從30多年前這篇小論文開始的吧。

但是，如果你實(shí)際去讀讀這篇論文就會(huì)發(fā)現(xiàn)，正如 @tmaehara 桑指出來(lái)的一樣，這邊論文本身非常無(wú)聊。就如很多神經(jīng)網(wǎng)絡(luò)教科書里常有的一樣，輕描淡寫般地，用鏈?zhǔn)椒▌t先微分然后用梯度法優(yōu)化，就完了。

讀到這里估計(jì)會(huì)非常疑惑，“為什么這篇無(wú)聊的論文會(huì)占據(jù)金字塔的頂端？”

“Who Invented Backpropagation? (誰(shuí)發(fā)明了反向傳播？)”

Schmidhuber 在批評(píng)文中寫到，早在上世紀(jì)50年代到60年代，在其他領(lǐng)域就有類似想法被提出，甚至70年代還有FORTRAN語(yǔ)言的算法實(shí)現(xiàn)。而對(duì)于這些研究，Rumelhart和Hinton的團(tuán)隊(duì)卻連引用都沒(méi)有，沒(méi)有給予最基本的敬意。這個(gè)指責(zé)在一定程度上確實(shí)有說(shuō)服力。

但是，對(duì)于從最早的感知機(jī)開始到反向傳播，再到深度學(xué)習(xí)的軌跡，我們必須要意識(shí)到的是，那是一個(gè)“和我們現(xiàn)在所考慮的神經(jīng)網(wǎng)絡(luò)完全不同的世界”。

從這個(gè)角度看的話，就會(huì)發(fā)現(xiàn)1986年的那篇論文的意義，并不單單只是提出了反向傳播，更是“神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)分離，轉(zhuǎn)向機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重大轉(zhuǎn)折。”下面，我就基于自己的讀到的一些知識(shí)，簡(jiǎn)單解釋一下。

過(guò)去的神經(jīng)網(wǎng)絡(luò)屬于心理學(xué)與生理學(xué)

1986 年 Nature 的論文意味著神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)的分離

于是向著“模式識(shí)別” “機(jī)器學(xué)習(xí)”轉(zhuǎn)移，后進(jìn)一步成為深度學(xué)習(xí)

現(xiàn)在神經(jīng)網(wǎng)絡(luò)還繼續(xù)沿用“Neural（神經(jīng)）”的理由

過(guò)去的神經(jīng)網(wǎng)絡(luò)屬于心理學(xué)與生理學(xué)

關(guān)于聯(lián)結(jié)主義，很多年輕人或許并不太知道，過(guò)去一提神經(jīng)網(wǎng)絡(luò)就會(huì)想到心理學(xué)家和生理學(xué)家的研究，以及“聯(lián)結(jié)主義”的基本理論。讀讀維基百科上聯(lián)結(jié)主義的詞條也會(huì)明白，本來(lái)神經(jīng)網(wǎng)絡(luò)就是以“模擬人腦的信號(hào)處理”為大前提而建立起來(lái)的體系。

它的方法論，有基于認(rèn)知科學(xué)特有的“人體中（某種程度上的）黑箱化”，還有用符合心理學(xué)的模型來(lái)試圖解釋人類大腦功能的性質(zhì)。簡(jiǎn)單來(lái)說(shuō)，這是支撐神經(jīng)網(wǎng)絡(luò)的心理學(xué)部分。

另一方面，還有以研究與“人腦”連接相關(guān)的生理方面為基礎(chǔ)的，被稱為“計(jì)算神經(jīng)科學(xué)”的東西。這個(gè)讀讀維基百科也知道，其實(shí)就是用符合生理學(xué)的模型來(lái)試圖解釋人類大腦功能。如果說(shuō)聯(lián)結(jié)主義還有神經(jīng)網(wǎng)絡(luò)是一種抽象概念性模型的話，那么可以說(shuō)計(jì)算神經(jīng)科學(xué)是論證人類大腦在多大程度上與神經(jīng)網(wǎng)絡(luò)相似（或者不相似）。

本來(lái)神經(jīng)計(jì)算學(xué)就不僅僅只考慮像神經(jīng)網(wǎng)絡(luò)這樣大腦的神經(jīng)模型，它還研究諸如神經(jīng)元放電模式代表什么信息這樣的“神經(jīng)活動(dòng)解釋”類的課題，有必要特別指出計(jì)算神經(jīng)科學(xué)其實(shí)是個(gè)很大的領(lǐng)域。簡(jiǎn)單來(lái)說(shuō)，這是支撐神經(jīng)網(wǎng)絡(luò)的生理學(xué)部分。

其實(shí)不管是上面哪種情況，都在某種程度上假設(shè)了“神經(jīng)網(wǎng)絡(luò)=人腦的模仿”。在我看來(lái)，至少到 2000 年左右，都還有人認(rèn)為神經(jīng)網(wǎng)絡(luò)和人腦的關(guān)系是密不可分的。然而神經(jīng)網(wǎng)絡(luò)給我的印象是，其源自生理學(xué)或心理學(xué)，而后再?gòu)墓こ虒W(xué)和計(jì)算機(jī)科學(xué)的視角進(jìn)行了二次解讀。

于是乎，比如說(shuō)神經(jīng)網(wǎng)絡(luò)原型的感知機(jī)，最初就被認(rèn)為是基于形式神經(jīng)元的人腦（特別是小腦）學(xué)習(xí)模型。而且它的構(gòu)造也和實(shí)際的小腦的生理學(xué)構(gòu)造確實(shí)挺像，現(xiàn)在都還作為聯(lián)結(jié)主義和計(jì)算神經(jīng)科學(xué)的重要范例之一，被記載在比如維基百科的許多文獻(xiàn)上。

順便一提，現(xiàn)在作為機(jī)器學(xué)習(xí)年度峰會(huì)而變得有名的頂級(jí)會(huì)議 NIPS ，也如它全名 Conference on Neural Information Processing Systems （神經(jīng)信息處理系統(tǒng)大會(huì)）一般，過(guò)去主要是計(jì)算神經(jīng)科學(xué)的會(huì)議。

比如說(shuō)看看1990年該會(huì)的記錄，絕對(duì)是現(xiàn)在完全想象不到的，基本大多都是關(guān)于真正人腦的研究。其實(shí)我在理研 BSI（理化學(xué)研究所—腦科學(xué)綜合研究中心）還是菜鳥研究員的時(shí)候，實(shí)驗(yàn)室就是以“神經(jīng)元放電活動(dòng)的同步”為其中一個(gè)研究主題，所以我也就對(duì)這方面也有些了解，于是看 NIPS 當(dāng)時(shí)的記錄發(fā)現(xiàn)，剛才說(shuō)的神經(jīng)元放電活動(dòng)的建模論文也都有些。所以可見，過(guò)去的神經(jīng)網(wǎng)絡(luò)就是如此帶有“濃濃心理學(xué)（認(rèn)知科學(xué)）和生理學(xué)味”的東西。

于是不可避免的，過(guò)去在研究神經(jīng)網(wǎng)絡(luò)時(shí)，總會(huì)想“不管是什么樣的新方法，一定也要遵循心理學(xué)或生理學(xué)”，而這無(wú)形中形成了一種制約。

當(dāng)然，這只是我個(gè)人的一些推測(cè)。但實(shí)際上，我還是神經(jīng)科學(xué)領(lǐng)域菜鳥研究員的時(shí)候也有這種心理，在讀各種關(guān)于人認(rèn)知機(jī)能的計(jì)算理論模型論文時(shí)，會(huì)邊讀邊腦補(bǔ)上“嗯嗯，這篇論文有生理學(xué)的依據(jù)，所以很可靠。”就連視覺(jué)神經(jīng)科學(xué)研究的大佬 Zeki 也在其寫的經(jīng)典大作《A Vsion of the Brain》中嚴(yán)厲批評(píng)，“David Marr 的視覺(jué)信息處理模型沒(méi)有什么生理學(xué)依據(jù)，所以沒(méi)啥用。”由此也可見當(dāng)時(shí)對(duì)生理學(xué)根據(jù)有無(wú)的重視。

此外，如果讀讀我年輕時(shí)這方面的經(jīng)典著作《脳の計(jì)算理論 （腦的計(jì)算理論）》，就能深刻體會(huì)到當(dāng)時(shí)的氛圍。不過(guò)這本書已經(jīng)絕版了，很難入手。

1986 年 Nature 的論文意味著神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)的分離

在這樣一個(gè)神經(jīng)網(wǎng)絡(luò)和心理學(xué)還有生理學(xué)不可分的時(shí)候，正是開頭提到的那篇1986年的Nature論文橫空出現(xiàn)，將神經(jīng)網(wǎng)絡(luò)從中拉了出來(lái)。

如果對(duì)神經(jīng)科學(xué)有些了解的人，可能知道就連神經(jīng)科學(xué)中，關(guān)于對(duì)等反向傳播的“大腦皮質(zhì)內(nèi)從高階區(qū)域向低階區(qū)域的反饋信號(hào)”意義的討論本身，其實(shí)也是2000年前后沒(méi)那么久之前的事情了。從2000年再往前推14年的話，說(shuō)不定議論反向傳播人們只會(huì)把你當(dāng)成怪人。

于是這樣，在“這東西不管怎么看也找不到什么生理學(xué)的依據(jù)”的情況下提出反向傳播，對(duì)生理學(xué)根據(jù)基本無(wú)視，提出具有范式轉(zhuǎn)移的反向傳播機(jī)制，還有配套的梯度法進(jìn)行最優(yōu)化，并向大家展示了其強(qiáng)大的實(shí)用性。這，才是我個(gè)人認(rèn)為1986年 Nature 論文最大的意義。

在最后結(jié)論部分，Nature 論文給出了這樣的總結(jié)：

這樣的學(xué)習(xí)方法，似乎并不是大腦學(xué)習(xí)的一種合理模型。然而，將這個(gè)方法應(yīng)用在各種各樣的任務(wù)上后顯示，通過(guò)權(quán)重空間的梯度下降，可以構(gòu)建出很有趣的內(nèi)部表征。這表明，很值得在神經(jīng)網(wǎng)絡(luò)中找出更有生理可行性的方法來(lái)進(jìn)行梯度下降。

這里直接坦言“雖然反向傳播沒(méi)有生理學(xué)依據(jù)，但很有用”。從另一個(gè)角度來(lái)看的話，說(shuō)不定這就是神經(jīng)網(wǎng)絡(luò)從不得不有心理學(xué)或生理學(xué)證據(jù)的枷鎖中，掙脫的第一步呢。

而且提出這樣重要觀點(diǎn)的，還不是像應(yīng)用數(shù)學(xué)或計(jì)算機(jī)工程學(xué)這樣的“外人”，而是聯(lián)結(jié)主義中支柱般存在的 Rumelhart 和 Hinton 二人，這樣看來(lái)無(wú)疑意義更加偉大。并且，雖然Hinton老師現(xiàn)在被認(rèn)為是深度學(xué)習(xí)的三始祖之一，還是神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的大牛，但看看維基百科的話就會(huì)發(fā)現(xiàn)，他本來(lái)其實(shí)是認(rèn)知心理學(xué)家（Rumelhart 也一樣）。

當(dāng)然，并不是說(shuō)這之后神經(jīng)網(wǎng)絡(luò)就完全和心理學(xué)生理學(xué)分離了，至少看文獻(xiàn)的話大概在2000年之前，仍被納入聯(lián)結(jié)主義中去。但是，根據(jù)已明確表示出來(lái)的，神經(jīng)網(wǎng)絡(luò)不一定要依賴心理學(xué)和生理學(xué)的趨勢(shì)，未來(lái)將會(huì)更徹底從心理學(xué)生理學(xué)還有聯(lián)結(jié)主義中分離出來(lái)吧。

向著“模式識(shí)別” “機(jī)器學(xué)習(xí)”轉(zhuǎn)移，之后進(jìn)一步成為深度學(xué)習(xí)

我本科雖然是計(jì)算機(jī)科學(xué)的學(xué)生，但在1999年時(shí)卻記得“機(jī)器學(xué)習(xí)”這個(gè)詞并不常見。用的更多的是“模式識(shí)別”這個(gè)詞。作為參考，看了看維基百科“Pattern recognition”的詞條，發(fā)現(xiàn)引用里面果然大部分都是在2000年前后，和我當(dāng)時(shí)的印象一致。

順便一提，這是我本科時(shí)上課用到的經(jīng)典教科書（《好懂的模式識(shí)別》）。現(xiàn)在看來(lái)似乎這本書的續(xù)篇更加有名，但這本書還是將模式識(shí)別基本的東西都提到了，是本挺好的入門書。

這本書當(dāng)然也提到了神經(jīng)網(wǎng)絡(luò)和反向傳播。此外，過(guò)去神經(jīng)科學(xué)等教科書上提到神經(jīng)網(wǎng)絡(luò)時(shí)，一定會(huì)提到從小腦與感知機(jī)的異同到神經(jīng)網(wǎng)絡(luò)的各種歷史，而這本書卻沒(méi)對(duì)這方面花太大篇幅。

此外，就如其他各種有名教科書一樣，反而是以如何基于鏈?zhǔn)椒▌t導(dǎo)出反向傳播，還有如何實(shí)現(xiàn)它為主來(lái)說(shuō)明。順便一提，我最初開始數(shù)據(jù)科學(xué)家的工作時(shí)，就是從書架上抽出這本書，一邊看著梯度法的公式，一邊從零實(shí)現(xiàn)反向傳播算法。

正如2000年左右，神經(jīng)網(wǎng)絡(luò)已被看做脫離了心理學(xué)和生理學(xué)范疇的“模式識(shí)別”的一種。之后和“機(jī)器學(xué)習(xí)”的成功一起被看做是統(tǒng)計(jì)學(xué)習(xí)模型的一種，再然后是2006年Hinton老師的Science論文，還有就是通過(guò)2012年的 ImageNet Challenge，神經(jīng)網(wǎng)絡(luò)和它的終極形態(tài)深度學(xué)習(xí)，慢慢以機(jī)器學(xué)習(xí)王者的姿態(tài)穩(wěn)居寶座之上。

現(xiàn)在的神經(jīng)網(wǎng)絡(luò)研究，有著各種奇思妙想的網(wǎng)絡(luò)模型層出不窮“我想出來(lái)的網(wǎng)絡(luò)才是最好的”亂況，還有不斷引入最先端的最優(yōu)化解法，和利用過(guò)去完全想象不到的超大規(guī)模并行處理運(yùn)行的進(jìn)步，此外也有單作為數(shù)學(xué)理論分析對(duì)象和作為發(fā)現(xiàn)新物體性質(zhì)的應(yīng)用研究手段等等。神經(jīng)網(wǎng)絡(luò)簡(jiǎn)直慢慢成了將工程學(xué)和計(jì)算機(jī)科學(xué)各流派精粹集中在一起的天下第一武道大會(huì)。

順帶一提，維基百科日文版的“神經(jīng)網(wǎng)絡(luò)”詞條中，也有類似的描述。

Neural Network（神經(jīng)網(wǎng)絡(luò)，縮寫：NN）是一種數(shù)學(xué)模型，旨在通過(guò)計(jì)算機(jī)模擬表達(dá)腦功能中的一些特征。雖然研究起源于對(duì)生物體大腦的建模，但由于對(duì)神經(jīng)科學(xué)看法的改變，逐漸與大腦模型的差異變得顯著。為了區(qū)分于生物學(xué)和神經(jīng)科學(xué)上的神經(jīng)網(wǎng)絡(luò)，所以也稱為人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)（ANN）或聯(lián)結(jié)主義系統(tǒng)，是大致由構(gòu)成動(dòng)物大腦的生物神經(jīng)網(wǎng)絡(luò)啟發(fā)的計(jì)算系統(tǒng)，人工神經(jīng)網(wǎng)絡(luò)最初的目的是想像人腦一樣解決問(wèn)題。但隨著時(shí)間的推移，注意力重點(diǎn)開始轉(zhuǎn)移到了執(zhí)行特定任務(wù)上去，導(dǎo)致了從生物學(xué)的偏離。

這里明確表達(dá)了類似“神經(jīng)網(wǎng)絡(luò)已經(jīng)脫離了人腦本身”的看法。距離1986年的Nature論文過(guò)去32年，神經(jīng)網(wǎng)絡(luò)現(xiàn)在已慢慢遠(yuǎn)離聯(lián)結(jié)主義的起源，開始成為了大家公認(rèn)的機(jī)器學(xué)習(xí)王者。

雖然開頭那句話已說(shuō)了很多遍了，但是還是要重復(fù)一遍：“產(chǎn)生了讓神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)分離，并向著機(jī)器學(xué)習(xí)方向轉(zhuǎn)移的契機(jī)”，才是1986年那篇 Nature 論文的最大意義。這便是我翻閱神經(jīng)網(wǎng)絡(luò)歷史后得出的感想。

現(xiàn)在神經(jīng)網(wǎng)絡(luò)還繼續(xù)沿用“神經(jīng)”的理由

順帶一提，過(guò)去作為討論神經(jīng)信息處理頂級(jí)會(huì)議的 NIPS，維基百科英文版最近的描述也已發(fā)生巨大的轉(zhuǎn)變。

該會(huì)議在2016年有5,000名注冊(cè)參與者，2017年有8,000名，使其成為人工智能領(lǐng)域最大的會(huì)議。除了機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)，NIPS 涉及的其他領(lǐng)域包括認(rèn)知科學(xué)，心理學(xué)，計(jì)算機(jī)視覺(jué)，統(tǒng)計(jì)語(yǔ)言學(xué)和信息論。

雖然NIPS首字母縮寫中的“神經(jīng)”已成為一種歷史殘留物，但自2012年后深度學(xué)習(xí)的復(fù)興，加上高速計(jì)算機(jī)和大數(shù)據(jù)的推動(dòng)，在語(yǔ)音識(shí)別，圖像物體識(shí)別，語(yǔ)言翻譯等領(lǐng)域取得驚人的成果。

上面毫不客氣地直接寫到“NIPS 首字母縮寫中的“神經(jīng)”已成了一種歷史殘留物”。其實(shí)2013年去太浩湖參加那年的 NIPS 時(shí)，雖然其中還有部分關(guān)于神經(jīng)活動(dòng)信號(hào)數(shù)據(jù)分析的研究，好像“神經(jīng)”尚還健在，但更多還是與深度學(xué)習(xí)相關(guān)的研究。

此后就變得更加多了。

在圍棋中的世界冠軍級(jí)表現(xiàn)，是基于靈感來(lái)自視覺(jué)皮層（ConvNet）的層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，和受基礎(chǔ)神經(jīng)節(jié)啟發(fā)（時(shí)間差分學(xué)習(xí)）的強(qiáng)化學(xué)習(xí)。

還有“盡管如此，受大腦啟發(fā)的神經(jīng)網(wǎng)絡(luò)（和其綜合運(yùn)用）還是有很大的應(yīng)用可能性”，我同意這一點(diǎn)。 而且我還認(rèn)為正因?yàn)檫@點(diǎn)，即使在已不把模仿人腦當(dāng)做目標(biāo)的現(xiàn)在，神經(jīng)網(wǎng)絡(luò)還繼續(xù)沿用“神經(jīng)”這個(gè)詞。

最后

關(guān)于2000年以前的情況，大都是從我碰巧同時(shí)學(xué)過(guò)的神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)的經(jīng)驗(yàn)，還有各種文獻(xiàn)中參考而得出來(lái)的。當(dāng)然我自身并沒(méi)有在那個(gè)時(shí)代去體驗(yàn)這些。如果在文章中關(guān)于事件關(guān)系還有解釋中發(fā)現(xiàn)錯(cuò)誤的話，非常高興你能指出來(lái)m(_ _)m。

引用

* 1：我認(rèn)為這是當(dāng)然后續(xù)ImageNet挑戰(zhàn)的必要的科學(xué)論文在2006年和2012年韓丁老師

* 2：但是出汗這么多，有些不再手頭放手是在書本

* 3：但是，這篇文章略有惡意描述，所以要小心處理

* 4：小腦感知理論也有過(guò)早死亡的天才戴維·馬爾在35歲提出的事實(shí)，似乎經(jīng)常談到今天著名的成功故事

* 5：例如https://papers.nips.cc/paper/421-analog-computation-at-a-critical-point-a-novel-function-for-neuronal-oscillations.pdf如該側(cè)

* 6：肯定有2和1/2維草圖模型

* 7：在已知為具有分層結(jié)構(gòu)，諸如各種類型的感官字段的位點(diǎn)的特定功能的神經(jīng)解剖學(xué)

* 8：（神經(jīng)科學(xué)的趨勢(shì)，2000年）Lamme和Roelfsema是我反復(fù)讀畢業(yè)論文的學(xué)生當(dāng)時(shí)http://www.kylemathewson.com/wp-content/uploads/2010/03/LammeRoelfsema-2000-TiN-Reentrant- Vision.pdf

* 9：例如，在“神經(jīng)元的活動(dòng)，并在皮層區(qū)域的皮層之間的層次之間的反饋投影的關(guān)系”的一個(gè)評(píng)論性論文將保持，直到2000年左右，多少回https://www.ncbi.nlm.nih.gov/考研/？長(zhǎng)期=審查+％5Bptyp％5D +反饋+％5Bti％5D +神經(jīng)元+皮質(zhì)

* 10：因?yàn)檫@是某次研究會(huì)議的主要內(nèi)容

* 11：沒(méi)有比標(biāo)題更容易理解的印象。

* 12：最后的程度，英國(guó)石油公司在情節(jié)提出感知批評(píng)和魯梅哈特由明斯基辯駁的歷史故事是休息時(shí)間出來(lái)

* 13：對(duì)于首次提出在SVM是1963年，因?yàn)閿U(kuò)展是由是92年到非線性SVM Vapnik等例子老板，居然之嫌“機(jī)器學(xué)習(xí)”作為工程領(lǐng)域很久以前就是我正在發(fā)芽