不管是初學者還是大魔王，只要浸潤過數(shù)據(jù)科學和機器學習界，那么對于Kaggle一定不陌生。各路英豪在這個平臺上實戰(zhàn)練習、膜拜大神、打怪升級，用某個媒體人的一句話，“簡而言之，Kaggle 是玩數(shù)據(jù)、機器學習的開發(fā)者們展示功力、揚名立萬的江湖。”

為什么有這么多的數(shù)據(jù)科學家會在Kaggle花這么多的時間？kaggle最著名的就是競賽了，那么具體的競賽怎么做呢？

1 月 19 日，作為Kaggle的由聯(lián)合創(chuàng)始人、首席執(zhí)行官Anthony Goldbloom在“全球新興科技峰會”中，回答了這兩個問題。

以下Anthony Goldbloom的最新演講，文摘菌做了有刪改的整理~

Kaggle聚集了大量的機器學習的專家以及大數(shù)據(jù)的專家最，截止到目前為止，差不多是有250萬人了，在演講的最開始，首先介紹一下我們在kaggle的工作。然后給大家說一下我們在kaggle學到的一些經(jīng)驗。

具體的競賽怎么做

在Kaggle里面，我們做好幾項不同的工作，分別是：競賽、電腦的數(shù)據(jù)環(huán)境以及數(shù)據(jù)組的共享空間。

我們具體的競賽怎么做呢？首先就是有公司會在我們的網(wǎng)站上面提出一個問題，解決這個問題會有獎金。

有一些獎金還是非常高的。例如上圖，第一個是美國國土安全部，他們希望用算法能夠幫助識別是否有人攜帶了武器，或者是攜帶其他的一些禁帶品，他們希望這個算法更加的精準一些。這非常重要，因為過篩率如果太低，就意味著效率會變的非常的低。所以，他們是希望能夠增加效率。

第二個是Zillow，Zillow其實就是在它的網(wǎng)站上面可以輸入自己地址，然后根據(jù)房子里面有多少的臥室，多大的房間，有多少個浴室等估算房子價值。

Zillow那個競賽，一開始他們可能和實際的房價是差了20%，然后呢，他們慢慢的調(diào)了一下算法，越來越接近正常價格。

更好的算法能夠幫助他們找到正常的價格。為了解決這個問題，他們愿意提供超過100萬美元做獎金。

其他的競賽項目，獎金就沒有這么多了，但是大家可以看得出來，越來越多的公司非常重視AI以及這樣的算法。

還有衛(wèi)星圖像的競賽，還有關于森林大火或者是森林減少率的圖像分析的大賽。

所以說，在kaggle里有各種各樣的問題，包括不同的行業(yè)、不同的方面，這里面非常有意思的一點，就是所有的問題，都可以用差不多的方法來進行解決。當我們有兩個數(shù)據(jù)集的時候，一個是訓練集，一個是測試集，兩者是完全不同的。訓練集可以看到結(jié)果，測試集看不到結(jié)果。

測試組將采用類似的數(shù)據(jù)，這樣的測試組可以幫助我們看一下算法是不是能夠達到我們的預期值。對比不同的算法結(jié)果，我們也會把不同結(jié)果的對比進行公開。

對比提升算法準確率

所以說大家可以看到，大家如果能夠把自己的結(jié)果進行對比的話，會有更多的激勵，會把自己的算法調(diào)整的更好。

之前給大家說到的Zillow，一開始的準確率還差15%，最后準確率只差了5%。是不是5%就沒有辦法突破了，或者我們需要調(diào)整一些技術來彌補這5%。然后公司就會推出相關的競賽，找到到底是什么原因，有沒有辦法突破最后的界限。

現(xiàn)在很多的公司也非常看重AI，一方面幫助他們解決問題，另一方面幫助他們找到人才。我們每半年都會有競賽，我們和airbnb、Facebook聯(lián)合組織相關的競賽，幫他們找到相關的人才。

所以說，分享和學習是非常重要的，比如說你在競賽里面的排名是15名。通過公開你可以知道第一名到底怎么做的以及第一名用采用的技術。有了這些，你在下次競賽的時候就可以學習第一名所使用的技術了。

因為這里面有很多不同的人，這些人有可能是讀AI的博士，或者有其他的一些業(yè)余選手。但不管是什么人，他都可以在這上面展示自己。

現(xiàn)在中國已經(jīng)在社區(qū)里面規(guī)模排到第三了，第一是美國，第二大是印度。我們可以看到，有很多非常出色的競爭者都來自于中國。

Kaggle競賽解決實際問題

為什么人們會競賽，為什么公司會在kaggle網(wǎng)站上面放一些問題？

首先，競賽非常重要，雖然說所有的網(wǎng)站都是深度學習，深度學習其實是在整個AI當中所使用的是比較小的數(shù)據(jù)組。

但對于這些問題來講，那些小的數(shù)據(jù)組能解決的問題，傳統(tǒng)的工具也可以幫助我們解決。但不管怎樣，我們一開始必須要從不同的方面進行數(shù)據(jù)的探索，比如說我們會用數(shù)據(jù)繪制圖標，所以說我們可以非常深入的了解數(shù)據(jù)。

在競賽里面，人們第二步就是假設，數(shù)據(jù)之間的假設，例如在預測車銷量的競賽中，最主要的是用算法預測哪一個車可能會賣的更好。

其中有一個非常重要的因素是顏色，我們有兩類：常規(guī)顏色以及非常規(guī)顏色。非常規(guī)顏色的車會比較好賣，因為根據(jù)這個假設買二手車的人可能會更喜歡一些比較另類的車，并且更愛保養(yǎng)。

通過這樣的一種算法，我們也會進行頭腦風暴，可以幫助我們更好的搜集不同方式或者不同方向的數(shù)據(jù)。

另外，我們進行調(diào)參，我們在進行數(shù)據(jù)的設計之后，再次把數(shù)據(jù)放在一個數(shù)據(jù)庫當中，再進行分類、調(diào)參和模型融合。

其實，技術也是非常重要的，所謂的深度學習，也是競賽者經(jīng)常使用的技術。例如在圖像的識別當中，經(jīng)常使用的卷積神經(jīng)網(wǎng)絡技術，比如說衛(wèi)星圖像還有醫(yī)學圖像、自動駕駛也經(jīng)常使用。

遷移學習解決小樣本問題

即便說是數(shù)據(jù)庫比較小的，但是我們做的還是非常的好，就是因為我們有所謂的遷移學習，也就是說我們可以把一系列的學習成果轉(zhuǎn)移到其他更大范圍的規(guī)模上。

這個學習的結(jié)果得到了轉(zhuǎn)移之后，我們在進行一些調(diào)參，即便是有一些比較小的原始的數(shù)據(jù)組，比如說對于醫(yī)學的圖像，最后這個建立的模型也還是非常準確的，也可以幫助我們進行更好的應用。

另外，我們發(fā)現(xiàn)深度學習在其他的領域也做的更好，比如說現(xiàn)在我們的神經(jīng)網(wǎng)絡做的非常得的好，比如利用卷積神經(jīng)網(wǎng)絡分析醫(yī)療圖像，我們也是讓競賽者推斷這個圖片，去推斷這個人是不是有癲癇或者是有相關的一些病癥。

另外還有就是文本，因為文本有序列，一個字之后又是一個字，所以說這也可通過神經(jīng)網(wǎng)絡進行分析，所以說，我們在很多的問題解決方面，要判斷有哪些技術是可以應用的，哪些技術是比較擅長的。

Kaggle競賽中最重要的特征

特征一：我們發(fā)現(xiàn)我們的這些競賽者都是非常有創(chuàng)造性的一群主體，競賽中有一些問題是需要對特征進行相關的工程設計，所以說，在我們進行神經(jīng)學習的時候，需要一些小辦法來尋求幫助，判斷看這個方法是不是管用，這個方法是不是能夠提高效率，從而能夠幫助我們把整體的效率提升。

特征二：我們競賽者都是非常的重視如何對自己的模型進行測試的，大家建模之后會進行測試，然后在進行調(diào)參，進行改進......

在模型訓練完成之后，進入測試階段，做法是把用過的數(shù)據(jù)全部“扔掉”。然后用新的數(shù)據(jù)進行檢驗，也就是說我們要保證我們的算法不單單只是在原始數(shù)據(jù)上面可以做出準確的預測，而且在全新的數(shù)據(jù)面也可以做同樣的結(jié)果。所以說，我們在進行模型的測試的時候，整體的過程是非常嚴苛的。

特征三：大家的編程能力非常棒。版本的控制是非常重要的，其實對版本的控制就能夠意味著我們可以知道哪些版本更高效，哪些不能夠奏效，其實在軟件的這個領域當中，很多的數(shù)據(jù)科學家以及機器學習的專家都會使用各種辦法來進行管理，所以說他們就會知道自己在代碼在每個版本之間會有不同。

而且這也是非常重要的一個信息，讓他們知道到底哪個版本是能夠非常好的運作，哪些不太好。