針對金融市場數據量有限性，在投資實踐中，目前一些比較成熟的技術已經可以在大多數情況下很有效地避免“過度擬合”問題。

人工智能（AI）技術在過去一兩年間飛速發展，已成為了許多產業不可或缺的部分。尤其是新年以來嚴峻的新冠疫情中，從社區管理、病征篩查、快速檢測，到病毒傳播模型的估算，新型藥物的開發……許多人突然發現，處處都能見到人工智能的身影。

盡管技術已經越來越普及，但大部分普通民眾對人工智能的感覺依然神秘。比如不少人認為人工智能就是機器學習，這是個不準確的印象。人工智能解決的問題是機器如何可以像人類一樣適應變化、學習、理解和推理的全方位領域，而作為人工智能的一個類別，機器學習主要聚焦在人工智能這一系列目標中“學習能力”方面的研究。

在全球金融投資領域，各種算法模型經過多年來業界積極的研究、試驗，也已逐漸開始成為行業領先的投資機構中量化投資業務的新引擎，而“機器學習”則由于其特殊的算法優勢，成為投資領域最具潛力的新星。

人腦和傳統量化模型的陷阱

雖說是“學習如何像人一樣學習”，其實機器學習的能力和長處其實與人類大腦非常不同，與人類通過數據統計來尋找規律的傳統方法也有很大差異。

人類大腦的一大優勢在于抽象概念，但同時人腦對于概念的理解和判斷往往是模糊的，難以準確量化。這就導致了實際投資中，投資者會陷入“人腦的陷阱”。例如，目前人工智能在投資中用途最常見的是在股票的量化投資中挖掘“因子”。譬如所有投資者都耳熟能詳的“價值股”，大多數基金經理乃至較資深的投資者，都能夠說到股價與市盈率（P/E）、市凈率（P/B）以及股息（dividend）之間存在一定關系。然而如果要進一步精確描述這些“關系”是如何動態結合，其權重分配如何量化，如何作為一個具有統計學意義的投資依據來用，人腦就很難做到了。

更加困難的是，如果要做到“精確描述”，就要加上時間變量，因為在不同的市場狀況下，“價值股”的描述很可能截然不同，如此多維度的準確描述人腦就更加難以勝任了。然而這卻正正是機器學習的長處，機器學習的算法不但能夠十分精確和細致地描述這一抽象概念，更可以不斷隨著市場的時間性變化去實時調整其定義中不同變量的權重，以更加精確的標準來篩選“價值股”。

基于統計學的傳統量化投資模型，能夠通過統計、檢驗大量數據來解決配比權重的問題，但同時又容易陷入另一個陷阱，我們稱之為“線性模型陷阱”。這里指的是傳統模型基于簡單的線性關系的假設往往是不準確的。例如當投資者考慮是否買入一只股票時，“負債率”往往是區分好壞公司的重要考慮因素。然而，“負債率”并不是一個簡單的線性關系——公司的負債率過高，顯然有更大的破產風險；但是公司如果盈利能力正常的情況下，負債率過低則可能沒有充分利用資金的杠桿作用，對公司發展也是不利的。

在這種情況下，公司的盈利能力不錯，債務率適中，顯然才是最優選。這樣的例子在股票投資中不勝枚舉。如果使用統計學的線性模型，我們就會陷入建模不準確的境地，而機器學習的模型則大多是非線性的，就可以避免這個陷阱，更加準確地描述投資中的變量和收益之間的數學關系，找出最優秀的股票標的。

金融投資領域的機器學習

當然，機器學習在股票投資中的應用剛開始不久，離理想境界還非常遙遠，同樣也有自身的陷阱，比如被提及最多的“過度擬合（Overfitting）陷阱”。在過度擬合情況下，機器學習模型并不能對整個數據的分布情況達到正確的估計，導致機器學習得出虛假的“投資規律”，一旦用于樣本以外數據，或是真實的市場場景中就失效了。

機器學習中的不同類型，對于數據量的要求是不一樣的。比如由于谷歌的“阿爾法狗”（Alpha Go）戰勝世界圍棋冠軍而成名的“強化學習”，盡管創下了人工智能“戰勝人類”最高的成績，但我們在研究中已發現，強化學習需要龐大接近無限量的數據，如果用于金融投資領域則非常容易陷入“過度擬合陷阱”，應該盡量避免使用。這是因為“強化學習”要求的數據量非常龐大，然而金融市場數據看似很多，事實上以時間點標記的數量卻非常有限，基本上每一個市場都只有一組時間標注的數據。在如此有限的數據量中，許多機構選擇強化學習模型的嘗試就難以成功。

“過度擬合”是目前機器學習領域不斷在解決和完善的問題，其中也已經形成了不少有效的方法，包括在深度學習中使用“正則化”（regularization）方法，如調整模型的大小和系數，或是將樣本分成多個部分來“交叉驗證”（cross validation）等方式。在投資實踐中，目前這些比較成熟的技術已經可以在大多數情況下很有效地避免過度擬合。針對金融市場數據量的有限性，也可以通過多市場數據回測的方式去解決這一問題。

全球量化投資界在過去幾年間大力擁抱機器學習技術，目前全球部分頂尖的對沖基金已經在大比重運用機器學習篩選投資標的。我們認為，并不僅僅是一次產品或模型的更新換代，而將是一場席卷并徹底改變金融業的深刻革命。

能夠在這場科技革命中脫穎而出的，將是與今天多數業界機構截然不同的，更像一家科技公司的金融機構，能夠聚集大量的科技精英人才，深刻貫徹科研文化，并在投資決策、運營、風控、合規、客戶等領域，全方位運用人工智能技術來運作和管理的新一代金融機構。就在今天，我們已經迎來這個行業的一場最深刻而嚴峻的時代考驗。