近日，谷歌人工智能學(xué)者Denny Britz發(fā)表了一篇文章《Building AI Trading Systems》，對其使用強(qiáng)化學(xué)習(xí)技術(shù)，學(xué)習(xí)如何構(gòu)建有利可圖的算法交易系統(tǒng)的經(jīng)驗進(jìn)行了總結(jié)。

Denny表示，人工智能的優(yōu)勢顯而易見，但是也不能忽視良好的基礎(chǔ)設(shè)施：市場、數(shù)據(jù)、延遲、模型、執(zhí)行，必不可少；同時，強(qiáng)化學(xué)習(xí)比監(jiān)督學(xué)習(xí)難度要小些。

原文如下：

人工智能已經(jīng)相當(dāng)商品化了，它比優(yōu)秀的基礎(chǔ)設(shè)施工程、數(shù)據(jù)收集或領(lǐng)域知識的歸納偏差更商品化。現(xiàn)在，你可以輕松下載最先進(jìn)的模型，并在你的數(shù)據(jù)上運(yùn)行它們。除非你處于相關(guān)研究的前沿，否則不太可能僅僅通過訓(xùn)練一個好的模型就獲得顯著優(yōu)勢。

當(dāng)人們意識到他們的花哨的人工智能模型是建立在蹩腳的基礎(chǔ)設(shè)施上，用蹩腳的數(shù)據(jù)（同時也被其他人使用）訓(xùn)練不起作用時，他們就會放棄。

人工智能可以給你一些優(yōu)勢，但這些優(yōu)勢沒有好到讓你忽略其他因素。你仍然需要構(gòu)建良好的基礎(chǔ)設(shè)施、獲取良好的數(shù)據(jù)、適當(dāng)?shù)难舆t等等。

很少有人愿意花時間在這些事情上。每一個因素都是乘數(shù)，如果某一個因素為零，那你的AI模型多好都沒有用。

那么，其他的因素是什么呢？

市場——選擇正確的市場進(jìn)行交易。不要隨大流，選擇每個人都默認(rèn)選擇的。從法律上和技術(shù)上進(jìn)入市場越難，發(fā)現(xiàn)機(jī)會的可能性就越大。流動性較弱的市場可能無法被成熟的基金所忽視，因為它們無法適應(yīng)其資產(chǎn)管理規(guī)模。同樣，這對于追求“優(yōu)質(zhì)API”的工程師通常是違反直覺的——優(yōu)質(zhì)API通常意味著受歡迎，流行通常意味著商品化。

數(shù)據(jù)——考慮其他人無法訪問或不愿使用的數(shù)據(jù)源。例如，由于復(fù)雜的速率限制和IP禁令，可能存在難以抓取的數(shù)據(jù)。大多數(shù)人會在這里放棄，但這是你的一個機(jī)會，要對流行的API和開源軟件持懷疑態(tài)度，所有人使用的數(shù)據(jù)都是一樣的。

延遲——你可能不打算與HFT交易員競爭，但這并不意味著你可以完全忽略延遲。好的延遲能使執(zhí)行更容易以及更少的滑點(diǎn)。要注意在何處托管系統(tǒng)、如何發(fā)送數(shù)據(jù)、如何序列化數(shù)據(jù)等等。

模型——一般來說，好的數(shù)據(jù)比好的模型更重要，但是更好的模型也能給你帶來優(yōu)勢。注意，你經(jīng)常在模型復(fù)雜性和延遲之間進(jìn)行權(quán)衡。

執(zhí)行力——如果不能執(zhí)行，好的模型就沒有多大意義。你收集的歷史數(shù)據(jù)可能和交易所實際發(fā)生的情況看起來很不一樣，直到開始交易，你才會知道實際發(fā)生的情況。

強(qiáng)化學(xué)習(xí)

在上一篇文章發(fā)表兩年之后，我還認(rèn)為強(qiáng)化學(xué)習(xí)是市場交易的正確方法。然而，我承認(rèn)，在工作時很多技巧工也是必要的。

強(qiáng)化學(xué)習(xí)的主要好處是您不需要設(shè)置可區(qū)分的損失函數(shù)。相反，你可以在某個時間范圍內(nèi)直接優(yōu)化盈虧。通過建立良好的仿真，模型可以學(xué)習(xí)到對延遲、抖動、滑點(diǎn)以及實際市場中可能發(fā)生的其他情況的魯棒性。

在監(jiān)督學(xué)習(xí)中，這就困難多了。你需要獲得許多超參數(shù)才能得到“剛剛好”——什么時間范圍優(yōu)化？要優(yōu)化什么？如何處理由于延遲、被拒絕的訂單、API問題等引起的隨機(jī)情況？如何處理非iid數(shù)據(jù)等等。

我相信如果你努力的話可以做到，但是依靠基于仿真的方法似乎是更有原則的解決方案。

我也相信市場模擬是一個很好的強(qiáng)化學(xué)習(xí)算法的測試平臺。它有著今天許多技術(shù)都難以克服的特性：

稀疏的積極反饋。在隨機(jī)探索和獎勵的情況下，你很難發(fā)現(xiàn)發(fā)現(xiàn)好的政策。

需要?dú)w納到未來的日期。在RL中，研究者“對訓(xùn)練集進(jìn)行測試”時，往往忽略了泛化。

有了一個好的模擬器，環(huán)境就可以以延遲、抖動、API問題、滑點(diǎn)等形式提供許多隨機(jī)性。

非平穩(wěn)性。市場數(shù)據(jù)分布隨時間變化，agent必須學(xué)會處理它。

觀察到的低信噪比。

優(yōu)化迭代速度

由于其他agent會適應(yīng)你的策略，因此大多數(shù)效率低下的問題都會轉(zhuǎn)瞬即逝，這些問題會根據(jù)你交易的地點(diǎn)和方式，可能持續(xù)幾毫秒、幾秒、幾分鐘、幾小時、幾天、幾周或幾個月。

持續(xù)盈利的方法就是始終善于發(fā)現(xiàn)稍縱即逝的機(jī)會。這基本上就是元學(xué)習(xí)。

訓(xùn)練模型時優(yōu)化外循環(huán)速度，在發(fā)現(xiàn)新策略和調(diào)整模型和基礎(chǔ)設(shè)施方面，迭代的速度越快，效果就越好。圍繞這一點(diǎn)構(gòu)建基礎(chǔ)設(shè)施。

查詢和加載批量歷史數(shù)據(jù)來處理要盡可能快一點(diǎn)。要特別注意反序列化的成本。在使用匹配引擎構(gòu)建市場模擬器時，要對其進(jìn)行廣泛的基準(zhǔn)測試。

最小化RPC和網(wǎng)絡(luò)往返。我們這里討論的是數(shù)量級。我最近的一個模擬器比第一個模擬器快了約50倍。

由于模型是在仿真中訓(xùn)練的，這意味著在訓(xùn)練時迭代速度快了50倍。

自動化數(shù)據(jù)可視化，這樣當(dāng)您得到意想不到的結(jié)果時，就可以很容易地查看它們。

當(dāng)市場下跌時你無法賺錢

我從不太了解交易的人那里聽到一個常見的論點(diǎn)和誤解——我很幸運(yùn)，因為市場上漲而獲利。

實際上，好幾個月以來，我的PnL圖表看起來是這樣的：

那么，我是否只是做空資產(chǎn)？不，我沒有做空任何事情，因為在我所交易的市場中不可能做空。市場很少會一直下跌。當(dāng)人們說市場下跌時，他們說的是一個特定的時間范圍。市場可能在每日或每小時的范圍內(nèi)上呈下降趨勢。

這并不意味著在更短的時間尺度上只有向下的運(yùn)動。它可能會有相當(dāng)大的波動。一旦你開始放大到秒和毫秒，總是會有上升和下降，仍然有可能從中獲利，而無需做空任何東西。

就個人而言，在下降趨勢（按小時或每天的比例）期間，我總是賺得更多。我仍然不知道為什么會這樣。可能是因為市場那邊有更多的流動性，或者是因為當(dāng)價格開始下跌時，有很多不知情的交易員提交幼稚的指令進(jìn)入市場。

了解交易

如果向來自不同背景的十幾個交易員提出相同的問題，那你會得到十幾個不同的意見。

請注意，我使用的是“意見”一詞，而不是答案或事實。由于交易是一個秘密領(lǐng)域，因此很少有被廣泛接受的真理。

人們沒有相同的背景知識，他們在不同的地方使用不同的術(shù)語。如果你想學(xué)習(xí)交易，這很難。我不知道有什么在線資源能很好地教授算法交易。

你在網(wǎng)上找到的大多數(shù)課程和教程都是大師們寫的——他們通過教學(xué)賺錢，但自己從來沒有建立過一個盈利的系統(tǒng)。他們可能會向你推銷他們的SaaS產(chǎn)品。

研究論文也是如此。我訂閱了arXiv的q-fin，但與機(jī)器學(xué)習(xí)等領(lǐng)域相比，其質(zhì)量比較低。偶爾也會有一些有趣的點(diǎn)子，但絕大多數(shù)都是人們?yōu)榱苏夜ぷ骱桶岩恍〇|西寫進(jìn)簡歷而做的實驗——這些想法在現(xiàn)實世界中都站不住腳。

顯然，運(yùn)行一個盈利系統(tǒng)的人是不會發(fā)表與它有關(guān)的論文。《交易與交易所：從業(yè)者的市場微觀結(jié)構(gòu)》（Trading and Exchanges： Market微觀結(jié)構(gòu)）和《金融機(jī)器學(xué)習(xí)的進(jìn)步》（Advances in Financial Machine Learning）等書是一個不錯的起點(diǎn)，但我的經(jīng)驗是，沒有什么比邊做邊學(xué)或找導(dǎo)師更好的了。