微軟發(fā)明的GPU與FPGA進(jìn)行數(shù)據(jù)傳輸?shù)姆椒ǎ粌H可以帶動(dòng)基于FPGA進(jìn)行人工智能芯片設(shè)計(jì)的發(fā)展，同時(shí)也可以加快深度學(xué)習(xí)技術(shù)發(fā)展的步伐。

集微網(wǎng)消息，2018年5月，在Bulid大會(huì)上，微軟宣布 Project Brainwave 開放預(yù)覽，這是一種用于深度神經(jīng)網(wǎng)絡(luò)處理的架構(gòu)，可以用于Azure與邊緣環(huán)境，并且可以讓Azure成為實(shí)時(shí)運(yùn)行人工智能最快的云平臺(tái)。

為什么微軟要基于FPGA來進(jìn)行人工智能芯片設(shè)計(jì)呢？這是因?yàn)楫?dāng)時(shí)微軟的搜索引擎都是依靠CPU驅(qū)動(dòng)，盡管英特爾等公司不斷改進(jìn)CPU，但是這些芯片還是不能滿足微軟的需求。而此時(shí)恰好FPGA能彌補(bǔ)這個(gè)不足。

圖形處理單元（GPU）已經(jīng)被用于圖形應(yīng)用許多年，近年來也被應(yīng)用于其他例如圖形處理、搜索以及其他一般的應(yīng)用。雖然FPGA和GPU均可以被視為專用處理器，但是在某些場(chǎng)合，如果FPGA與GPU之間可以進(jìn)行通信以及任務(wù)的共享、轉(zhuǎn)交，會(huì)更加高效的完成任務(wù)，這也是基于FPGA設(shè)計(jì)人工智能芯片的重要設(shè)計(jì)方案之一。

為了實(shí)現(xiàn)FPGA與GPU之間的通信，微軟在2013年8月16日申請(qǐng)了一項(xiàng)名為“GPU和FPGA組件之間的直接通信的方法和系統(tǒng)”的發(fā)明專利（申請(qǐng)?zhí)枺?01380044351.6），申請(qǐng)人為微軟技術(shù)許可有限責(zé)任公司。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項(xiàng)FPGA與GPU之間的通信技術(shù)吧。

如上圖，為用于GPU和FPGA組件之間直接通信的系統(tǒng)框圖，系統(tǒng)100包括存儲(chǔ)計(jì)算機(jī)指令的存儲(chǔ)器、中央處理單元（CPU）102、圖形處理單元（GPU）104和現(xiàn)場(chǎng)可編程門陣列（FPGA）106，這些部件通過總線進(jìn)行連接，傳輸數(shù)據(jù)包括經(jīng)由PCIe交換機(jī)在GPU和FPGA之間直接傳輸數(shù)據(jù)。

而要達(dá)到數(shù)據(jù)傳輸?shù)哪康模厝徊豢杀苊庖獙?duì)于數(shù)據(jù)在硬件中進(jìn)行編址，也就是例如基于虛擬存儲(chǔ)器存儲(chǔ)的數(shù)據(jù)，被存儲(chǔ)在不連續(xù)的塊中的數(shù)據(jù)的物理地址中時(shí)，需要進(jìn)行地址編碼。當(dāng)數(shù)據(jù)在GPU與FPGA之間傳輸時(shí)，數(shù)據(jù)可以從FPGA的存儲(chǔ)器傳輸?shù)紾PU中，由于采用了編址，因此也就不會(huì)發(fā)生數(shù)據(jù)錯(cuò)位、丟失等問題。

在GPU和FPGA通信中，也分為直接通信和間接通信兩種方式，首先我們來看看間接通信方式。

如上圖，為GPU和FPGA組件之間間接通信的系統(tǒng)示意圖，如圖所示，數(shù)據(jù)202經(jīng)由GPU、快速PCI交換機(jī)、CPU和CPU存儲(chǔ)器，在GPU存儲(chǔ)器和FPGA存儲(chǔ)器之間交換。這是一個(gè)間接的路徑，由于在GPU和FPGA之間經(jīng)過了CPU，因此也被稱為GPU-CPU-FPGA傳輸。

這種間接傳輸?shù)姆绞剑m然可以保證數(shù)據(jù)在GPU和FPGA之間共享，但是由于數(shù)據(jù)經(jīng)過了兩次PCIe交換機(jī)并由于操作系統(tǒng)和CPU存儲(chǔ)器硬件兩者的等待時(shí)間加時(shí)，因此增加了通信等待時(shí)間和操作系統(tǒng)的開銷。

接著，我們來看看GPU和FPGA組件之間直接通信的流程圖，如上圖所示，首先要獲取標(biāo)識(shí)用于直接訪問FPGA的存儲(chǔ)器的地址的虛擬指針，例如FPGA驅(qū)動(dòng)程序可以生成標(biāo)識(shí)用于直接訪問FPGA中的存儲(chǔ)器的地址的虛擬指針。

之后就可以啟動(dòng)虛擬指針到與FPGA外部的GPU相關(guān)聯(lián)的圖形處理單元（GPU）驅(qū)動(dòng)程序的傳輸，經(jīng)過外部的總線接口，可以直接啟動(dòng)GPU與FPGA之間的數(shù)據(jù)傳輸，而無需作為中間操作來將數(shù)據(jù)存儲(chǔ)在中央處理單元的存儲(chǔ)器中。

以上就是微軟發(fā)明的GPU與FPGA之間的數(shù)據(jù)傳輸方案，在微軟進(jìn)行基于FPGA的人工智能芯片設(shè)計(jì)的過程中，F(xiàn)PGA擔(dān)任著機(jī)器學(xué)習(xí)算法的主要硬件基礎(chǔ)。這種在GPU與FPGA之間傳輸數(shù)據(jù)的技術(shù)，勢(shì)必會(huì)加速人工智能芯片的發(fā)展以及加快深度學(xué)習(xí)技術(shù)的發(fā)展。

關(guān)于嘉德

深圳市嘉德知識(shí)產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強(qiáng)企業(yè)工作多年的知識(shí)產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識(shí)產(chǎn)權(quán)法律理論和實(shí)務(wù)，在全球知識(shí)產(chǎn)權(quán)申請(qǐng)、布局、訴訟、許可談判、交易、運(yùn)營、標(biāo)準(zhǔn)專利協(xié)同創(chuàng)造、專利池建設(shè)、展會(huì)知識(shí)產(chǎn)權(quán)、跨境電商知識(shí)產(chǎn)權(quán)、知識(shí)產(chǎn)權(quán)海關(guān)保護(hù)等方面擁有豐富的經(jīng)驗(yàn)。
責(zé)任編輯:tzh