據IEEE報道。訓練許多現代 AI 工具背后的大型神經網絡需要真正的計算能力：例如，OpenAI 最先進的語言模型 GPT-3需要驚人的數以億計的操作來訓練，并且花費了大約 500 萬美元的計算時間。工程師們認為他們已經找到了一種通過使用不同的數字表示方式來減輕負擔的方法。

早在 2017 年，當時在A*STAR 計算資源中心和新加坡國立大學聯合任命的John Gustafson和當時在 Interplanetary Robot and Electric Brain Co. 任職的Isaac Yonemoto開發了一種新的數字表示方式。這些數字，稱為 posits，被提議作為對當今使用的標準浮點算術處理器的改進。

現在，馬德里康普頓斯大學的一組研究人員開發了第一個在硬件中實現 posit 標準的處理器內核，并表明，基本計算任務的精度逐位提高了四個數量級，與使用標準浮點數進行計算相比。他們在上周的IEEE 計算機算術研討會上展示了他們的結果。

“如今，摩爾定律似乎開始消退，”康普頓斯公司 ArTeCS 小組的研究生研究員大衛·馬拉森·昆塔納 (David Mallasén Quintana) 說?！耙虼?，我們需要找到一些其他方法來從同一臺機器中獲得更多性能。做到這一點的方法之一是改變我們對實數進行編碼的方式，以及我們表示它們的方式。

Complutense 團隊并不是唯一一個用數字表示來挑戰極限的人。就在上周，英偉達、Arm 和英特爾就使用 8 位浮點數而不是通常的 32 位或 16 位機器學習應用程序達成了一項規范。使用更小、更不精確的格式可以提高效率和內存使用率，但代價是計算準確性。

訓練許多現代 AI 工具背后的大型神經網絡需要真正的計算能力：例如，OpenAI 最先進的語言模型 GPT-3需要驚人的數以億計的操作來訓練，并且花費了大約 500 萬美元的計算時間。工程師們認為他們已經找到了一種通過使用不同的數字表示方式來減輕負擔的方法。

早在 2017 年，當時在A*STAR 計算資源中心和新加坡國立大學聯合任命的John Gustafson和當時在 Interplanetary Robot and Electric Brain Co. 任職的Isaac Yonemoto開發了一種新的數字表示方式。這些數字，稱為 posits，被提議作為對當今使用的標準浮點算術處理器的改進。

現在，馬德里康普頓斯大學的一組研究人員開發了第一個在硬件中實現 posit 標準的處理器內核，并表明，基本計算任務的精度逐位提高了四個數量級，與使用標準浮點數進行計算相比。他們在上周的IEEE 計算機算術研討會上展示了他們的結果。

“如今，摩爾定律似乎開始消退，”康普頓斯公司 ArTeCS 小組的研究生研究員大衛·馬拉森·昆塔納 (David Mallasén Quintana) 說。“因此，我們需要找到一些其他方法來從同一臺機器中獲得更多性能。做到這一點的方法之一是改變我們對實數（real numbers）進行編碼的方式，以及我們表示它們的方式。”

Complutense 團隊并不是唯一一個用數字表示來挑戰極限的人。就在上周，英偉達、Arm 和英特爾就使用 8 位浮點數而不是通常的 32 位或 16 位機器學習應用程序達成了一項規范。使用更小、更不精確的格式可以提高效率和內存使用率，但代價是計算準確性。

實數不能簡單地用硬件完美地表示，因為它們的數量是無限的。為了適應指定的位數，許多實數必須四舍五入。posits的優勢在于它們準確代表的數字沿數軸分布的方式。在數軸的中間，大約 1 和 -1，有比浮點更多的位置表示。在兩翼，對于大的負數和正數，定位精度比浮點數下降得更優雅。

“它更適合計算中數字的自然分布，”Gustafson 說?！斑@是正確的動態范圍，在您需要更高精度的情況下，它是正確的精度。浮點算術中有大量的位模式，從來沒有人使用過。那是浪費?！?/p>

由于表示中的一個額外組件，Posits 在 1 和 -1 左右實現了這種改進的準確性。浮點數由三部分組成：一個符號位（0 表示正數，1 表示負數），幾個“尾數”（分數）位表示小數點的二進制版本之后的內容，其余位定義指數（2經驗）。

? Posits 保留了浮點數的所有組件，但添加了一個額外的“regime”部分，即指數的指數。該regime的美妙之處在于它的位長可以變化。對于小數字，它可能只需要兩位，為尾數留下更高的精度。這允許在 1 和 -1 附近的最佳位置中進行更高的定位精度。

? 深度神經網絡通常使用稱為權重的歸一化參數，使它們成為從位置優勢中受益的完美候選者。大部分神經網絡計算由乘法累加操作組成。每次執行這樣的計算時，每個總和都必須重新截斷，導致精度損失。使用 posits，稱為 quire 的特殊寄存器可以有效地執行累加步驟以減少精度損失。但是今天的硬件實現了浮點數，到目前為止，在軟件中使用位置的計算收益在很大程度上被格式之間轉換的損失所掩蓋。

? 借助在現場可編程門陣列 (FPGA) 中合成的新硬件實現，Complutense 團隊能夠并排比較使用 32 位浮點數和 32 位位置完成的計算。他們通過將它們與使用更準確但計算成本更高的 64 位浮點格式的結果進行比較來評估它們的準確性。Posits 在矩陣乘法（神經網絡訓練中固有的一系列乘法累加）的準確性方面顯示出驚人的四個數量級的提高。他們還發現，提高精度并沒有以計算時間為代價，只是稍微增加了芯片面積和功耗。 ?

盡管數值精度的提高是不可否認的，但這究竟會如何影響像 GPT-3 這樣的大型 AI 的訓練還有待觀察。 ? “假設可能會加快訓練速度，因為你不會在途中丟失太多信息，”馬拉森說，“但這些都是我們不知道的事情。有些人已經在軟件中進行了嘗試，但我們現在也想在硬件中進行嘗試?！?? 其他團隊正在開發他們自己的硬件實現以促進 posit 的使用?！八谧鑫蚁Ｍ龅氖虑?；它正在瘋狂地被采用，”古斯塔夫森說?！拔恢镁幪柛袷揭鹆宿Z動，有數十個團體，包括公司和大學，都在使用它。” ?

編輯：黃飛

?