我們身邊的小工具不斷地在充實著我們的生活 —— 智能手表可以檢測我們的生命體征，跟蹤我們的健康狀況；家用揚聲器通過聽我們的對話來識別我們的聲音；智能手機還能夠扮演語法學家的角色，觀察我們寫了什么來自動修復我們的特殊打字錯誤。我們很感激這些便利，但我們與電子設備共享的信息并不總是在我們的所控范圍內。

機器學習可能需要很重的硬件，所以像手機這樣的“邊緣”設備通常會向中央服務器發送原始數據，然后返回經過訓練的算法。然而，有些人希望訓練能夠在本地進行。一種新的人工智能訓練方法擴展了小型設備的訓練能力，可能有助于保護隱私。

最強大的機器學習系統使用神經網絡，復雜的函數充滿可調參數。在訓練期間，網絡接收輸入（如一組像素），生成輸出（如標簽“cat”），將其輸出與正確答案進行比較，并調整其參數，以便下次做得更好。為了知道如何調整每個內部旋鈕，網絡需要記住每個旋鈕的效果，但它們的數量通常為數百萬甚至數十億。這需要大量內存。訓練一個神經網絡可能需要數百倍的記憶，而僅僅使用一個（也稱為“推理”）。在后一種情況下，一旦將信息傳遞到下一層，內存就可以忘記網絡的每一層做了什么。

為了減少訓練階段的記憶需求，研究人員采用了一些技巧。其中一種稱為分頁或卸載，機器將這些激活信息從短期內存移動到較慢但更豐富的內存類型，如閃存或SD卡，然后在需要時將其恢復。在另一種稱為重物質化的方法中，機器刪除激活，然后稍后再次計算。加州大學伯克利分校的計算機科學家、描述了該創新的論文的主要作者Shishir Patil說，它們結合使用了“次優”的“啟發式”，通常需要大量能量。Patil及其合作者報告的創新將分頁和重新實體化方法結合了起來。

“將這兩種技術很好地結合到這個優化問題中，然后解決它，這真的很好，”加州大學河濱分校的計算機科學家Jiasi Chen說，他從事邊緣計算研究，但沒有參與這項工作。

7月，Patil在巴爾的摩舉行的機器學習國際會議上介紹了他的系統，稱為POET（private optimal energy training）。他首先給出了POET設備的技術細節，以及他所希望訓練的神經網絡結構的信息。他指定了內存預算和時間預算。然后，他要求設備創建一個培訓流程，將能源消耗降至最低。該進程可能決定對某些重新計算效率低下的激活進行分頁，但對其他易于重做但需要大量內存存儲的激活進行重新實體化。

突破性創新的關鍵之一在于將問題定義為混合整數線性規劃（MILP）難題，即一組約束和變量之間的關系。對于每個設備和網絡架構，POET將其變量插入Patil手工編制的MILP程序，然后找到最佳解決方案。Chen說：“一個主要的挑戰實際上是以一種好的方式來闡述這個問題，這樣你就可以把它輸入到一個解決方案中。因此，您可以捕獲所有真實的系統動態，如能量、延遲和內存。”

該團隊在四個不同的處理器上測試了POET，其RAM范圍從32KB到8GB。研究人員分別訓練了三種不同的神經網絡結構：兩種在圖像識別中流行的類型（VGG16和ResNet-18），以及一種流行的語言處理網絡（BERT）。在許多測試中，該系統可以減少大約80%的內存使用量，而不會大幅增加能耗。可比較的方法不能同時做到這兩個。據Patil稱，研究表明，BERT現在可以在最小的設備上進行訓練，這在以前是不可能的。

Patil說：“當我們開始的時候，POET基本上是一個很好的主意。”現在，幾家公司已經開始使用它，并且有一家大公司已經在其智能揚聲器中試用了它。Patil說，非常棒的一點是，POET不會通過“量化”或縮寫激活來降低網絡精度，從而節省內存。因此，設計網絡的團隊不必與實現網絡的團隊協調，就精度和內存之間的權衡進行談判。

Patil指出，除了隱私問題外，使用POET還有其他原因。一些設備需要在本地訓練網絡，以解決互聯網連接很差或沒有連接的問題 —— 這些設備包括在農場、潛艇或太空中使用的設備。由于數據傳輸需要太多能量，其他設置可以從創新中受益。POET還可以使大型設備互聯網服務器更節省內存和能源。但對于數據保密，Patil說，“我想這是非常及時的，對吧？”當大型設備——互聯網服務器——訓練大型網絡時，也可能從POET中受益。