隨著企業運營的節奏日益加快，人們對快速響應的期望日益提升，決策逐漸從數據中心轉向網絡邊緣。無論是要盡量保障繁忙作業，避免閑置的車間生產線、在手術室等待分析結果的醫生，還是正在待命前往撲滅熊熊山火的消防隊、尋找各種洞察從而幫助修復珊瑚礁的科學家，又或是在顧客焦急等待購物服務的零售環境中，企業都必須對系統進行相關配置，以收集信息，獲得可行洞察，并實時幫助做出決策或提供分析結果。在越來越多的情況下，似乎只有完全自動化決策的及時性才足以滿足要求。

如今，邊緣采集的數據量十分龐大。據 Gartner 預測，到 2025 年，將有多達 75% 的企業數據會在傳統數據中心以外生成1。Gartner 高級研究總監 Santhosh Rao 表示：“踏上業務數字化之旅的企業和機構已經意識到，必須采用去中心化的方法來滿足數字業務基礎設施的要求。隨著數據體量與增長速度的提升，將信息流式傳輸至云端或數據中心進行處理的效率也愈發低下1?！?/p>

將采用人工智能 (AI) 和機器學習 (ML) 算法的計算能力轉移到更靠近數據產生的位置，甚至在許多情況下在數據產生的邊緣直接提供上述能力，能夠實現全新的實時用例，拓展潛在的新收入來源，同時防止敏感數據在網絡中流轉后再進入數據中心。實現對邊緣數據的實時響應需要至少四種技術的有效組合：

邊緣計算

人工智能 (AI)

高速網絡

云

企業必須在整個基礎設施中整合這些技術，才能獲得云邊協同智能的全部優勢。將更多具有 AI 功能的設備和算力安排在邊緣，可以在提升數據處理量的同時也生成更多數據，從而實現更復雜的 AI 用例，進而獲得更多可行洞察。

企業的核心可能位于數據中心或云端，但遠離該核心位置的邊緣卻能涵蓋除此以外的所有數據收集、處理、存儲和通信功能。邊緣包含以下部分：

邊緣設備，即生成、收集、處理和/或使用數據的資產，包括智能攝像頭、工業傳感器、機器人、自動駕駛車輛、可穿戴設備、智能手機、智能揚聲器和無人機等設備。

邊緣基礎設施，即能夠從不同來源聚合眾多數據流的設備，如本地服務器、網關和網絡視頻錄像機等。

邊緣的定義

邊緣設備通常是一些小型設備（例如，智能手表或智能攝像頭），邊緣環境中幾乎沒有空間容納又大又重的組件。同時，邊緣設備的供電也往往十分有限。這意味著邊緣硬件必須要高效利用空間和電能。這些設備還必須提供高性能，甚至要能足以添加 AI 工作負載來處理本地收集的數據。

雖然在執行 AI 推理工作負載時，邊緣設備可以且經常是獨立運行，但對于 AI 訓練而言，連接多個邊緣設備以實現聯邦學習能帶來眾多益處。聯邦學習使邊緣設備可協作學習并共享預測模型，同時所有訓練數據都位于邊緣設備，不必存儲在云端，從而提高了數據安全性。

能夠以邊緣集群或網絡服務器等形式支持更全面或更復雜的邊緣計算的硬件性能往往高于獨立的邊緣設備。這類硬件可能也會根據需要使用安全或連接功能，從而支持指定用例。

以下是兩個在邊緣使用 AI 的真實案例：

在制造業和工業領域，邊緣計算蘊含巨大潛力。例如，奧迪的內卡蘇爾姆工廠每天要組裝多達 1,000 輛汽車，而每輛汽車大約有 5,000 個焊點。也就是說，僅一家工廠每天就需要檢查 500 萬個焊點。如果每天都要人工檢查上百萬個焊點，不僅成本高昂，耗時費力，而且也并不現實，更別說奧迪的目標是希望能夠以出色的精度實現焊點全檢。

在一些瀕危物種的棲息地，環保人員進入可能會造成問題，而智能攝像頭和視頻分析則有望幫助監控與保護這些地方。例如，珊瑚礁修復通常需要潛水員下水進行監控。他們需要潛入水中直接收集數據，或手動拍攝珊瑚礁的視頻或圖像，供日后分析。這種數據收集方法可能會干擾野生動物行為，無意中影響研究結果。此外，數據采集也很有限，因為潛水員一次只能在水下安全停留大約 30 分鐘。菲律賓的 CoRaiL項目通過利用智能攝像頭和 AI 增強型視頻分析來研究珊瑚礁的韌性，成功解決了這些問題。

邊緣 AI 用例

以下是一些邊緣 AI 用例：

在醫療領域，AI 有許多潛在用途，醫療影像就是其中非常主流的一種。每天會產生成千上萬的醫療影像，如 CT 掃描、X 光和 MRI 等，每張影像都需要經過仔細分析來發現其中異常，實現準確診斷。

在零售層面，機器視覺能夠可靠地讀取條碼、文本和數字，以幫助管理、跟蹤和分析庫存水平，確保重要材料由需要的人員掌握?；ヂ摰捻憫街悄軘底謽伺瓶梢愿鶕櫩托袨榕c喜好為顧客推薦產品或優惠。這又能促進零售商了解他們向消費者發出的訊息何時真正起到了效果。自助服務設施和無人商店可為顧客提供一系列服務，打造個性化購物體驗。與此同時，機器學習又可以分析遍布整個商店的攝像頭采集的多個視頻流，幫助實時識別潛在犯罪行為。

在美國，機器人被用來對醫院表面進行紫外線 (UV) 消毒，這樣既能夠有效殺死病毒，也避免了紫外線對人類造成傷害。機器人能夠利用 AI 在醫院內導航，先確認所在空間沒人，再用紫外線對該區域進行消毒。在該用例中，AI 的采用有助于確保整個醫院的安全，同時盡量保持繁忙區域開放正常運營，以供使用。

具備 AI 功能的智能攝像頭能夠帶來巨大價值，實現重復性日常任務的自動化，從而解放員工，使他們能專注于應對更復雜的挑戰。例如，基于 AI 的車牌識別被廣泛應用于各種場景，包括防止未經授權車輛進入的安保應用，以及自動放行，讓注冊用戶能夠直接驅車進入洗車區等等。

實施 AI 需要滿足哪些要求？

在整個企業內廣泛實施 AI 時，務必要確保以下三大基礎設施要素均具備處理 AI 工作負載的足夠性能。這三大要素分別是：邊緣設備、邊緣基礎設施和云。實施 AI 的具體要求包括：

高性能：AI 工作負載往往計算密集度高，因此在進行 AI 訓練或推理的地方，必須具備強大的計算性能。

低時延：AI 的一大優勢在于能夠支持實時決策。將 AI 工作負載轉移到邊緣位置（即使只是將部分 AI 工作負載轉移到邊緣），有助于降低決策時延。

高容量：AI 依賴大量數據，因此，運行 AI 的基礎設施必須確保計算、存儲和內存容量能夠勝任任務，從而避免瓶頸。

可靠的安全性：AI 工作負載需要大量越來越敏感的數據（例如，在醫療或公共安全領域）。無論是何種 AI 工作負載，運行它們的設備和軟件都必須安全可靠。

英特爾提供眾多技術和解決方案，可在滿足上述要求的同時，支持企業和機構實現從邊緣到云的 AI 工作負載。展示了探索英特爾 AI 解決方案的典型初始框架，但最終的解決方案也將取決于低時延或定制板外形等特定要求。面向 AI 的英特爾 邊緣技術解決方案能夠在各類設備上實現高性能推理，這些設備包括本地服務器、PC、攝像頭、機器人和無人機等。由于在 AI 領域并不存在“一體適用”的解決方案，因此英特爾推出了包括 CPU、GPU、VPU 和 FPGA 在內的產品組合，旨在提供低時延推理，幫助消除數據瓶頸。英特爾 oneAPI AI 分析工具套件（AI 套件）和英特爾 分發版 OpenVINO 工具包以一套統一的 AI 開發工具支持廣泛的英特爾計算設備。

為什么 FPGA 是 AI 實施的

理想選擇？

人的大腦中有近 1,000 億個神經元。盡管這已經是個天文數字，但將這些神經元組織成為網絡的神經連接數量更是達到了百萬億級，而神經連接的數量顯著影響著大腦的能力。FPGA 內的互連性就類似于人腦中的神經連接。FPGA 內的可編程邏輯結構也以類似的方式相互連接，這就是為什么英特爾 FPGA 是神經網絡和其他 AI 工作負載實施的理想選擇。在邏輯和線路互連的層面上，FPGA 的比特級動態可編程性就好比靈活的大腦，可以調整注意力，專注于當前的特定任務。此外，一直以來，FPGA 的外部 I/O 也具備其他硬件架構所不具備的出色靈活性，可以連接到雷達、音頻、振動和視覺等各種來源的傳感器。這些特性能夠讓信號實時進出 FPGA，達到可媲美人腦的高級智能水平。

英特爾 FPGA 家族包括英特爾 Cyclone 10 GX FPGA、英特爾 Arria 10 GX FPGA 和英特爾 Stratix 10 GX FPGA等。這些產品具備 I/O 靈活性、低功耗（或每次推理的能耗）和低時延，本就可在 AI 推理上帶來優勢。這些優勢在三個全新的英特爾 FPGA 和片上系統 (SoC) 家族的產品中又得到了補充，使得 AI 推理性能進一步獲得了顯著提升。這三個家族分別是英特爾 Stratix 10 NX FPGA 以及英特爾 Agilex FPGA 家族的新成員：英特爾 Agilex D 系列 FPGA，和代號為“Sundance Mesa”的全新英特爾 Agilex 設備家族。這些英特爾 FPGA 和 SoC 家族包含專門面向張量數學運算優化的專用 DSP 模塊，為加速 AI 計算奠定了基礎。

第一款采用張量模塊的英特爾 FPGA 是英特爾 2020 年 6 月 18 日推出的英特爾 Stratix 10 NX FPGA。英特爾 Stratix 10 NX FPGA 的張量模塊架構針對 AI 計算中常用的矩陣-矩陣或矢量-矩陣乘法和加法運算進行了優化，旨在高效地用于各種不同規模的矩陣。該張量模塊支持 INT8 和 INT4 數據計算，并通過共享指數支持 FP16 和 FP12 塊浮點的數字格式。

此前的英特爾 Agilex 設備家族就已經配備可變精度數字信號處理 (DSP) 模塊，能夠提供多種 AI 功能，而集成在全新英特爾Agilex FPGA 和 SoC FPGA 結構中的 DSP 模塊在此前模塊設計的基礎上，還引入了英特爾 Stratix 10 NX FPGA 中所用的張量模塊的多種功能。采用 AI 張量模塊的增強型 DSP 引入了兩種全新的重要運算：面向 AI 的張量處理能力和面向信號處理應用的復數支持。此類應用包括快速傅里葉變換 (FFT) 和復雜有限脈沖響應 (FIR) 濾波器等。

第一種模式可通過 INT8 張量模式增強 AI。該模式可在一個采用AI 張量模塊的增強型 DSP 中提供 20 次 INT8 乘法。與之前的英特爾 Agilex 設備家族相比，INT8 計算密度提升高達 5 倍。張量模式使用兩列的張量結構，同時具備 INT32 和 FP32 的級聯和累加功能，還支持塊浮點指數，以改善推理精度和低精度訓練。此外，可變精度 DSP 的 AI 功能也有所增強。矢量模式也已經從四個 INT9 乘法器 (Multiplier) 升級到了六個 INT9 乘法器。這些模式對以 AI 為中心的張量數學運算和各類 DSP 應用格外有用。

圖 . AI 和 DSP 計算密度的數量級提升

*限英特爾 Agilex D 系列 FPGA 和代號為 Sundance Mesa 的全新英特爾Agilex 設備家族提供。

第二種新模式是復數運算，可在運行復數乘法時使張量模塊的性能翻倍。過去，復數乘法需要兩個 DSP 模塊，但這一全新英特爾Agilex FPGA 和 SoC FPGA 家族產品在一個采用 AI 張量模塊的增強型 DSP 中就可進行 16 位定點復數乘法運算。

FPGA 十分契合網絡邊緣

及核心眾多終端市場的需求

許多數據中心以外的終端市場都很適合采用 FPGA 來實現應用和 AI 計算功能所需的邏輯，從而支持在本地處理數據。這些終端市場包括：

醫療和生命科學，包括醫療監護儀、具有圖像識別和物體檢測功能的 2D 診斷設備（例如，X 射線設備和內窺鏡），以及其他類型的病理學檢測、基因組測序、手術機器人等設備。

軍事和航空航天，包括無人飛行載具 (UAV)、目標檢測、雷達偵測和分類等。

工業應用，可用于在邊緣增加基于 AI 的檢測和實時控制。

ProAV（專業影音）系統，包括具備人臉識別功能，從而可以實現鏡頭自動平移/縮放和背景消除的視頻會議攝像頭、具備自動人臉檢測，從而可以實現精準對焦的攝影棚用攝像頭。

廣播視頻，包括從標準動態范圍 (SDR) 到高動態范圍 (HDR)的轉換、不同視頻分辨率的智能轉換，以及可變幀率視頻的采集和顯示。

消費級應用，包括具備人眼檢測和跟蹤功能，從而可以實現立體成像的 3D 顯示器。

下面介紹了幾個 AI 在醫療行業和工業/制造業的深入應用示例：

醫療應用中的 AI

患者和醫護人員的人口結構正在變化，同時人們愈發希望在降低醫療成本的同時改善醫療成果。這些因素推動著 AI 在醫療行業的廣泛應用。AI 有助于提高基于 MRI 和 CT 成像的癌癥診斷準確性；基于 AI 的信息系統和機器人手術設備可協助外科醫生手術；AI 還能通過基于全球數據集的模型改善罕見疾病的治療。

AI 增強型內窺鏡攝像頭就是 AI 在醫療領域應用的一個具體示例，它已經廣泛用于各個醫療科室，如神經內科、骨科、泌尿科和婦科。這種內窺鏡攝像頭系統越來越多地能夠支持高級成像功能，包括邊緣增強和色彩校正，為醫生提供更清晰、更容易解讀的圖像。英特爾 FPGA 的高性能、小尺寸和低能耗特性，能夠為內窺鏡攝像平臺額外提供其所需的實時功能。

英特爾 FPGA 還賦能內窺鏡攝像頭制造商支持包括以下各種 AI 增強型檢測在內的多種 AI 用例：

結直腸篩查中的息肉檢測

內窺鏡食道篩查中與巴雷特食管相關的異常增生檢測

美國每年要進行 1,600 多萬次結直腸鏡檢查，僅美國每年診斷出的巴雷特食管病例就多達 20 多萬例。因此，AI 增強型醫學成像功能將顯著提升這些內窺鏡檢查的效率和準確性。這些基于 AI的全新功能和優化將推動 AI 在內窺鏡中應用的持續增長，幫助醫生滿足日益增長的微創檢查和手術需求。

工業和制造業應用中的 AI

現代制造業是一個復雜的體系，包含眾多系統。各類傳感器、攝像頭和執行器組成了一個相互連接、聯網控制的分層架構。英特爾 FPGA 廣泛用于整個分層架構，可確保滿足硬實時和安全要求。此外，制造業正在經歷第四次工業革命，運營技術 (OT) 系統與信息技術 (IT) 系統愈發融合，構成了更智能、更靈活的工廠，提供更高效、更自動化的生產，同時需要的人為干預也更少。

各種工業應用和制造工廠所廣泛使用的通信技術，包括 5G、工業網關和智能網卡 (NIC) 等均采用英特爾 FPGA。英特爾 FPGA 被用于工作負載需要 I/O 靈活性、直接數據提取能力、確定性計算能力、更低運行功耗，以及需要在嚴苛的工業環境中運行的場景。在這些場景中，AI 技術皆可提供支持，并且也越來越多地被用于制造業應用的視覺和非視覺類任務。

表 1 展現了工業和制造業中 AI 的廣泛應用。

表 1. AI 在現代工廠中的用例示例

邊緣設備采用的英特爾 FPGA 可以安裝在其他傳感和控制功能旁邊，或與之集成，協同實現高能效的 AI 工作負載。例如，英特爾 FPGA 可直接提取攝像頭或傳感器數據，以確定性計算、低時延和高吞吐量運行工作負載。英特爾 FPGA 可直接從一個或多個攝像頭提取視頻數據，對視頻進行預處理（包括優化對比度和曝光、增強邊緣、校正色彩），在視頻流中抓取相關幀，并進行特征或缺陷檢測，這一切都能實時完成?？删幊踢壿?a target="_blank">控制器 (PLC) 制造商已在其新款 PLC 中采用小型 AI 引擎，為下一代控制器添加智能功能。在生產線上，AI 增強型視覺檢測能夠比人工更快、更準確地進行缺陷檢測和質量評估。

將 AI 增強型功能與視頻處理管道或其他功能緊密結合，是建立優化的實時工業系統的重要方式，而低功耗和低時延正是其中的關鍵因素。表 2 展示了 AI 增強型圖像和視頻處理在工業和制造業中的部分用途：

表 2. AI 增強型功能發揮重要作用的工業視覺檢查和檢測示例

AI 讓機器人設置和訓練工作變得更加容易，可以教會機器人感知周圍環境并作出相應反應。此類場景下，機器人可執行的任務包括根據示范進行學習、取放物體、使用直接反饋來控制末端執行工具（如焊接工具），以及與其他機器人或工人實現安全的協作。這些任務同樣適用于自主移動機器人 (AMR)，因為它們也必須實時使用傳感器數據來構建并持續更新周邊環境地圖，從而進行相應的導航。AMR 使用的 AI 功能必須具備低能耗的特點，以免對機器人電池造成太多負擔，但同時還必須具備穩定性和低時延，能夠與其他工作負載緊密整合。

工業邊緣還涉及許多非視覺類的 AI 應用。工廠所有者迫切希望提升應用效率，從而降低總體擁有成本 (TCO) 并提高產量。影響 TCO 的因素包括盡可能減少故障時間。基于 AI 的機器健康狀況評估和預測性維護就可以做到這一點。借助電壓、溫度、振動和聲音等非侵入式傳感器，機器學習工作負載可準確地檢測新出現的問題，并在問題惡化、影響生產或導致生產中斷之前，就對維護或修理需求進行預測。

英特爾 FPGA 常用在邊緣通過 AI 和機器學習來處理這些傳感器信號，以降低工廠的網絡帶寬需求，并快速識別問題，避免了將未經處理的數據發送至云端，再等待云端發回決策而產生的時延。主流原始設備制造商 (OEM) 正在使用 AI 來動態計算能效更高的運動路徑。例如，控制多軸機器人以盡可能高的效率和盡可能低的能耗在規定時間內將物體從 A 點移動到 B 點，AI 可用于增強閉環控制算法，而低時延 AI 算法和確定性計算能力對此類任務至關重要。英特爾 FPGA 非常適合用于實現 AI 增強型閉環算法。

在全球范圍內，工業和制造業客戶都非常關心以下這些問題：

如何滿足越來越高的產品質量要求？

如何優化工廠運營，提高產量和效率？

如何更好地預測并縮短設備和系統的故障時間？

如何更快地應對和適應市場需求變化？

AI 有助于解決這些問題。正因如此，英特爾 FPGA 正積極在其原有的傳感和控制功能基礎上新增 AI 功能。這些功能是建立高效工業系統、滿足工廠邊緣硬實時要求所必備的。

面向英特爾 FPGA 和 SoC 的

邊緣就緒型 AI 工具套件

分布式 AI/機器學習邊緣解決方案往往十分復雜，開發難度非常高。英特爾提供的開發工具和軟件致力于推動開放標準并支持容器化和云原生開發，從而幫助開發人員簡化他們的工作流程并加速分布式邊緣解決方案的部署。對于使用英特爾 FPGA 和 SoC進行 AI/機器學習應用開發的人員，英特爾提供以下開發工具：

英特爾 oneAPI AI 分析工具套件（AI 套件）為數據科學家、AI 開發人員和研究人員提供了一套他們熟悉的Python 工具和框架，可加速端到端的數據科學與分析管道。英特爾通過該工具套件提供支持底層計算優化的 oneAPI 庫，從而盡可能地提高從預處理到機器學習的各種工作負載的性能，并提供互操作性以實現高效的模型開發。

英特爾 分發版 Python 支持 TensorFlow、Keras、PyTorch、oneDNN 和 BigDL 等常用庫和框架，可用于在多個英特爾 計算平臺上創建高速的機器學習應用。這些工具可支持面向一系列廣泛的 AI/機器學習工作負載快速開發應用。

英特爾 分發版 OpenVINO 工具包支持對邊緣計算機視覺用例至關重要的深度學習應用開發。

英特爾 FPGA AI 套件使 FPGA 設計人員、機器學習工程師和軟件開發人員能夠高效地優化基于英特爾 FPGA 的 AI 設計。利用常見和主流的行業框架（如 TensorFlow、PyTorch）以及 OpenVINO 工具包，英特爾 FPGA AI 套件中的實用程序可加速基于 FPGA 的 AI 推理開發，同時還充分利用了英特爾 Quartus Prime 軟件強大且成熟的 FPGA 開發流程。

英特爾 FPGA AI 套件非常靈活，可以針對各種系統級用例進行配置。用戶可以通過一鍵式流程，生成優化的 AI 推理 IP模塊，并集成到英特爾 Quartus Prime 軟件中。用戶還可針對英特爾 FPGA AI 套件中的架構優化器指定設備資源（DSP、內存、邏輯單元）和吞吐量。這種獨特的定制能力對于探索設計以及嵌入式 AI 應用的尺寸、重量和能耗等維度的優化都至關重要。

您可通過以下四種方式利用英特爾提供的開發工具，將英特爾 FPGA 和 AI/機器學習集成至您的系統：

1. 采用基于 FPGA 的 AI/機器學習加速器，實現 CPU 分流。主機 CPU 通過 PCIe 接口與 AI/機器學習加速器進行通信。英特爾 FPGA 直接支持與主機的英特爾 CPU 進行 PCIe連接。

2. 采用英特爾 FPGA 實施 AI 加速器和額外邏輯，實現多功能CPU 分流。英特爾 FPGA 為主機的英特爾 CPU 提供 AI/機器學習加速，并實施應用所需的任何額外邏輯。與示例 1一樣，主機 CPU 通過 PCIe 接口與 AI/機器學習加速器進行通信。

3. 提取/內聯處理 + AI。基于 FPGA 的 AI 加速器直接提取數據，并使用 AI 和算法工作負載處理數據，然后再通過 PCIe連接將處理過的數據和推理傳輸至主機的英特爾 CPU。

4. 英特爾 SoC FPGA 利用集成的 CPU（ARM 或 Nios 處理器內核）充當 AI/機器學習加速器，直接提取并處理數據，實施 AI/機器學習推理，然后通過以太網網絡將處理過的數據和推理傳輸至云端。FPGA 還負責實施應用所需的任何額外邏輯電路。

結論

從構建商、集成商、云和網絡提供商到開發人員，在整個邊緣價值鏈中，英特爾深耕數十年，積累了豐富經驗。英特爾根據與各類用例客戶的合作，開發出了一系列專門用于解決常見集成問題的解決方案，并依托不斷優化和創新的成熟開發人員生態系統提供數百個預配置包。您可通過以下方式利用該生態系統縮短開發時間，更快地獲得成果：

使用可立即部署的企業 AI 解決方案。英特爾 AI Builders 涵蓋全球 300 多個主流 AI 軟件、硬件和服務提供商，提供 150 多款解決方案，涉及各種用例和各個市場，使所有企業都能快速采用 AI。

確保高水平的 AI 部署。面向 AI 的英特爾 精選解決方案利用已在英特爾 至強 可擴展處理器和其他英特爾 平臺上進行優化并通過了基準測試和驗證的解決方案，幫助您簡化和加快基礎設施部署。

減少開發和協作挑戰。英特爾 AI: In Production 利用英特爾 技術、軟件工具、開發套件、代碼樣本和廣泛的英特爾合作伙伴和開發人員生態系統的解決方案，幫助加快AI 走向生產之路。

英特爾 FPGA AI 套件和 OpenVINO 工具包關注深度學習推理 FPGA IP 創建和集成的簡易性，解決了英特爾 FPGA 和 SoC 部署中的“最后一英里”問題。

如果您正在開發需要 AI 功能的邊緣或核心設備，歡迎聯系當地的英特爾現場銷售代表，了解英特爾能夠如何為您的團隊提供幫助。

注釋：

[1]這些邊緣設備都可以從 AI 功能中受益。

審核編輯：湯梓紅