国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何跨AIoT數(shù)據(jù)管道實施NVMe-oF共享存儲

倩倩 ? 來源:百度粉絲網(wǎng) ? 2020-09-11 14:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

到2023年,物聯(lián)網(wǎng)IoT)預計將包含近300億個互聯(lián)設備。這些物聯(lián)網(wǎng)設備可在網(wǎng)絡上創(chuàng)建和傳輸大量數(shù)據(jù)。但是數(shù)據(jù)所有者如何從傳輸?shù)臄?shù)據(jù)中獲得情報?那就是AIoT誕生的地方,即人工智能(AI)和IoT的結合。

AIoT將智能處理功能添加到IoT設備收集的各種大型數(shù)據(jù)集中。它使企業(yè)能夠分析數(shù)據(jù)并提供見解。如今,AIoT在互聯(lián)用例(例如用于遠程患者監(jiān)控和預防醫(yī)學的醫(yī)療保健)中仍然存在;在制造業(yè)中的機器人領域;在自動駕駛汽車中;在網(wǎng)絡監(jiān)控中;并在諸如C3.ai數(shù)字轉化研究所的研究中努力減輕流行病并防止未來的傳染病爆發(fā)。對于需要深度篩選大量數(shù)據(jù)以執(zhí)行深度學習算法的任何用例,AIoT是一種功能強大的工具。它是自我學習,自我監(jiān)控和自我修復。AIoT使預測決策具有很高的預測精度,遠遠超過了人類。

AIoT面臨的挑戰(zhàn)是系統(tǒng)涉及具有多個階段的復雜數(shù)據(jù)管道。企業(yè)不僅需要處理來自物聯(lián)網(wǎng)的數(shù)據(jù)的數(shù)量,種類,速度和準確性,還需要在實現(xiàn)AI解決方案時保持模型質量,數(shù)據(jù)訪問延遲,吞吐量和數(shù)據(jù)緩存功能。如果優(yōu)化了計算系統(tǒng)以快速處理數(shù)據(jù),那么除非建立正確的計算,存儲和內存組合,否則將數(shù)據(jù)導入這些系統(tǒng)可能會成為瓶頸。

存儲是關鍵基礎,需要解決AIoT數(shù)據(jù)管道的所有階段,從攝取到數(shù)據(jù)準備再到模型訓練和推理,并仔細考慮TCO,性能和功耗要求。它還需要滿足AI工作負載不斷變化的需求。企業(yè)正在轉向NVMe閃存來滿足AI所需的高吞吐量和低延遲,但是讓我們通過基于結構的NVMe(NVMe-oF)進一步邁出一步

一種新方法–共享存儲

一種新方法是將可組合的分解基礎架構(CDI)與NVMe閃存,GPU池和大容量存儲系統(tǒng)結合使用,以在動態(tài)的,軟件定義的應用程序環(huán)境中實現(xiàn)快速響應時間和AI的擴展需求。

CDI會從物理上分解資源(計算,網(wǎng)絡,存儲和GPU),并根據(jù)特定應用程序的需要將它們匯總在一起。這樣可以靈活,獨立地擴展資源,以滿足AI工作負載不斷變化的需求。

可組合存儲將大大提高企業(yè)調配和優(yōu)化其數(shù)據(jù)基礎架構以滿足動態(tài)應用程序需求的靈活性和靈活性。

CDI允許在許多主機之間共享和擴展存儲,網(wǎng)絡和計算資源。與融合系統(tǒng)不同,當數(shù)據(jù)隨著服務器容量的增長而增長時,它避免了后續(xù)數(shù)據(jù)進出GPU服務器本地SSD的延遲。它可以立即訪問共享閃存中經(jīng)過訓練的模型和數(shù)據(jù),并可以快速響應。

選擇存儲解決方案時,具有NVMe閃存的開放式可組合基礎架構可以跨團隊無縫分配共享存儲池,以提高效率,成本和CIO關心的KPI指標。

如何跨AIoT數(shù)據(jù)管道實施NVMe-oF共享存儲

實施AI計劃時,重要的是設計一種存儲基礎架構,以支持前所未有的AIoT數(shù)據(jù)量。優(yōu)化TCO和效率的一種方法是查看AI工作負載的每個階段,以確定哪種存儲類型最適合每個階段。NVMe-oF共享存儲幾乎適用于AIoT工作流程的所有階段:

接收 – 接收階段需要具有速度和規(guī)模,以維持從IoT系統(tǒng)傳入的數(shù)據(jù)的數(shù)量和速度。要提取到臨時著陸區(qū),可以使用NVMe存儲平臺或大容量存儲系統(tǒng)(基于HDD,對象或云存儲),而要提取到集中式,全局可訪問的容量層,則可以使用大容量存儲系統(tǒng)。為了吸收到高性能層(無論是在本地還是在云上部署),都需要NVMe閃存來進行實時分析。

數(shù)據(jù)準備 –數(shù)據(jù)準備階段的主要重點應該放在數(shù)據(jù)質量上。就成本和性能而言,NVMe存儲平臺也是一個不錯的選擇。或者,您可以選擇閃存和HDD的混合選件,以提供性能和更高容量的好處。

模型訓練 -模型訓練階段對已實現(xiàn)的AI解決方案的模型質量,數(shù)據(jù)訪問延遲,吞吐量和數(shù)據(jù)緩存功能敏感。這需要低延遲,面向吞吐量,可擴展的高性能存儲層,并且NVMe-oF存儲平臺非常適合滿足這些需求。

推論 –推論階段同樣需要低數(shù)據(jù)訪問延遲,吞吐量響應時間和數(shù)據(jù)緩存功能。當模型訓練和推理階段訪問分解架構中的一個共享存儲時,它們在很大程度上是相互依賴的。例如,如果推理評分較差,則需要對模型進行重新訓練,并且在模型訓練結束之前,無法生成推理。因此,對兩者使用相同類型的共享存儲池是有意義的。

備份/還原 –在備份階段,大容量HDD,對象存儲或云存儲最適合存儲和按需訪問舊模型和數(shù)據(jù)。通常需要從備份中還原舊模型以進行推理或重新訓練,以滿足新的傳入IoT數(shù)據(jù)的需求,因此最好利用近線或在線備份解決方案。

適用于AIoT的NVMe-oF可組合分解基礎架構

NVMe-oF正在統(tǒng)一如何大規(guī)模共享,組合和管理存儲,以滿足不斷變化的應用程序和工作負載的需求。使用NVMe閃存的可組合分解基礎架構允許IT即時分配存儲,以支持AI每個階段的AIoT實施。

我們將繼續(xù)看到越來越多地采用可組合的分布式存儲解決方案,這些解決方案可以有效地在以太網(wǎng)結構上擴展,并為各種數(shù)據(jù)中心應用程序提供NVMe設備的全部性能潛力。可組合存儲將大大提高企業(yè)配置和優(yōu)化其數(shù)據(jù)基礎架構的靈活性和靈活性,以滿足AIoT及其數(shù)據(jù)中心KPI的動態(tài)應用需求。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    高性能網(wǎng)絡存儲設計:NVMe-oF IP的實現(xiàn)探討

    什么是 NVMe-oFNVMe-oF全稱:NVMe over Fabrics。 它允許主機通過網(wǎng)絡訪問遠端。 NVMe SSD與本地 NVMe
    發(fā)表于 12-19 18:45

    NVMe over Fabrics 國產(chǎn) IP:高性能網(wǎng)絡存儲解決方案

    近期發(fā)現(xiàn)NVMe over Fabrics只有國外知名FPGA廠家推出,2025年初給出補丁,但是聽說面臨無技術團隊支持的窘境。 我們根據(jù)以往NVMe和RDMA 開發(fā)經(jīng)驗,推出國產(chǎn)化NVMe-oF
    發(fā)表于 12-12 14:19

    NVMe-oF 國產(chǎn)IP:高性能網(wǎng)絡存儲解決方案

    目前相關IP較少,網(wǎng)上主要是知名FPGA廠家的IP,疑似被泄露。但是技術支持可能沒有了,補丁會限制部分使用,由于其接口復雜,不利于二次開發(fā)。這里給出一種高性能網(wǎng)絡存儲技術,走國產(chǎn)化設計.
    的頭像 發(fā)表于 12-12 10:02 ?88次閱讀
    <b class='flag-5'>NVMe-oF</b> 國產(chǎn)IP:高性能網(wǎng)絡<b class='flag-5'>存儲</b>解決方案

    華納云為游戲數(shù)據(jù)庫選擇高性能NVMe SSD存儲

    游戲數(shù)據(jù)庫對速度、可靠性和可擴展性有極高要求。隨著在線游戲的發(fā)展,開發(fā)者越來越依賴NVMe SSD存儲來提供服務器租用和服務器托管解決方案。本文將指導您了解為游戲數(shù)據(jù)庫選擇高性能
    的頭像 發(fā)表于 09-30 16:03 ?1066次閱讀

    NVMe高速傳輸之擺脫XDMA設計30: NVMe 設備模型設計

    , 不同的是在處理指令過程中, NVMe 寫和讀指令需要與主機進行更多的 TLP 事務交互, 包括讀指令、 讀寫數(shù)據(jù)、 讀 PRP 等, 這些事務使用 tag 進行標記區(qū)分, 因此能夠實現(xiàn)多個并行的 I
    發(fā)表于 09-29 09:31

    NVMe高速傳輸之擺脫XDMA設計23:UVM驗證平臺

    數(shù)據(jù)總線;NVMe 子系統(tǒng)模型(NVMe Subsystem Model)是自主設計的用于模擬 PCIe 鏈路設備和 NVMe 設備的功能模型。
    發(fā)表于 08-26 09:49

    Microchip推出Adaptec? SmartRAID 4300 系列加速器 提供安全的可擴展 NVMe? RAID 存儲解決方案

    ,專為NVMe部署而設計。該系列加速器尤其適用于現(xiàn)代人工智能數(shù)據(jù)中心環(huán)境。在此類環(huán)境中,加速訪問NVMe存儲對于支持高強度工作負載
    的頭像 發(fā)表于 08-06 16:31 ?1.9w次閱讀
    Microchip推出Adaptec? SmartRAID 4300 系列加速器 提供安全的可擴展 <b class='flag-5'>NVMe</b>? RAID <b class='flag-5'>存儲</b>解決方案

    西部數(shù)據(jù)通過 MLPerfa Storage V2 測試結果,驗證其真實場景下的AI存儲性能

    西部數(shù)據(jù)?OpenFlex? Data24 4000?系列?NVMe-oF??存儲平臺,基于鎧俠 CM7-V?系列?NVMe??固態(tài)硬盤與配置?PEAK:AIO?軟件的AI智算服務器,
    發(fā)表于 08-05 18:15 ?922次閱讀

    NVMe高速傳輸之擺脫XDMA設計18:UVM驗證平臺

    數(shù)據(jù)總線;NVMe 子系統(tǒng)模型(NVMe Subsystem Model)是自主設計的用于模擬 PCIe 鏈路設備和 NVMe 設備的功能模型。
    發(fā)表于 07-31 16:39

    NVMe高速傳輸之擺脫XDMA設計之十:NVMe初始化狀態(tài)機設計

    在完成PCIe配置初始化后,PCIe總線域的地址空間都分配完畢,可以執(zhí)行傳出存儲讀寫TLP,系統(tǒng)初始化進入NVMe配置初始化。NVMe配置初始化主要完成NVMe設備BAR空間的
    發(fā)表于 07-05 22:03

    NVMe IP高速傳輸卻不依賴便利的XDMA設計之三:系統(tǒng)架構

    、 零散數(shù)據(jù)等多種數(shù)據(jù)量形式。 面臨大量零散數(shù)據(jù)存儲請求時, 需要增加 NVMe I/O 隊列的數(shù)量和深度來保證
    發(fā)表于 06-29 17:42

    NVMe協(xié)議研究掃盲

    /SAS SSD相比具有卓越的性能優(yōu)勢,云平臺和數(shù)據(jù)中心已經(jīng)開始為大量I/O密集型應用程序提供NVMe SSD。隨著NVMe協(xié)議的不斷完善,推出了NVMe-oF
    發(fā)表于 06-02 23:28

    NVMe協(xié)議簡介2

    通過PCIe進行,使用PCIe的存儲讀寫TLP請求。指令的提交與完成機制如圖1所示,圖中展示的指令提交與完成步驟如下: 圖1 NVMe指令提交與完成步驟圖 (1)主機控制器向提交隊列寫入一個或多個提交命令
    發(fā)表于 05-15 23:15

    NVMe協(xié)議簡要分析

    具有更高的吞吐量、更快的訪問速度和更低的功耗,已經(jīng)被廣泛應用于各種計算領域和存儲系統(tǒng)。 1. NVMe隊列 NVMe協(xié)議采用成對的提交隊列(Submission Queue,SQ)和完成隊列
    發(fā)表于 05-15 00:34

    NVME控制器設計1

    , 實現(xiàn)指令的組裝和分配; 當接收到完成隊列中的正常完成條目時, 指令控制模塊提取其中的指令 ID進行注銷。隊列管理模塊實現(xiàn)NVMe提交隊列和完成隊列的存儲、 門鈴機制、 仲裁機制,以及隊列的創(chuàng)建和刪除
    發(fā)表于 04-24 09:45