国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

華為PB級時序數據庫Gauss DB,助力海量數據處理

禿頭也愛科技 ? 來源:禿頭也愛科技 ? 作者:禿頭也愛科技 ? 2022-10-15 19:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

??近年來,時序數據的應用更為廣泛,包括物聯網、金融領域、監控領域、醫學領域、農業生產領域等各方面,都在大量使用時序數據,通過數據來研究對象的趨勢性、規律性、異常性;并且在 5G人工智能的浪潮下,時序數據作為大數據、機器學習、實時預測的基礎數據,作用更加顯著。因此,對時序數據的研究與應用應當更為深入。

??近 5 年來,時序數據庫發展十分迅猛,各大互聯網企業包括 Google、阿里、Amazon 都推出自己的時序數據。

PB1.png

圖 1 DB-Engines 統計不同類別數據庫關注度趨勢

??圖 1 為 DB-Engines 統計從2018年1月到2019 年 12 月截至 24 月各類數據庫的關注度趨勢,可以看到時序數據庫關注度同比 2017 年 12 月上漲 77.3%,相比第二名的圖形數據庫上漲近兩倍。圖 2 為 DB-Engines 統計從2013年12月到2019 年 12 月截至 6年來業內流行的時序數據庫的關注度和使用度排名。

PB2.png

圖 2 DB-Engines 統計時序數據庫關注度趨勢

??從圖中可以看到,從 2015 年開始,各種時序數據庫如雨后春筍般涌現。

??GaussDB(for Influx)時序數據庫依靠華為在數據存儲領域多年的實踐經驗,整合華為云的計算、存儲、服務保障和安全等方面的能力,在架構、性能和數據壓縮等方面進行了突破性的技術創新,達到了較好的效果,對內支撐了華為云基礎設施服務,對外以服務的形式開放,幫助上云企業解決相關業務問題。

??GaussDB(for Influx) 具有支持億級時間線、極致寫入性能、低存儲成本、高性能多維聚合查詢和極致彈性擴縮容等5大特性。以下為特性的大致介紹:

PB3.png

??由于在時序數據庫系統中,無時無刻存在大量并發查詢和寫入操作,因此合理控制內存的使用量就顯得十分重要。而GaussDB(for Influx)便在這一問題上做了進一步優化:

??l 在內存分配與回收上,使用內存池復用技術降低內存碎片,并實現算法動態調整GC頻率,加快內存回收。

??l 在單查詢上,實行Quota控制,避免單查詢耗盡內存。

??l 在緩存中,針對不同節點規格提供不同最優配置。

2 、極致寫入性能

??GaussDB(for Influx)支持每天萬億條數據寫入,在工程實現上有以下優化:

??l 利用所有節點并行寫入,充分發揮集群優勢。

??l Shard節點采用針對場景優化的LSM-Tree布局

??l 在大規模寫入場景下,GaussDB(for Influx)的寫入性能線性擴展度大于80%。

3 、低存儲成本

??GaussDB(for Influx)對數據采用列式存儲,相同類型的數據被集中存儲,更有利于數據壓縮。采用自研的時序數據自適應壓縮算法,在壓縮前對數據進行抽樣分析,根據數據量、數據分布以及數據類型選擇最合適的數據壓縮算法。同時提供了時序數據的分級存儲,支持用戶自定義冷熱數據,實現數據的冷熱分離。熱數據相對數據量小,訪問頻繁,被存儲在性能更好、成本較高的存儲介質上;冷數據相對數據量大,訪問概率低,保存時間較久,被存儲在成本較低的存儲介質上,進而達到節約存儲成本的目的。

4 、高性能多維聚合查詢

??在提升聚合查詢整體性能方面,GaussDB(for Influx)做了如下優化:

??l 采用MPP架構:一條查詢語句可以在多節點及多核并發執行。

??l 向量化查詢引擎:在查詢結果數據量很大時,GaussDB(for Influx)內部實現了向量化查詢引擎,每次迭代批量返回數據,大大減少了額外開銷。

??l 增量聚合引擎:基于滑動窗口的聚合查詢,大部分從聚合結果緩存中直接命中,僅需要聚合增量數據部分即可。

??l 多維倒排索引:支持多維多條件組合查詢,加快數據查詢中過濾無關數據。

5 、極致彈性擴縮容

??在時序數據庫的運行過程中,隨著業務量的增加,常常需要對數據庫進行在線擴容,以滿足業務的要求。

??l 傳統數據庫中的數據存儲在本地,擴容后往往需要遷移數據。當數據量達到一定規模時,數據遷移所耗費的時間往往按天計算,給運維帶來了很大的困難。

??l GaussDB(for Influx)相比于傳統的數據庫,最大的特點就是將計算與存儲分離,能夠輕松實現分鐘級擴容。

??此外,在能源、制造、IOT、互聯網等行業的監控統計及分析的應用場景中,時序洞察提供了針對時序數據的可視化功能。在監控領域,我們常看到能實時反映整個系統運行情況的絢麗監控大屏,這便是數據庫的監控看板功能,可以高效地運用監控數據輔助定位故障、性能調優、容量規劃;可以查看各產品的監控數據走勢及對比;跨產品展示關鍵指標的實時數據、歷史數據和整體走勢。業務人員可以根據該信息對業務進行及時調整。

??通過對時序數據庫的發展分析,時序數據庫的發展空間巨大,但也存在很多問題,GaussDB(for Influx)針對其存在的問題,都進行了針對性的創新與發展,可以說GaussDB(for Influx)為時序數據庫的發展提供了巨大推動力。

審核編輯 黃昊宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為
    +關注

    關注

    218

    文章

    36003

    瀏覽量

    262084
  • 數據庫
    +關注

    關注

    7

    文章

    4019

    瀏覽量

    68339
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    不用編程不用聯網,快速實現PLC與數據庫雙向數據通訊的案例

    ?IGT-SER系列智能網關方便實現多臺PLC與SQL數據庫之間的數據通訊,既可以讀取PLC的數據上報到數據庫,也可以從數據庫查詢
    發表于 01-14 10:51

    數據庫數據恢復—服務器異常斷電導致Oracle數據庫故障的數據恢復案例

    Oracle數據庫故障: 某公司一臺服務器上部署Oracle數據庫。服務器意外斷電導致數據庫報錯,報錯內容為“system01.dbf需要更多的恢復來保持一致性”。該Oracle數據庫
    的頭像 發表于 07-24 11:12 ?637次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—服務器異常斷電導致Oracle<b class='flag-5'>數據庫</b>故障的<b class='flag-5'>數據</b>恢復案例

    三款主流國產數據庫的技術特點

    隨著數字經濟的快速發展和數據安全要求的提升,國產數據庫正迎來前所未有的發展機遇。在信創浪潮推動下,達夢數據庫、TiDB、華為高斯數據庫等國產
    的頭像 發表于 07-14 11:08 ?1145次閱讀

    企業MySQL數據庫管理指南

    在當今數字化時代,MySQL作為全球最受歡迎的開源關系型數據庫,承載著企業核心業務數據的存儲與處理。作為數據庫管理員(DBA),掌握MySQL的企業
    的頭像 發表于 07-09 09:50 ?717次閱讀

    數據庫數據恢復—MongoDB數據庫文件丟失的數據恢復案例

    MongoDB數據庫數據恢復環境: 一臺操作系統為Windows Server的虛擬機上部署MongoDB數據庫。 MongoDB數據庫故障: 工作人員在MongoDB服務仍
    的頭像 發表于 07-01 11:13 ?638次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—MongoDB<b class='flag-5'>數據庫</b>文件丟失的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—SQL Server數據庫被加密如何恢復數據

    SQL Server數據庫故障: SQL Server數據庫被加密,無法使用。 數據庫MDF、LDF、log日志文件名字被篡改。
    的頭像 發表于 06-25 13:54 ?672次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>被加密如何恢復<b class='flag-5'>數據</b>?

    白城LP-SCADA工業產線高密度數據采集 實時響應無滯后

    并行處理:支持10萬+測點的并行接入與處理,應用無鎖隊列、內存數據庫時序數據庫、MQTT等核心技術,內置網絡、串口采樣模塊,支持高速數據
    發表于 06-19 14:51

    oracle數據恢復—oracle數據庫誤執行錯誤truncate命令如何恢復數據

    oracle數據庫誤執行truncate命令導致數據丟失是一種常見情況。通常情況下,oracle數據庫誤操作刪除數據只需要通過備份恢復數據
    的頭像 發表于 06-05 16:01 ?1061次閱讀
    oracle<b class='flag-5'>數據</b>恢復—oracle<b class='flag-5'>數據庫</b>誤執行錯誤truncate命令如何恢復<b class='flag-5'>數據</b>?

    SQLSERVER數據庫是什么

    SQL Server 是由微軟公司開發的一款 關系型數據庫管理系統(RDBMS) ,用于存儲、管理和檢索結構化數據。它是企業應用中廣泛使用的數據庫解決方案之一,尤其適用于Window
    的頭像 發表于 05-26 09:19 ?1168次閱讀

    MySQL數據庫是什么

    開發、企業應用和大數據場景。以下是其核心特性和應用場景的詳細說明: 核心特性 關系型數據庫模型 數據以 表(Table) 形式組織,表由行(記錄)和列(字段)構成。 通過 主鍵、外鍵 實現表間關聯,支持復雜查詢和事務
    的頭像 發表于 05-23 09:18 ?1206次閱讀

    HarmonyOS5云服務技術分享--云數據庫使用指南

    ??: 敏感數據啟用字段加密(如用戶手機號)。 ? ??總結?? 華為數據庫(CloudDB)讓HarmonyOS應用的數據管理變得輕
    發表于 05-22 18:29

    分布式存儲數據恢復—虛擬機上hbase和hive數據庫數據恢復案例

    分布式存儲數據恢復環境: 16臺某品牌R730xd服務器節點,每臺服務器節點上有數臺虛擬機。 虛擬機上部署Hbase和Hive數據庫。 分布式存儲故障: 數據庫底層文件被誤刪除,
    的頭像 發表于 04-17 11:05 ?717次閱讀

    數據庫數據恢復——MongoDB數據庫文件拷貝后服務無法啟動的數據恢復

    MongoDB數據庫數據恢復環境: 一臺Windows Server操作系統虛擬機上部署MongoDB數據庫。 MongoDB數據庫故障: 管理員在未關閉MongoDB服務的
    的頭像 發表于 04-09 11:34 ?864次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復——MongoDB<b class='flag-5'>數據庫</b>文件拷貝后服務無法啟動的<b class='flag-5'>數據</b>恢復

    中興通訊GoldenDB數據庫助力首個住房公積金國產數據庫聯合實驗室落地揚州

    近日,江蘇省住房公積金領域迎來一則重磅消息!揚州市住房公積金管理中心與中興通訊GoldenDB數據庫簽署戰略合作協議,共同揭牌成立江蘇省住房公積金聯合實驗室。 此次合作標志著國內首個聚焦住房公積金
    的頭像 發表于 04-07 18:26 ?1206次閱讀

    TDengine 發布時序數據分析 AI 智能體 TDgpt,核心代碼開源

    組成部分,標志著時序數據庫在原生集成 AI 能力方面邁出了關鍵一步。 TDgpt 是內嵌于 TDengine 中的時序數據分析 AI 智能體,具備時序數據預測、異常檢測、數據補全、分類
    的頭像 發表于 03-27 10:30 ?712次閱讀
    TDengine 發布<b class='flag-5'>時序數據</b>分析 AI 智能體 TDgpt,核心代碼開源