伦伦影院久久影视,天天操天天干天天射,ririsao久久精品一区 ,一本大道香蕉大久在红桃,999久久久免费精品国产色夜,色悠悠久久综合88,亚洲国产精品久久无套麻豆,亚洲香蕉毛片久久网站,一本一道久久综合狠狠老

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

虹科干貨 | Redis?Enterprise?自動分層技術:大數(shù)據(jù)集高性能解決方案

廣州虹科電子 ? 來源:虹科云科技 ? 作者:虹科云科技 ? 2023-10-19 11:19 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

文章來源:虹科云科技

越來越多的應用程序依賴于龐大的數(shù)據(jù)集合,而這些應用程序必須快速響應。借助自動分層,Redis Enterprise 7.2 幫助開發(fā)人員輕松創(chuàng)建超快的應用程序。何樂而不為?

Redis將數(shù)據(jù)存儲在內(nèi)存中,因此應用程序能以最快的速度檢索和處理數(shù)據(jù)。然而,隨著應用程序需要處理的數(shù)據(jù)越多,存儲數(shù)據(jù)集所需的內(nèi)存越大,所耗費的成本則更高,Redis Enterprise自動分層技術能很好地化解這個兩難的局面。

一、問題:內(nèi)存有限且昂貴

當應用程序訪問的數(shù)據(jù)量很大,例如達到TB級時,開發(fā)人員就面臨著內(nèi)存有限的問題,他們一般使用基于磁盤的解決方案來在幕后支持 Redis。這樣一來,開發(fā)人員就不得不在應用程序中構建整個數(shù)據(jù)管理系統(tǒng),這意味著他們要把時間花在不相干的任務上。

利用Redis Enterprise 的自動分層功能 ,開發(fā)人員可以使用固態(tài)硬盤(SSD)作為可用內(nèi)存的一部分,將大容量數(shù)據(jù)庫擴展到SSD中。Redis Enterprise 可以隨時識別哪些數(shù)據(jù)應留在內(nèi)存中,哪些數(shù)據(jù)應留在固態(tài)硬盤上,從而將吞吐量提高一倍,并將延遲減半。

因此,開發(fā)人員無需編寫額外的代碼或學習其他新技術。通過將動態(tài)RAM 與高速外部存儲相結合,Redis Enterprise 可以輕松高效地使用系統(tǒng)資源,同時還能快速訪問熱數(shù)據(jù)。

二、自動分層的工作原理
image.png

自動分層可自動管理數(shù)據(jù)。它會將熱數(shù)據(jù)轉移到DRAM,并智能地將未使用的數(shù)據(jù)轉移到 SSD。這為依賴大型數(shù)據(jù)集的應用帶來了新的可能性。

通過將訪問頻率較低的冷數(shù)據(jù)轉移到固態(tài)硬盤,開發(fā)人員可以優(yōu)化內(nèi)存使用,降低與大容量內(nèi)存需求相關的成本。

實際上,這可以使數(shù)據(jù)量大的應用程序運行得更快,而無需開發(fā)人員額外付出。與僅使用DRAM 的部署相比,它還能節(jié)省高達 70% 的基礎硬件設施成本。而且,由于自動分層可以高效地自動管理數(shù)據(jù)訪問模式,因此您無需花費時間(計算或人工篩選)來識別熱數(shù)據(jù)和冷數(shù)據(jù)。

image.png

為了增強這一功能,Redis 與創(chuàng)新的鍵值存儲引擎 Speedb 建立了戰(zhàn)略合作伙伴關系。我們將其技術整合為默認的自動分層引擎。

集成Speedb 后,Redis Enterprise 的性能顯著提升,在訪問相同資源的情況下,吞吐量翻倍,延遲減半。這大大拓寬了可利用自動分層優(yōu)勢的用例范圍。在這一改進之后,Redis Enterprise 使用自動分層的數(shù)據(jù)庫規(guī)模由每個內(nèi)核 5k ops/秒增至10k ops/秒。

image.png

三、數(shù)據(jù)案例

我們來看一個案例。

下圖展示了自動分層在實際工作負載場景中的性能演變示例。藍色條代表使用以前的存儲引擎(RocksDB)的 Redis Enterprise 6.4,紅色條代表使用 Speedb 的 Redis Enterprise 7.2。在基礎設施方面,我們使用 I4i.8xlarge AWS 實例在 10 個分片上托管 1TB 數(shù)據(jù)庫,為實現(xiàn)高可用性,采用總共 20 個分片,為 1,024 個客戶端提供服務。

為了模擬最標準的Redis 用例,我們在 20% DRAM 和 80% SSD 的配置上定義了兩種不同的有效載荷(1KiB 和 10KiB),并提供了三種可能的使用模式:平衡讀/寫(1:1)、重讀(1:4)和重寫(4:1)。在這兩種情況下,我們測量了以每秒操作數(shù)為單位的吞吐量和相應的延遲。以下圖表顯示了結果。

image.png

RAM/SSD數(shù)據(jù)占比2:8,單次操作1KB值

RS 6.4 (RocksDB) 相比,RS 7.2 (Speedb) 改進了:

· 85% 命中率時:每秒操作次數(shù)增加 1.4 倍至 1.6 倍,同時延遲降低高達 2.4 倍

· 50% 命中率時:每秒操作次數(shù)增加 1.9 倍至 2.3 倍,同時延遲降低高達 3.8 倍image.png

RAM/SSD數(shù)據(jù)占比2:8,單次操作10KB值

與RS 6.4 (RocksDB) 相比,RS 7.2 (Speedb) 改進了:

· 85% 命中率時:每秒操作次數(shù)增加 2.3 倍至 3.0 倍,同時延遲降低高達 3.0 倍

· 50% 命中率時:每秒操作次數(shù)增加 2.1 倍至 3.5 倍,同時延遲降低高達 3.5 倍

在所有情況下,帶有Speedb 的 Redis Enterprise 7.2 都具有更好的吞吐量,這意味著維持這種性能水平所需的應用程序速度更快,基礎設施更少。

四、應用場景

自動分層尤其適用于將數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)的情況。

1.移動銀行

讓我們來看看移動銀行應用的例子。

如今,每個人的移動設備上都有銀行應用程序。 用戶登錄應用程序,獲取余額,查看最后一筆交易,并獲取其他相對較小和集中的信息。 每個人都希望這一過程流暢、簡單、即時。這些數(shù)據(jù)就是我們的熱數(shù)據(jù),存放在Redis Enterprise 數(shù)據(jù)庫的 DRAM 中。

用戶希望獲得更多信息的情況并不常見,例如舊交易記錄--也許是兩年前的稅務數(shù)據(jù)。用戶需要訪問這些數(shù)據(jù),但數(shù)據(jù)訪問速度并不那么重要。這種數(shù)據(jù)集是我們的冷數(shù)據(jù),可以保存在高速外部存儲如固態(tài)硬盤中。

2.游戲行業(yè)

速度在游戲行業(yè)也很重要。例如, 游戲應用對延遲有嚴格要求 。另外,從本質上講,游戲是一種潮流。隨著時間的推移,游戲公司會積累越來越多的用戶數(shù)據(jù),并將其存儲在用戶資料數(shù)據(jù)庫中,但并非所有用戶都是活躍用戶。通過自動分層,活躍用戶的資料數(shù)據(jù)可以存儲在DRAM 中,而其他用戶的數(shù)據(jù)則存儲在 SSD 中。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 內(nèi)存
    +關注

    關注

    9

    文章

    3223

    瀏覽量

    76469
  • 固態(tài)硬盤

    關注

    12

    文章

    1645

    瀏覽量

    60641
  • 大數(shù)據(jù)

    關注

    64

    文章

    9089

    瀏覽量

    143998
  • Redis
    +關注

    關注

    0

    文章

    394

    瀏覽量

    12243
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    onsemi NVHL095N65S3HF MOSFET:高性能解決方案

    onsemi NVHL095N65S3HF MOSFET:高性能解決方案 在電子工程領域,MOSFET(金屬 - 氧化物 - 半導體場效應晶體管)是至關重要的功率器件,廣泛應用于各類電源系統(tǒng)中。今天
    的頭像 發(fā)表于 03-31 15:35 ?80次閱讀

    圓滿收官!硬核方案亮相「北汽 - 蓋世供應鏈技術共創(chuàng)交流日」

    技術需求,以一站式硬核解決方案賦能車企技術升級,收獲現(xiàn)場專家與工程師的高度關注!本次走進北汽的交流活動聚焦汽車電子電氣架構、智能駕駛研發(fā)測試等核心賽道,
    的頭像 發(fā)表于 03-27 17:35 ?1194次閱讀
    圓滿收官!<b class='flag-5'>虹</b><b class='flag-5'>科</b>硬核<b class='flag-5'>方案</b>亮相「北汽 - 蓋世供應鏈<b class='flag-5'>技術</b>共創(chuàng)交流日」

    解析ADuC7034:汽車電池監(jiān)測的高性能解決方案

    解析ADuC7034:汽車電池監(jiān)測的高性能解決方案 在汽車電子領域,對電池狀態(tài)的精確監(jiān)測和管理至關重要。ADuC7034作為一款專為12V汽車應用設計的集成精密電池傳感器,為汽車電池監(jiān)測提供了全面且
    的頭像 發(fā)表于 03-24 11:40 ?208次閱讀

    owa5X 無線嵌入式計算機 工業(yè)級邊緣計算終端與車載網(wǎng)關優(yōu)選

    從工業(yè)級邊緣計算終端到車載高性能邊緣計算網(wǎng)關,從工業(yè)級嵌入式計算機到邊緣智能解決方案, owa5X 無線嵌入式計算機以高性能、高可靠、高
    的頭像 發(fā)表于 02-10 17:08 ?202次閱讀
    <b class='flag-5'>虹</b><b class='flag-5'>科</b> owa5X 無線嵌入式計算機 工業(yè)級邊緣計算終端與車載網(wǎng)關優(yōu)選

    分享 | SocTek IP Cores:FPGA高端網(wǎng)絡與時間同步解決方案

    當現(xiàn)代工業(yè)自動化、航空航天和關鍵基礎設施系統(tǒng)對通信可靠性的要求達到「零容忍」級別時,傳統(tǒng)解決方案往往力不從心。系統(tǒng)需要確保數(shù)據(jù)包精確準時到達,不容許毫秒級的延遲或丟失。
    的頭像 發(fā)表于 01-21 17:03 ?2534次閱讀
    <b class='flag-5'>虹</b><b class='flag-5'>科</b>分享 | SocTek IP Cores:FPGA高端網(wǎng)絡與時間同步<b class='flag-5'>解決方案</b>

    國產(chǎn)高性能ONFI IP解決方案全解析

    )時代,數(shù)據(jù)存儲的吞吐量瓶頸日益凸顯,高性能的ONFI IP能夠確保大規(guī)模數(shù)據(jù)的高效存取,是SSD及先進存儲系統(tǒng)的核心技術基石。2. 奎芯科技 ONFI IP 的核心
    發(fā)表于 01-13 16:15

    PEAK解決方案

    PEAK解決方案
    發(fā)表于 12-19 14:45 ?0次下載

    車載以太網(wǎng)解決方案:全面賦能智能汽車與無人駕駛通信

    車載以太網(wǎng)解決方案高性能硬件、全棧測試工具與專業(yè)服務,成為車企實現(xiàn)無人駕駛、車隊管理的理想選擇。無論是高速物流還是礦山極端環(huán)境,
    的頭像 發(fā)表于 12-19 09:51 ?475次閱讀

    探索DLP4621-Q1:汽車外部照明的高性能解決方案

    探索DLP4621-Q1:汽車外部照明的高性能解決方案 在汽車電子領域,照明系統(tǒng)的性能和創(chuàng)新一直是關注的焦點。DLP4621-Q1作為一款適用于汽車外部照明的數(shù)字微鏡器件,為汽車前照燈系統(tǒng)
    的頭像 發(fā)表于 12-10 16:14 ?613次閱讀
    探索DLP4621-Q1:汽車外部照明的<b class='flag-5'>高性能解決方案</b>

    方案 | 數(shù)據(jù)不缺位,監(jiān)控不滯后:車輛信息遠程監(jiān)控系統(tǒng)

    不丟+解析直達」的設計,給出了落地級解決方案。01.系統(tǒng)內(nèi)核全域捕獲,云端無縫同步車輛信息遠程監(jiān)控系統(tǒng)旨在打破數(shù)據(jù)孤島,提供從車輛邊緣到云端的完整
    的頭像 發(fā)表于 09-18 17:33 ?972次閱讀
    <b class='flag-5'>虹</b><b class='flag-5'>科</b><b class='flag-5'>方案</b> | <b class='flag-5'>數(shù)據(jù)</b>不缺位,監(jiān)控不滯后:<b class='flag-5'>虹</b><b class='flag-5'>科</b>車輛信息遠程監(jiān)控系統(tǒng)

    直播回顧 | 硬核干貨放送,CAN總線應用層直播助您告別低效聯(lián)調(diào),破解車載網(wǎng)絡開發(fā)核心難題

    ?直播想要系統(tǒng)學習CAN總線知識,提升開發(fā)效率和項目交付質量?想要了解行業(yè)成功案例和高效工具鏈,幫助團隊評估新技術方案、控制風險?歡迎關注
    的頭像 發(fā)表于 09-17 17:39 ?923次閱讀
    直播回顧 | 硬核<b class='flag-5'>干貨</b>放送,<b class='flag-5'>虹</b><b class='flag-5'>科</b>CAN總線應用層直播助您告別低效聯(lián)調(diào),破解車載網(wǎng)絡開發(fā)核心難題

    品牌故事 | 宏科技:工業(yè)物聯(lián)網(wǎng)和工業(yè)測量領域一站式解決方案提供商

    /測量等獨立的業(yè)務板塊,致力于為行業(yè)客戶提供創(chuàng)新及前沿的產(chǎn)品和技術解決方案,為科技社會發(fā)展助力加碼。無論是最初的工業(yè)物聯(lián)網(wǎng)事業(yè)部,還是現(xiàn)在的宏
    的頭像 發(fā)表于 08-08 18:24 ?722次閱讀
    品牌故事 | 宏<b class='flag-5'>集</b>科技:工業(yè)物聯(lián)網(wǎng)和工業(yè)測量領域一站式<b class='flag-5'>解決方案</b>提供商

    Redis集群部署與性能優(yōu)化實戰(zhàn)

    Redis作為高性能的內(nèi)存數(shù)據(jù)庫,在現(xiàn)代互聯(lián)網(wǎng)架構中扮演著關鍵角色。作為運維工程師,掌握Redis的部署、配置和優(yōu)化技能至關重要。本文將從實戰(zhàn)角度出發(fā),詳細介紹
    的頭像 發(fā)表于 07-08 17:56 ?989次閱讀

    快手上線鴻蒙應用高性能解決方案數(shù)據(jù)反序列化性能提升90%

    近日,快手在Gitee平臺上線了鴻蒙應用性能優(yōu)化解決方案“QuickTransformer”,該方案針對鴻蒙應用開發(fā)中廣泛使用的三方庫“class-transformer”進行了深度優(yōu)化,有效提升
    發(fā)表于 05-15 10:01

    快手上線鴻蒙應用高性能解決方案

    近日,快手在Gitee平臺上線了鴻蒙應用性能優(yōu)化解決方案“QuickTransformer”,該方案針對鴻蒙應用開發(fā)中廣泛使用的三方庫“class-transformer”進行了深度優(yōu)化,有效提升
    的頭像 發(fā)表于 05-14 09:11 ?1285次閱讀
    快手上線鴻蒙應用<b class='flag-5'>高性能解決方案</b>