軟件系統的數據檢索設計
隨著業務量加大,數據檢索量也會日益增多,為了減輕數據庫壓力,本系統采用ElasticSearch來實現數據檢索功能。
簡單來說,Elasticsearch 是一個實時的分布式存儲、搜索、分析的引擎,它可以近乎實時的存儲、檢索數據,本身擴展性很好,可以擴展到上百臺服務器,處理PB級別(大數據時代)的數據,ElasticSearch的檢索流程如下:

數據檢索流程圖
1) 執行refresh操作將mem buffer中的數據寫入到新的segment并寫入os cache,然后打開本segment以供search使用,最后再次清空mem buffer。
2) 一個commit point被寫入磁盤,這個commit point中標明所有的index segment。
3) filesystem cache(os cache)中緩存的所有的index segment文件被fsync強制刷到磁盤os disk,當index segment被fsync強制刷到磁盤上以后,就會被打開,供查詢使用。
translog被清空和刪除,創建一個新的translog。
審核編輯 黃宇
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
數據
+關注
關注
8文章
7335瀏覽量
94757 -
軟件系統
+關注
關注
0文章
70瀏覽量
9807
發布評論請先 登錄
相關推薦
熱點推薦
RAG(檢索增強生成)原理與實踐
,顯著提升了AI系統的準確性和實用性。
關鍵要點回顧
向量檢索是基礎 :選擇合適的Embedding模型和向量數據庫至關重要
上下文注入是關鍵 :精心設計的Prompt能大幅提升答案質量
優化是持續
發表于 02-11 12:46
在線測徑儀是否配備測控軟件分析系統?
主流工業級在線測徑儀均標配專業測控軟件分析系統,這是實現實時監測、數據追溯、質量管控的核心組成部分,也是金屬加工等高精度生產場景中不可或缺的功能模塊。但也有些廠家對分析功能要求不高,而沒有配置測控
發表于 12-03 14:10
電能質量在線監測裝置歷史波形回放的操作流程是怎樣的
電能質量在線監測裝置的歷史波形回放操作需結合設備類型、存儲方式及訪問權限,通常分為本地操作和遠程訪問兩類流程。以下是基于主流設備特性的詳細步驟說明,涵蓋數據檢索、波形查看、分析及導出全流程,并附典型
數據采集系統GM10標配軟件功能亮點
支持把橫河GM10數據采集系統內存文件復制到本地,并直接調用軟件分析,升級后的iDAQAnywhere軟件,可以直接獲取GM10主機內存文件(GEV等),并復制到本地計算機。用戶只要雙
孔夫子舊書網開放平臺接口實戰:古籍圖書檢索與商鋪數據集成
本文詳解孔夫子舊書網古籍數據接口的實戰調用,涵蓋認證簽名、古籍檢索、商鋪集成與特色數據處理四大場景,提供可復用的Python代碼及避坑指南,助力學術研究、舊書商管理與古籍數字化落地。
后臺系統顯示 “數據亂碼”,是通信問題還是軟件問題?
后臺系統顯示 “數據亂碼” 的核心原因是 **“數據的編碼格式與解碼格式不匹配”** 或 “數據在傳輸 / 處理過程中被破壞” ,通信問題和軟件
怎樣確保數據管理平臺的軟件系統穩定性?
確保電能質量在線監測裝置 數據管理平臺軟件系統的穩定性 ,需圍繞 “架構設計、數據處理、容錯災備、性能優化、安全防護、測試驗證、運維保障”7 大核心維度構建體系化方案,結合電能質量監測
產品列表獲取API接口詳解
? 在現代軟件開發中,API(應用程序編程接口)是獲取產品列表的核心工具,它允許開發者從遠程服務器高效地檢索數據。本文將逐步介紹如何設計和使用產品列表獲取API接口,包括核心概念、實現步驟、代碼示例
Microchip擴展連接、存儲與計算產品組合
與數據檢索的先進技術,以滿足不斷演進的市場需求。Microchip的數據中心生態系統包含工作負載加速、電源管理、設備性能優化與控制等全方位賦能技術組合,助力數據中心應對當今技術需求日益
將NXP RT1166更換為RT1064,可以使用JTAG/SWD存儲和檢索其閃存上的數據嗎?
我在我的項目中使用了 RT1166,但是,其中一個要求是芯片應該具有可被 JTAG/SWD 訪問的內部閃存。 RT1166 有,但 RT1064 有 4MB 的內部 Flash。
我可以使用 JTAG/SWD 存儲和檢索其閃存上的數據嗎?
發表于 04-07 06:29
《AI Agent 應用與項目實戰》閱讀心得3——RAG架構與部署本地知識庫
則將檢索到的內容與原始查詢結合,生成最終響應。這種設計使得AI系統能夠突破訓練數據的限制,實現知識的動態更新。書中詳細介紹了RAG的完整工作流程:從數據提取開始,通過文本分割將長文檔切
發表于 03-07 19:49
軟件系統的數據檢索設計
評論