国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

37年歷史的PostgreSQL數據庫將進行重大架構變更

jf_WZTOguxH ? 來源:InfoQ ? 2023-06-25 15:54 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在瞬息萬變的開源世界中,軟件項目來得快、去得也快。如今獲得廣泛追捧的工具,很可能在短時間后就被更好的成果取代,再也無人問津。但即使在這樣殘酷的環境下,也有不少項目能夠長期保持生命力。

PostgreSQL 數據庫系統就是其中的典型,其歷史可以追溯到 1986 年的伯克利 POSTGRES 項目。經過幾十年的發展,作為一款跨平臺、免費和開源的數據庫軟件,PostgreSQL 應用已經相當廣泛:根據 Stack Overflow 2023 開發者調查數據顯示,PostgreSQL 甚至超越了 MySQL,成為開發人員首選。

對擁有如此悠久歷史的大型代碼庫做根本性變更絕非易事,但項目開發團隊正在認真考慮這種可能性,希望讓 PostgreSQL 脫離長久以來的面向進程模型。

任何 PostgreSQL 實例都是以大量協作進程的形式保持運行,其中包含一個用于所有接入客戶端的進程。這些進程使用精心設計的庫通過多個共享內存區域進行彼此通信,而這個庫的作用就是在內存設置各異、映射地址不同的所有進程之間建立起復雜的數據結構。

多年以來,這套模型一直兢兢業業地支撐整個項目。但隨著項目發展,現實世界正在發生巨大變化。因此,PostgreSQL 開發團隊意識到必須盡快調整、順應現實的潮流。

一份提案

今年 6 月初,Heikki Linnakangas 在經過一系列線下討論之后,發布了將 PostgreSQL 轉為線程模型的提案。

89bbb4cc-1250-11ee-962d-dac502259ad0.png

我覺得現在大家已經達成了強烈共識,比以往任何時候都更支持這項重大調整。實現這個目標需要投入大量精力、討論很多細節,但團隊高層對這個基本思路沒有異議。 這封電子郵件的發布,就是想把這種沉默的共識變成明確的發展路線。

其中簡要概括了這項遷移所涉及的種種挑戰,并低調地承認轉化過程“肯定無法通過單一版本徹底完成”。但郵件中沒有提到推動這項重大變更的原因,好在隨著討論的進行,相關信息很快得到了補充。正如 Andres Freund(PostgreSQL Developer & Committer,EnterpriseDB 高級數據庫架構師)指出的那樣:

我認為原有流程模型開始產生諸多限制,這個問題在大型設備上體現得尤其明顯。跨進程上下文切換所帶來的開銷,原本就比在同一進程內的不同線程間切換要更高——我估計這種開銷還將持續提升。面對大量連接,整個體系最終一定會因 TLB 未命中而浪費大量時間。這是進程模型無法跨進程共享 TLB 的天然屬性造成的必然結果。

他還提到,進程模型也增加了開發成本,迫使項目不得不維護大量重復代碼,包括在同一地址空間內保留本不必要的多種內存管理機制。在隨后的消息中,他還補充稱由于線程全部運行在同一地址空間之內,因此可以更高效地實現狀態共享。

89e34316-1250-11ee-962d-dac502259ad0.png

但有部分開發人員反映,Linnakangas 所說的“強烈共識”可能并沒有那么強烈。Postgres 的主要貢獻者 Tom Lane 表示,“我認為這將是一場災難,大量原有代碼將受到影響。”他隨后補充稱,此次調整將帶來“巨大”成本,產生“不止一個安全級 bug”,也無法證明其收益超過成本投入。有人提出,目前還有其他一些高優先級工作值得早做打算。也有人擔心隨著進程模型被淘汰,原本基于各獨立進程的隔離性將被打破,導致系統的整體健壯性受到破壞。

盡管如此,大部分 PostgreSQL 開發者還是以謹慎樂觀的態度支持、至少愿意嘗試這一改動。EnterpriseDB 副總裁、首席數據庫科學家,PostgreSQL 主要貢獻者 Robert Haas 表示,PostgreSQL 在大型系統上的擴展性確實不佳,主要就是因為所有進程都在消耗資源。“其他很多數據庫并不存在這個問題。如果不進行某種重大的架構變更,PostgreSQL 將無法克服這個難題。”

也許單純轉向線程模型可能還不夠,但他認為這將為其他后續改進開個好頭。

從提案到現實

將 PostgreSQL 服務器的核心轉移至單一地址空間,幾乎必然帶來諸多挑戰。正如 Haas 等研究人員所指出,其中最大的問題就是服務器“目前正頻繁使用全局變量”。具體來講,當每個服務器進程都擁有自己的集合時,全局變量就能良好運作;而在用線程加以替代時則會引發問題。根據 Konstantin Knizhnik 的說法,PostgreSQL 服務器目前使用約 2000 個全局變量。

開發團隊隨后討論了該問題的幾種解決思路。首先是將所有全局變量拉入統一的“會話狀態”結構,而這套結構具備線程本地化屬性。但考慮到需要創建并維護的是需要容納 2000 個變量成員的復雜結構時,這個提議因為可行性太低而很快失去了吸引力。另一種方法是直接把所有全局變量放入線程本地存儲內,這種方法倒是簡單可行,但大量使用線程本地存儲會導致性能損失,損耗轉為線程模型帶來的收益。Haas 指出,對全局變量做明確標記(包括將其放入線程本地存儲)本身也有積極的意義,可說為減少全局變量的使用開了個好頭。Freund 贊同這個觀點,并表示即使后續沒有全面轉向線程模型,這項調整也將有所回報。

但 Freund 也警告稱,將全局變量轉移至線程本地存儲只是這項工作中最簡單的部分:

在此之后,重新設計 postmaster、定義如何處理擴展庫、擴展兼容性、開發工具以實現線程化 postgres、在會話生命周期內建立新的內存分配和釋放機制(以往是通過退出進程實現內存釋放)、保證變更的可審查性和可移植性等等,全都是更加困難的工作。

這里還有一個討論熱度不高、但卻非常有趣的觀點,即 Knizhnik 已經完成了 PostgreSQL 的線程端口。他說全局變量的問題并不是那么難以解決。他在配置數據、錯誤處理、信號等方面遇到的麻煩還更多。另外,支持由外部維護的擴展也是個重大挑戰。可盡管如此,他還是認可轉向線程模型所帶來的一系列顯著回報,只是提醒項目決策層在采取任何行動之前,務必要認真做好研究分析。

PostgreSQL 開發團隊還想到了另一個復雜問題,即是否可能同時支持基于進程和基于線程兩種模式。在繼續支持進程模式的同時引入線程架構不僅極為困難,而且會顯著增加項目的總體維護負擔。但 Haas 堅持認為,PostgreSQL 絕對不可能徹底放棄對進程模式的支持。畢竟線程在一部分用例中的性能反而更差,也有不少重要擴展無法在線程模式下正常運行。他強調稱,只有在確認線程架構運行良好之后,才可能認真討論要不要徹底放棄進程支持。

目前無論是從郵件討論還是從社交媒體平臺投票結果來看,大多數 PostgreSQL 開發者認同架構轉換的理論收益。

89fccfac-1250-11ee-962d-dac502259ad0.png

并且,數據庫管理系統 Peloton 早在 2015 年就已經嘗試讓 PostgreSQL 多線程化了。至于 PostgreSQL 本身,從討論到具體實施落地還有很長的路要走,更重要的是,需要有人主動請纓、表示愿意投入時間來推進這項工作。

8a22fe7a-1250-11ee-962d-dac502259ad0.png

Peloton 的《Postgres 架構變更公告》:

最初,Postgres 采用的是多進程架構。其中主進程名為 Postmaster,負責處理 Postgres 接收到的請求,以及啟動、關閉等系統層面的操作。請注意,Postmaster 本身并不執行這些操作,而會派生出子進程來執行操作。再有,處理用戶查詢的 backend 也是由 Postmaster 分叉而來。這種架構非常適合基于磁盤的數據庫,因為磁盤可以作為大容量共享存儲。由于 peloton 充當主內存數據庫,多進程架構導致不同后端和 peloton 數據庫間的信息共享變得極其困難。在早期的嘗試中,我們曾考慮用共享內存讓 peloton 從每個分叉的 backend 處獲取查詢計劃和其他信息。但結果證明其性能慢得令人無法接受,因此我們最終決定將 Postgres 轉為多線程架構!

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    4019

    瀏覽量

    68339
  • 架構
    +關注

    關注

    1

    文章

    532

    瀏覽量

    26589
  • MySQL
    +關注

    關注

    1

    文章

    905

    瀏覽量

    29517

原文標題:這將是一場災難?37年歷史的PostgreSQL數據庫將進行重大架構變更

文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Oracle數據庫ASM實例無法掛載的數據恢復案例

    一個Oracle數據庫故障表現為ASM磁盤組掉線,ASM實例無法掛載(mount)。數據庫管理員自行進行簡單修復,未能成功,隨后聯系北亞數據恢復中心恢復
    的頭像 發表于 02-24 15:19 ?71次閱讀
    Oracle<b class='flag-5'>數據庫</b>ASM實例無法掛載的<b class='flag-5'>數據</b>恢復案例

    不用編程不用聯網,快速實現PLC與數據庫雙向數據通訊的案例

    丟失;在斷網、服務器維護上報數據有異常時,網關主動數據緩存,待故障解除后自動重新上報到數據庫;網關也支持多服務器冗余、異常未提交數據本地保
    發表于 01-14 10:51

    國產數據庫的AI戰事

    國產數據庫硝煙再起,Vastbase V100構筑企業智能基座
    的頭像 發表于 10-24 20:45 ?4016次閱讀
    國產<b class='flag-5'>數據庫</b>的AI戰事

    mysql數據恢復—mysql數據庫表被truncate的數據恢復案例

    某云ECS網站服務器,linux操作系統,部署了mysql數據庫。工作人員在執行數據庫版本更新測試時,錯誤地本應在測試執行的sql腳本在生產
    的頭像 發表于 09-11 09:28 ?871次閱讀
    mysql<b class='flag-5'>數據</b>恢復—mysql<b class='flag-5'>數據庫</b>表被truncate的<b class='flag-5'>數據</b>恢復案例

    數據庫性能優化指南

    作為一名在大廠摸爬滾打多年的運維老兵,我見過太多因為數據庫性能問題導致的生產事故。今天分享一套完整的數據庫優化方法論,從SQL層面到硬件配置,幫你徹底解決性能瓶頸!
    的頭像 發表于 08-18 11:21 ?741次閱讀

    數據庫數據恢復—服務器異常斷電導致Oracle數據庫故障的數據恢復案例

    Oracle數據庫故障: 某公司一臺服務器上部署Oracle數據庫。服務器意外斷電導致數據庫報錯,報錯內容為“system01.dbf需要更多的恢復來保持一致性”。該Oracle數據庫
    的頭像 發表于 07-24 11:12 ?637次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—服務器異常斷電導致Oracle<b class='flag-5'>數據庫</b>故障的<b class='flag-5'>數據</b>恢復案例

    Oracle數據恢復—格式化分區導致Oracle數據庫報錯的數據恢復案例

    一臺服務器上一個分區存放Oracle數據庫數據。由于管理員誤操作不小心刪除了該分區,數據庫報錯,無法使用。 北亞企安數據恢復工程師到達現場后,
    的頭像 發表于 07-22 14:06 ?398次閱讀
    Oracle<b class='flag-5'>數據</b>恢復—格式化分區導致Oracle<b class='flag-5'>數據庫</b>報錯的<b class='flag-5'>數據</b>恢復案例

    三款主流國產數據庫的技術特點

    隨著數字經濟的快速發展和數據安全要求的提升,國產數據庫正迎來前所未有的發展機遇。在信創浪潮推動下,達夢數據庫、TiDB、華為高斯數據庫等國產數據庫
    的頭像 發表于 07-14 11:08 ?1145次閱讀

    數據庫數據恢復—MongoDB數據庫文件丟失的數據恢復案例

    MongoDB數據庫文件拷貝到其他分區,數據復制完成后MongoDB數據庫原先所在的分區進行
    的頭像 發表于 07-01 11:13 ?637次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—MongoDB<b class='flag-5'>數據庫</b>文件丟失的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—SQL Server數據庫被加密如何恢復數據

    SQL Server數據庫故障: SQL Server數據庫被加密,無法使用。 數據庫MDF、LDF、log日志文件名字被篡改。
    的頭像 發表于 06-25 13:54 ?671次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>被加密如何恢復<b class='flag-5'>數據</b>?

    oracle數據恢復—oracle數據庫誤執行錯誤truncate命令如何恢復數據

    oracle數據庫誤執行truncate命令導致數據丟失是一種常見情況。通常情況下,oracle數據庫誤操作刪除數據只需要通過備份恢復數據
    的頭像 發表于 06-05 16:01 ?1060次閱讀
    oracle<b class='flag-5'>數據</b>恢復—oracle<b class='flag-5'>數據庫</b>誤執行錯誤truncate命令如何恢復<b class='flag-5'>數據</b>?

    SQLSERVER數據庫是什么

    支持在Linux和容器化環境中運行。 核心特點 關系型數據庫 基于SQL(結構化查詢語言)進行數據操作,支持表、行、列等結構化存儲。 提供ACID(原子性、一致性、隔離性、持久性)事務支持,確保數據可靠性。 企業級功能 高可用性
    的頭像 發表于 05-26 09:19 ?1168次閱讀

    MySQL數據庫是什么

    MySQL數據庫是一種 開源的關系型數據庫管理系統(RDBMS) ,由瑞典MySQL AB公司開發,后被Oracle公司收購。它通過結構化查詢語言(SQL)進行數據存儲、管理和操作,廣泛應用于Web
    的頭像 發表于 05-23 09:18 ?1203次閱讀

    數據庫數據恢復——MongoDB數據庫文件拷貝后服務無法啟動的數據恢復

    文件。MongoDB數據庫文件拷貝到其他分區后,對MongoDB數據庫所在原分區進行了格式化操作。格式化完成后
    的頭像 發表于 04-09 11:34 ?864次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復——MongoDB<b class='flag-5'>數據庫</b>文件拷貝后服務無法啟動的<b class='flag-5'>數據</b>恢復

    中興通訊GoldenDB數據庫助力首個住房公積金國產數據庫聯合實驗室落地揚州

    領域的國產數據庫聯合實驗室成功落地,雙方圍繞GoldenDB數據庫在公積金核心系統的深度應用展開技術攻關,為全國公積金行業數字化轉型提供示范樣本。 ? 為什么住房公積金數字化轉型如此重要? 住房公積金制度是我國住房保障體系的重
    的頭像 發表于 04-07 18:26 ?1206次閱讀