国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

或許我們都被分庫分表約束了思維

京東云 ? 來源:張俊杰 ? 作者:張俊杰 ? 2025-02-21 09:51 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者:張俊杰

概述

這篇文章沒什么太多的干貨,純純是一篇討論和思考帖。

從業數據庫領域三年有余了,從分庫分表中間件到數據庫團隊內核學到了很多東西。也接觸了很多項目,包括TiDB、Vitess、Polardb、StarDB等等。

國內的項目好像很多都聚焦于分庫分表的概念,包括很多的數據庫團隊都在嘗試這個概念的落地和沉溺于性能的跑分。

最近我在預覽MySQL官方,看到了Partitioning的概念,而且占據了很大的篇幅。不由得引人思考,為什么這個概念在我接觸的業務中沒有被廣泛的使用呢?或許我們將來可以有分庫分區的概念?

接下來從頭縷一下數據庫選型的問題吧(以下均以MySQL的Innodb場景為例):

分表、分區、分庫有什么用處

在那個遠古的時代,物理機器的配置很低,當數據量增大的時候,傳統的B+樹的高度會越來越高,我們對硬件資源的要求很高,機器往往內存爆倉、IO打滿等等。

這導致:

查詢速度顯著下降。復雜的查詢、索引失效、全表掃描等操作變得緩慢。

在大表中創建和維護索引可能會消耗大量的時間和資源。插入、更新和刪除操作可能需要花費更長的時間來維護索引,導致性能下降。

讀寫操作可能導致鎖沖突,降低系統的并發處理能力,甚至引發死鎖問題。

備份、恢復、數據清理、空間管理等操作變得困難,維護成本和風險增加。

等等。。

后來我們引出了第一個概念:分表

分表

在 5.1版本以前,MySQL并沒有分區的概念,為了解決這個問題,無非是單表拆成雙表、多表之類的,這樣將一個表要面臨的問題分散成了兩個表或者多個表共同承受。

反思當下,在當前這個物理資源冗余的時代,大部分業務場景下我們的單表真的會比分表的性能差很多嗎?有多少時候我們是為了分表而分表?我們的分表邏輯或許需要我們支持更多的功能,比如彈性、事務、一些查詢語句的改寫,然后一遍一遍的造輪子給運維帶來無盡的痛苦。

分庫

分表的解決能力還是有限的,我們一臺物理機器的能力也是有限的,這時候或許我們可以采用分表的形式,來避免熱點問題或者單機器壓力過載的問題。

將一個庫要面臨的問題分散成了兩個庫或者多個庫共同承受。

分區

?相關文檔

在5.1版本以后MySQL出了一個國內幾乎無人問津的分區表的功能。

分區表的實現原理其實和分表差不太多,不過它更靠近文件系統,而沒有經過MySQL的應用層或者引擎層。MySQL的物理數據,存儲在表空間文件(.ibdata1和.ibd)中,這里講的分區的意思是指將同一表中不同行的記錄分配到不同的物理文件中,幾個分區就有幾個.idb文件

隨著 MySQL 版本的更新迭代,分區功能也在后續版本中不斷得到改進和增強。具體的分區功能支持情況如下:

?MySQL 5.1:引入了 Range 和 List 兩種分區類型。支持基本的分區管理和查詢優化。

?MySQL 5.5:對分區表的查詢優化有所改進,提升了性能。

?MySQL 5.6:引入了更多的分區管理功能,包括 subpartition 子分區、分區交換操作、CHECK 約束等。

?MySQL 5.7:進一步增強了分區表的功能,包括 hash 分區類型、NOWAIT 選項、ALTER TABLE ... EXCHANGE PARTITION 和 ALTER TABLE ... REBUILD PARTITION 等操作。

?MySQL 8.0:繼續對分區表進行優化和增強,包括對于自動生成分區鍵值、分區表的查詢性能提升等方面的改進。

這樣看起來,這不完全Cover住了分表的概念嗎?甚至,這不比業界的分表做的還要好嗎。

那為什么我們還要癡迷于分表,或許我們可以采用分區的邏輯吧?

當然,還有一些延伸到運維操作,舉個例子:

分區表怎么擴容

詳見 ALTER TABLE 語句

1.創建新分區:使用 ALTER TABLE 命令添加新的分區。例如,如果是按照時間范圍分區的表,可以增加新的時間范圍的分區。

ALTER TABLE your_partitioned_table
ADD PARTITION (PARTITION p_new VALUES LESS THAN (new_value));

這里的 new_value 是新的分區范圍。

2. 數據遷移:使用 ALTER TABLE ... REORGANIZE PARTITION 命令將現有分區中的數據遷移到新的分區中。例如,可以通過將舊分區的數據移動到新分區來實現。

ALTER TABLE your_partitioned_table
REORGANIZE PARTITION old_partition INTO
(PARTITION p_new VALUES LESS THAN (new_value));

這里的 old_partition 是要移動數據的舊分區。

3. 數據清理(可選):在確認數據遷移成功后,可以考慮清理不再需要的舊分區。使用 ALTER TABLE ... DROP PARTITION 命令可以刪除不再需要的舊分區。

ALTER TABLE your_partitioned_table
DROP PARTITION old_partition;

這里的 old_partition 是要刪除的舊分區。

顯而易見,這是一個原地擴容操作,我們或許不需要引入什么復雜的組建或者邏輯去做resharding。

落地方案猜測

我們或許可以在單表業務場景下遇到問題瓶頸后采用分區的概念,如果分區不夠可以采用原地擴容邏輯。當機器達到瓶頸后采用分庫的概念達成分庫分區的邏輯。

這只是一個猜想,對于我們的數據庫廠商,其實只需要將這套邏輯維護好做到高可用的邏輯即可。

當然,圍繞著分區和物理數據庫我們還有很多擴展內容可以去做,但是這篇文章旨在說明,或許我們不應該被分庫分表約束了思維,或許我們不需要做分布式的邏輯,或許在機器性能良好的場景下我們單機器就可以cover住我們的數據量。

此外,一個數據庫產品或許應該做到serverless的概念,我們用戶不需要理解這么多的邏輯,至于分區或許這個看MySQL文檔都可以學習到。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • MySQL
    +關注

    關注

    1

    文章

    906

    瀏覽量

    29521
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Vivado時序約束中invert參數的作用和應用場景

    在Vivado的時序約束中,-invert是用于控制信號極性的特殊參數,應用于時鐘約束(Clock Constraints)和延遲約束(Delay Constraints)中,用于指定信號的有效邊沿或邏輯極性。
    的頭像 發表于 02-09 13:49 ?207次閱讀
    Vivado時序<b class='flag-5'>約束</b>中invert參數的作用和應用場景

    vivado中常用時序約束指令介紹

    在vivado中,我們常用的時序約束指令主要包括如下幾個方面。
    的頭像 發表于 01-20 16:15 ?302次閱讀

    輸入引腳時鐘約束_Xilinx FPGA編程技巧-常用時序約束詳解

    一、輸入約束Input ConstraintOFFSET IN約束限定輸入數據和輸入時鐘邊沿的關系。 1. 系統同步輸入約束System Synchronous Input 在系
    發表于 01-16 08:19

    從軟件到硬件的轉場:一場由OceanOS-CM0啟發的嵌入式思考

    編程的軟件開發者,初次接觸硬件時,那種面對具體物理世界的“手足無措”感十強烈。然而,OceanOS-CM0開發板及其配套資料卻提供一種獨特的橋梁——它讓我看到,軟硬件之間的鴻溝并非不可逾越,關鍵在于
    發表于 01-04 15:52

    基于MCU200T的蜂鳥E203不上板跑教程

    : (1)System文件 地址:e203_hbirdv2-master/e203_hbirdv2-master/fpga/mcu200t/src/system.v (這里我們選用的是mcu200t
    發表于 10-24 11:54

    時序約束問題的解決辦法

    Time 是否滿足約束我們要留意的是 WNS 和 WHS 兩個數值,如果這兩個數值為紅色,就說明時序不滿足約束。下面將解釋怎么解決這個問題。 1. Setup Time 違例 Setup
    發表于 10-24 09:55

    關于綜合保持時間約束不滿足的問題

    clock interaction,得到以下結果: 5、異步時鐘設置完成后,再重新綜合得到時序報告如下: 時序約束滿足
    發表于 10-24 07:42

    技術資訊 I Allegro 設計中的走線約束設計

    ,能夠在走線的時候清楚的知道目標在哪里,允許的誤差是多少、最小間距等。上期我們介紹了如何使用cadenceAllegro的規則“約束”孔,實現一鍵式快速生成孔;本期我
    的頭像 發表于 09-05 15:19 ?1327次閱讀
    技術資訊 I Allegro 設計中的走線<b class='flag-5'>約束</b>設計

    技術資訊 I 圖文詳解約束管理器-差分對規則約束

    !Allegro約束管理器搞差分對,簡直是把高速設計的「地獄模式」切換成「新手村」!上期我們介紹盲/埋孔的使用,本期我們將教會大家如何使用Cadence的
    的頭像 發表于 08-08 17:01 ?1196次閱讀
    技術資訊 I 圖文詳解<b class='flag-5'>約束</b>管理器-差分對規則<b class='flag-5'>約束</b>

    RISC-V 的平臺思維和生態思維

    Doorn 認為,RISC-V 擴展要擁抱 “平臺思維” 和 “生態思維”。 ? 在 7 月 17 日舉辦的第五屆(2025)RISC-V 中國峰會主論壇上,Leendert van Doorn 談到
    發表于 07-17 14:04 ?4186次閱讀

    PCB Layout 約束管理,助力優化設計

    本文重點PCBlayout約束管理在設計中的重要性Layout約束有助避免一些設計問題設計中可以使用的不同約束在PCB設計規則和約束管理方面,許多設計師試圖采用“一刀切”的方法,認為同
    的頭像 發表于 05-16 13:02 ?1043次閱讀
    PCB Layout <b class='flag-5'>約束</b>管理,助力優化設計

    PanDao:實際約束條件下成像系統的初始結構的生成

    的平均RMS光斑尺寸約為55 μm,色差校正效果中等。基于同等規格與約束我們采用自主研發的FTR初始透鏡生成器,在數分鐘內即創建出多個更加優質的設計方案。圖1展示由FTR程序生成的五類不同透鏡系統
    發表于 05-07 08:57

    FPGA時序約束之設置時鐘組

    Vivado中時序分析工具默認會分析設計中所有時鐘相關的時序路徑,除非時序約束中設置時鐘組或false路徑。使用set_clock_groups命令可以使時序分析工具不分析時鐘組中時鐘的時序路徑,使用set_false_path約束
    的頭像 發表于 04-23 09:50 ?1340次閱讀
    FPGA時序<b class='flag-5'>約束</b>之設置時鐘組

    一文詳解Vivado時序約束

    Vivado的時序約束是保存在xdc文件中,添加或創建設計的工程源文件后,需要創建xdc文件設置時序約束。時序約束文件可以直接創建或添加已存在的約束文件,創建
    的頭像 發表于 03-24 09:44 ?4828次閱讀
    一文詳解Vivado時序<b class='flag-5'>約束</b>

    VirtualLab Fusion應用:使用自定義的評價函數優化高NA束器

    我們演示兩種具有不同配置目標和約束的優化: ?在優化#1中,優先考慮均勻性誤差。 ?在優化#2中,0級也要最小化。 關于評價函數約束,用戶可以指定 ?單獨的目標值、范圍、下限或上限
    發表于 03-07 08:54