国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MySQL join的語義學習

數據分析與開發 ? 來源:博客 ? 作者:Spongecaptain's ? 2021-10-22 16:41 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1. 數學基礎:笛卡爾乘積

笛卡爾乘積是一個數學概念:

笛卡爾乘積是指在數學中,兩個集合 X 和 Y 的笛卡爾積(Cartesian product),又稱直積,表示為 X × Y,第一個對象是 X 的成員而第二個對象是 Y 的所有可能有序對的其中一個成員。公式表示就是如下:

1X×Y = {(x,y)|x∈X,y∈Y}

案例:

1 2 3X = {1,2} Y = {a,b,c} X×Y = {(1,a),(1,b),(1,c),(2,a),(2,b),(2,c)}

如果對同一個數據庫的兩張表進行 join 操作,例如表 A 記錄 c~1,1~、c~1,2~、c~1,3~,表 B 有 c~2,1~ 以及 c~2,2~ 字段。

那么笛卡爾乘積的結果是:

c~1,1~+c~2,1~、c~1,1~+c~2,2~、c~1,2~+c~2,1~、c~1,2~+c~2,2~、c~1,3~+c~2,1~、c~1,3~+c~2,2~ 共 6 條記錄。其中 + 的含義是兩條記錄并做一條記錄。

2. join 的作用是什么?

join 是關系型數據庫在關系二字上的集中體現,其作用在于將兩張及以上表根據列中字段間的相關關系,將多表中的行融合在一起。

3. 不同的 join 類型的語義

join 類型語義

cross joinCross 即交叉,代表笛卡爾乘積中符號 ×,其也就是兩表的笛卡爾乘積結果

inner join語義上等效為從笛卡爾乘積中選出符合條件的交集記錄

left join語義上等效為從笛卡爾乘積中選出符合條件的交集記錄+左表剩余的所有記錄(把左表記錄作為基礎,依次添加右表字段,如果符合 ON 記錄,那么賦值為右表字段值,否則賦值為 NULL)

right join語義上等效為從笛卡爾乘積中選出符合條件的交集記錄+右表剩余的所有記錄

full joinMySQL 并不支持 full join,不過可以等效為相同條件的 left join 與 right 的 union

full join 補充說明,在 MySQL 中如下語句是一個典型的 Full join:

1 2 3select * from t1 left join t2 on t2.name = t1.name union select * from t1 right join t2 on t2.name = t1.name;

也可以用集合的語言來表示,如下圖所示:

9b396e4a-322f-11ec-82a8-dac502259ad0.png

在 SQL 實際上又把 inner join 稱為內連接,其余所有 join 類型都稱為外連接。因此 join 有等效別名關鍵字:

inner join:join

顯示(explicit) inner join 與隱式(implicit) inner join 性能上沒有區別。

left join:left outer join

right join:right outer join

cross join:cross outer join

full join:full outer join

LEFT JOIN 和 RIGHT JOIN沒什么差別,兩者的結果差異取決于左右表的放置順序。

4. 典型帶有 join 的 SQL 語法分析

典型帶有 join 的 SQL 語句如下所示:

1 2 3 4 5SELECT 《row_list》 FROM 《left_table》 《inner|left|right》 JOIN 《right_table》 ON 《join condition》 WHERE 《where_condition》

我們按照 SQL 語句的執行順序來對上述 SQL 語句進行說明:

注意事項:下面的說法僅僅從 MySQL 執行語義上進行說明,實際上 MySQL 在內存中不會建立 vt1、vt2、vt3 表。

FROM:MySQL 中 FROM 子句總是第一個被執行的,FROM 的作用是對 join 涉及的多個表進行笛卡爾乘積 vt1 表,結果有 m*n 行(m 為左表的行數,n 為右表的行數);

ON:新建一張 vt2 表,并根據 ON 的條件篩選 vt1 表,符合條件的行加入到 vt2 中;

ON 只有對 Cross join 不是必須的。

JOIN:如果是 left join 或者 right join,那么就需要添加外部行,如果是 inner join 就不需要添加外部行。添加外部行以 left join 為例,首先遍歷左表的每一行,其中不在 vt2 中的行會被添加到 vt2 中,不屬于左表的字段會被置為 NULL,最終形成 vt3;

WHERE:對 vt3 表按照條件進行過濾,滿足條件的行被輸出到 vt4;

SELECT:從 vt4 中取出指定的字段到 vt5;

ON 與 WHERE 的區別是什么?

ON 與 WHERE 在使用 inner join 時,無論是在結果上還是在性能上都沒有區別。

從結果上看,inner join 中無論條件寫在 ON 還是 WHERE 后,結果相同。在使用 left/left join 時,結果有區別。例如,在 left join 中對 ON 后不符合條件的左表中的行還是會被納入到結果中,但是卻可以被 WHERE 后的條件過濾掉。

從效率的角度上看,雖然很多中文資源認為有所區別,但實際上沒區別,可以參考:SQL JOIN - WHERE clause vs. ON clause,查詢優化器會避免寫法的不同導致執行效率的不同。

5. join 性能優化

5.1 join 可以跨庫嗎?

MySQL 可以利用 FEDERATED 引擎等方式實現跨庫 join,但查詢效率實際上并不高。通常認為 MySQL join 操作指的同數據庫的多表 join。

5.2 join 內部執行過程與索引

在單表查詢中,我們通常會強調兩點:

WHERE 后的字段是否可以走索引,如果不行,那么將直接走簇集索引,進行全表掃描,效率很差;

SELECT 后的字段是否可以走覆蓋索引,如果不行,那么則需要回表到簇集索引;

但在 join 多表問題中,索引不僅僅需要考慮上述兩個問題。

MySQL 中的 join 操作并不會在內存中構造臨時表,第四節中的說法只是方便從語義上進行理解。join 具體如何執行取決于查詢優化器的選擇。

MySQL 支持如下三種 join 操作(以兩張表 join 為例):

nested loop join:利用嵌套 for 循環對兩張表中的每一行數據進行兩兩比較。需要遍歷第一張表 n 行,每一行都需要進行時間復雜度為 O(n) 的非索引查詢,因此總的比較的時間復雜度為 O(n^2^)

block nested loop join:對 nested loop join 的優化,利用對第一張表的行進行查詢緩存,這樣內層 for 循環中第二張表的每一條行數據一次性與第一張表的多條行數據進行比較,減少了對內表的比較次數。需要遍歷第一張表 n 行,每 k 行都需要進行時間復雜度為 O(n) 的非索引查詢,因此總的比較的時間復雜度為 O(n^2^/k),k 為常數。

index nested loop join:從第一張表讀一行,然后在第二張表的索引中查找這個數據,索引是 B+ 樹索引。需要遍歷第一張表 n 行,每一行都需要進行時間復雜度為 O(logn) 的非索引查詢,因此總的比較的時間復雜度為 O(nlogn)。

batched key access join:其也是利用對外循環表的字段進行緩存,減少對內循環表的訪問次數。比較次數得到一定減少,但是比較的時間復雜度還是為 O(nlogn/k),k 為常數。

可見,join 操作的性能非常取決于第二張表是否基于索引進行查詢。不過,為什么不要求第一張表也使用索引?

實際上,第一張表被稱為驅動表,亦可稱之為基表,MySQL 總是要遍歷該表的所有行,每一行都去第二張表中進行匹配查詢。遍歷可以不建立索引,走簇集索引即可,而查詢操作則需要依賴于二級索引。

那么,MySQL 如何決定將哪一張表作為驅動表呢?

MySQL 選擇驅動表的原則是:在對最終結果集沒影響的前提下,優先選擇結果集最少的那張表作為驅動表。原因在于驅動表的行數決定了在非驅動表中進行查詢的次數,驅動表行數越少,進行查詢的次數越少。

如果是 left join,那么基表通常是 left join 左側表,right join 的基表通常為 right join 右側表。

因此,我們要非常注意非驅動表的索引,在 ON 以及 WHERE 后的字段都應該被索引覆蓋。

5.3 join 與數據庫范式

數據庫范式有若干條[4],定義偏于學術性,但核心思路是簡潔明了的:數據庫范式目的是使結構更合理,消除存儲異常,使數據冗余盡量小,便于插入、刪除和更新。

join 操作的原因就在于多表之間有關系并且多個表之間數據幾乎沒有冗余。

舉一個例子,我們有三個表:

student(id,name)

class(id,description)

student_class(student_id,class_id)

如果要查詢一個學生對應的班級描述,那么就需要對上述三標進行 join,join 的性能問題可能會使我們產生擔心。

為此,我們可以故意破壞范式,制造出一張存在冗余的“大表”:

student_class_full(student_id, class_id, name, description)

你會發現,class 的 description 可能存儲在兩個表中(student_class_full 與 class),這不符合范式,并且為寫操作帶來了一致性問題以及寫性能下降。另一方面,我們不再需要使用 join 來完成查詢,讀性能得到提高。

可見,在一些場景下,我們可以選擇破壞數據庫范式,避免使用 join 來提高讀性能。代價是不同表之間出現的字段冗余、寫性能下降,寫操作出現多表間的一致性問題。

5.4 join 來代替子查詢

join 比子查詢在空間復雜度上要低,因此很多人建議利用 join 來代替子查詢:

子查詢:執行子查詢時,MYSQL 需要創建臨時表,查詢完畢后再刪除這些臨時表,所以,子查詢的速度會受到一定的影響,這里多了一個創建和銷毀臨時表的過程。

join:正如 5.3 小節所述,join 走嵌套查詢。小表驅動大表,通過索引字段進行關聯。

6. 是否應當使用 join?

阿里巴巴在 Java 開發手冊中建議[8]:超過三個表禁止 join。需要 join 的字段,數據類型保持絕對一致。

可見,阿里巴巴的意思是可以用 join,但是不要超過3張表。

(1)為什么 join 表的個數不能太多?

雖然我們可以利用索引來優化查詢,但是如果是 k 張 n 行的數據庫進行 join 查詢,最壞的情況下時間復雜度為 O(n*(logn)^k-1^),因此 join 表的數量應當得到控制。

例如,我們假設每一張表的行數為 1000,000 行,那么時間復雜度有:

join 表的數量(k)時間復雜度

220*1000,000

3400*1000,000

48000*1000,000

kO(n*(logn)^k-1^)

(2)為什么可以使用 join?

很多場景下 join 是最優選擇。例如兩張表各有 10W 條數據,我們的確可以利用 service 層,分兩步向兩個數據庫索要對應的行數據,然后在 service 層完成數據行的關聯與過濾。但是 2*10 W 行數據有很大的網絡傳輸壓力,并且會對 service 層所在的服務器內存有一定壓力。而 join 在 mysql server 處實際可能僅僅會得到 100 條符合要求的記錄,那么對比起來,在 service 層的額外開銷更難以接受。

當然,分庫的 join 避免不了網絡傳輸的額外開銷(排除一機多庫)。

SUMMARY

基于笛卡爾乘積,我們能夠方便地從語義上理解 MySQL 各種 join 語義;

第 4 節從語義上說明了典型帶有 join 的 SQL 語法的執行過程,但是注意其內部并不會建立多個虛擬表;

第 5 節分析了 join 操作的內部機制:join 基于小表驅動大表地進行嵌套查詢,被驅動表是否能夠走索引進行查詢將決定整個 join 語句的執行效率;

第 6 節分析了 join 使用建議,并給出其時間復雜度模型,解釋了阿里巴巴建議 join 表數量不應當超過 3 張的原因;

作者:spongecaptain

https://spongecaptain.cool/post/mysql/joininmysql/

責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • MySQL
    +關注

    關注

    1

    文章

    905

    瀏覽量

    29518
  • Join
    +關注

    關注

    0

    文章

    9

    瀏覽量

    3537

原文標題:MySQL join 學習

文章出處:【微信號:DBDevs,微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    恒訊科技解析:如何安裝MySQL并創建數據庫

    安裝和管理MySQL不必復雜。只需幾分鐘,你就能在Linux服務器上搭建MySQL,創建第一個數據庫,甚至自動化備份——同時確保數據安全有序。 什么是 MySQL? MySQL 是一個
    的頭像 發表于 01-14 14:25 ?175次閱讀

    工業數據中臺支持接入MySQL數據庫嗎

    工業數據中臺完全支持接入MySQL數據庫 ,且通過數據同步、集成與治理等技術手段,能夠充分發揮MySQL在數據存儲與事務處理方面的優勢,同時彌補其在數據分析與共享能力上的不足,具體分析如下: 技術
    的頭像 發表于 12-04 11:23 ?375次閱讀
    工業數據中臺支持接入<b class='flag-5'>MySQL</b>數據庫嗎

    CentOS 7下MySQL 8雙主熱備高可用架構全解

    Centos7部署MySQL8+keepalived雙主熱備(含Keepalived配置與GTID同步優化方案) 架構拓撲原理 GTID同步 VIP 192.168.1.100 MySQL主節點1
    的頭像 發表于 08-12 17:08 ?830次閱讀

    MySQL配置調優技巧

    上個月,我們公司的核心業務系統突然出現大面積超時,用戶投訴電話不斷。經過緊急排查,發現是MySQL服務器CPU飆升到99%,大量慢查詢堆積。通過一系列配置調優和SQL優化,最終在30分鐘內恢復了服務。
    的頭像 發表于 07-31 10:27 ?607次閱讀

    MySQL 8.0性能優化實戰指南

    作為一名運維工程師,MySQL數據庫優化是我們日常工作中最具挑戰性的任務之一。MySQL 8.0作為當前主流版本,在性能、安全性和功能上都有了顯著提升,但如何充分發揮其潛力,仍需要我們掌握正確的優化策略。
    的頭像 發表于 07-24 11:48 ?850次閱讀

    MySQL的組成結構與結構化查詢語言詳解

    MySQL作為世界上最流行的開源關系型數據庫管理系統,采用了分層架構設計
    的頭像 發表于 07-14 11:21 ?640次閱讀

    MySQL數據備份與恢復策略

    數據是企業的核心資產,MySQL作為主流的關系型數據庫管理系統,其數據的安全性和可靠性至關重要。本文將深入探討MySQL的數據備份策略、常用備份工具以及數據恢復的最佳實踐,幫助運維工程師構建完善的數據保護體系。
    的頭像 發表于 07-14 11:11 ?726次閱讀

    企業級MySQL數據庫管理指南

    在當今數字化時代,MySQL作為全球最受歡迎的開源關系型數據庫,承載著企業核心業務數據的存儲與處理。作為數據庫管理員(DBA),掌握MySQL的企業級部署、優化、維護技能至關重要。本文將從實戰角度出發,系統闡述MySQL在企業環
    的頭像 發表于 07-09 09:50 ?717次閱讀

    介紹三種常見的MySQL高可用方案

    在生產環境中,為了確保數據庫系統的連續可用性、降低故障恢復時間以及實現業務的無縫切換,高可用(High Availability, HA)方案至關重要。本文將詳細介紹三種常見的 MySQL 高可用
    的頭像 發表于 05-28 17:16 ?1236次閱讀

    MYSQL集群高可用和數據監控平臺實現方案

    該項目共分為2個子項目,由MYSQL集群高可用和數據監控平臺兩部分組成。
    的頭像 發表于 05-28 10:10 ?1308次閱讀
    <b class='flag-5'>MYSQL</b>集群高可用和數據監控平臺實現方案

    MySQL數據庫采集網關是什么?有什么功能?

    MySQL數據庫采集網關是一種用于連接、采集、處理并傳輸數據到MySQL數據庫的中間設備或軟件系統,通常部署在數據源與MySQL數據庫之間,作為數據交互的橋梁。它在工業物聯網、智能樓宇、能源管理等
    的頭像 發表于 05-26 15:20 ?661次閱讀

    MySQL數據庫是什么

    MySQL數據庫是一種 開源的關系型數據庫管理系統(RDBMS) ,由瑞典MySQL AB公司開發,后被Oracle公司收購。它通過結構化查詢語言(SQL)進行數據存儲、管理和操作,廣泛應用于Web
    的頭像 發表于 05-23 09:18 ?1205次閱讀

    MySQL簡介與理論基礎

    MySQL是世界上最流行的開源關系型數據庫管理系統之一,廣泛應用于網站、應用程序和企業級系統。它采用客戶端/服務器架構,支持多用戶環境,并基于SQL(結構化查詢語言)標準。
    的頭像 發表于 05-21 10:43 ?729次閱讀

    除了增刪改查你對MySQL還了解多少

    我們都知道MySQL服務器的默認端口為3306,之后就在這個端口號上等待客戶端進程進行連接(MySQL服務器會默認監聽3306端口)。
    的頭像 發表于 04-14 17:20 ?720次閱讀