一、需求場景分析在實際的數(shù)據(jù)平臺運營管理過程中，數(shù)據(jù)表的規(guī)模往往隨著更多業(yè)務數(shù)據(jù)的接入以及數(shù)據(jù)應用的建設而逐漸增長到非常大的規(guī)模，數(shù)據(jù)管理人員往往希望能夠利用元數(shù)據(jù)的分析來更好地掌握不同數(shù)據(jù)表的使用情況，從而優(yōu)化數(shù)據(jù)模型。 一個MaxCompute項目中經(jīng)常使用的表簡稱為熱門表，使用次數(shù)較少或者很長時間不使用的表簡稱為冷門表，本文將介紹如何去通過MaxCompute元數(shù)據(jù)信息去分析熱門表和冷門表。二、方案設計思路MaxCompute Information_Schema提供了項目中全量的表元數(shù)據(jù)信息Tables以及包含訪問表的作業(yè)明細數(shù)據(jù)tasks_history，通過匯總各個表被作業(yè)訪問的次數(shù)可以獲知不同表被作業(yè)使用的頻度。詳細步驟如下：1、熱門數(shù)據(jù)通過獲取tasks_history表里的input_tables字段的詳細信息，然后通過count統(tǒng)計一定時間分區(qū)內(nèi)的各個表使用次數(shù) 2、冷門數(shù)據(jù)通過tables和tasks_history里的input_tables表的作業(yè)匯總數(shù)量進行關(guān)聯(lián)、排序，從而統(tǒng)計出各張表在規(guī)定時間內(nèi)的使用次數(shù)，正序排列三、方案實現(xiàn)方法1、獲取tasks_history表里的input_tables字段的詳細信息。如下圖所示：

查詢數(shù)據(jù)的結(jié)果如下圖所示：

發(fā)現(xiàn)在tasks_history表中input_tables字段格式為 ["lightning.customer","lightning.orders_delta"] 所以在統(tǒng)計的時候需要對字段進行按逗號分割 注意：案例中的時間分區(qū)可以根據(jù)需求去調(diào)整范圍，區(qū)間根據(jù)實際場景去做相應的調(diào)整 例如：Ds>='20190902' and Ds<='20190905'函數(shù)處理如下：

處理結(jié)果如下圖:

2、統(tǒng)計熱門表數(shù)據(jù)SQL編寫:

結(jié)果如下圖所示:

3、統(tǒng)計冷門表數(shù)據(jù)SQL編寫: 通過tables和tasks_history里的input_tables表的作業(yè)匯總數(shù)量進行關(guān)聯(lián)、排序，從而統(tǒng)計出各張表在規(guī)定時間內(nèi)的使用次數(shù)，正序排列。

結(jié)果如下所示：

所有的表按照使用次數(shù)進行排序 即可得到各個表的使用次數(shù)排序信息。從而去進行合理化的管理數(shù)據(jù)表。注意：SQL中的” your_project_name.”為表名前綴，客戶需要參照自己的實際數(shù)據(jù)去做相應的修改調(diào)整。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。