作者:京東保險 王奕龍
物流的分揀業務在某些分揀場地只有一個數據源,因為數據量比較大,將所有數據存在一張表內查詢速度慢,也為了做不同設備數據的分庫管理,便在這個數據源內創建了多個不同庫名但表完全相同的數據庫
現在需要上線報表服務來查詢所有數據庫中的數據進行統計,那么現在的問題來了,該如何 滿足在配置一個數據源的情況下來查詢該數據源下不同數據庫的數據 呢,借助搜索引擎查到的分庫實現大多是借助 Sharding-JDBC 框架,配置多個數據源根據分庫算法實現數據源的切換,但是對于只有一個數據源的系統來說,我覺得引入框架再將單個數據源根據不同的庫名配置成多個不同的數據源來實現分庫查詢的邏輯我覺得并不好。
如果我們能在 SQL 執行前將 SQL 中所有的表名前拼接上對應的庫名的話,那么就能夠實現數據源的切換了,下面我們講一下使用 JSqlParser 和 Mybatis攔截器 實現該邏輯,借助 JSqlParser 主要是為了解析SQL,找到其中所有的表名進行拼接,如果大家有更好的實現方式,該組件并不是必須的。
實現邏輯
SqlSource 是讀取 XML 中 SQL 內容并將其發送給數據庫執行的對象,如果我們在執行前能攔截到該對象,并將其中的 SQL 替換掉便達成了我們的目的。 SqlSource 有多種實現,包括常見的DynamicSqlSource。其中包含著必要的執行邏輯,我們需要做的工作便是在這些邏輯執行完之后,對 SQL 進行改造,所以這次實現我們使用了 裝飾器模式,在原來的 SqlSource 上套一層,執行完 SqlSource 本身的方法之后對其進行增強,代碼如下:
public abstract class AbstractDBNameInterceptor {
/**
* SqlSource 的裝飾器,作用是增強了 getBoundSql 方法,在基礎上增加了動態分庫的邏輯
*/
static class SqlSourceDecorator implements SqlSource {
/**
* SQL 字段名稱
*/
private static final String SQL_FIELD_NAME = "sql";
/**
* 原本的 sql source
*/
private final SqlSource sqlSource;
/**
* 裝飾器進行封裝
*/
public SqlSourceDecorator(SqlSource sqlSource) {
this.sqlSource = sqlSource;
}
@Override
public BoundSql getBoundSql(Object parameterObject) {
try {
// 先生成出未修改前的 SQL
BoundSql boundSql = sqlSource.getBoundSql(parameterObject);
// 獲取數據庫名
String dbName = getSpecificDBName(parameterObject);
// 有效才修改
if (isValid(dbName)) {
// 生成需要修改完庫名的 SQL
String targetSQL = getRequiredSqlWithSpecificDBName(boundSql, dbName);
// 更新 SQL
updateSql(boundSql, targetSQL);
}
return boundSql;
} catch (Exception e) {
throw new RuntimeException(e);
}
}
/**
* 校驗是否為有效庫名
*/
private boolean isValid(String dbName) {
return StringUtils.isNotEmpty(dbName) && !"null".equals(dbName);
}
/**
* 獲取到我們想要的庫名的 SQL
*/
private String getRequiredSqlWithSpecificDBName(BoundSql boundSql, String dbName) throws JSQLParserException {
String originSql = boundSql.getSql();
// 獲取所有的表名
Set tables = TablesNamesFinder.findTables(originSql);
for (String table : tables) {
originSql = originSql.replaceAll(table, dbName + "." + table);
}
return originSql;
}
/**
* 修改 SQL
*/
private void updateSql(BoundSql boundSql, String sql) throws NoSuchFieldException, IllegalAccessException {
// 通過反射修改sql語句
Field field = boundSql.getClass().getDeclaredField(SQL_FIELD_NAME);
field.setAccessible(true);
field.set(boundSql, sql);
}
}
// ...
}
定義了 AbstractDBNameInterceptor 抽象類是為了實現復用,并將 SqlSourceDecorator 裝飾器定義為靜態內部類,這樣的話,將所有邏輯都封裝在抽象類內部,之后這部分實現好后研發直接實現抽象類的通用方法即可,不必關注它的內部實現。
結合注釋我們解釋一下 SqlSourceDecorator 的邏輯,其中用到了 Java 反射相關的操作。首先通過反射獲取到 SQL,getSpecificDBName 方法是需要自定義實現的,其中 parameterObject 對象是傳到 DAO 層執行查詢時的參數,在我們的業務中是能夠根據其中的設備相關參數拿到對應的所在庫名的,而設備和具體庫名的映射關系需要提前初始化好。在獲取到具體的庫名后執行 getRequiredSqlWithSpecificDBName 方法來將其拼接到表名前,在這里我們使用到了 JSqlParser 的工具類,解析出來所有的表名,執行字符串的替換,最后一步同樣是使用反射操作將該參數值再寫回去,這樣便完成了指定庫名的任務。
接下來我們需要看下抽象攔截器中供攔截器復用的方法,如下:
public abstract class AbstractDBNameInterceptor {
/**
* SqlSource 字段名稱
*/
private static final String SQL_SOURCE_FIELD_NAME = "sqlSource";
/**
* 執行修改數據庫名的邏輯
*/
protected Object updateDBName(Invocation invocation) throws Throwable {
// 裝飾器裝飾 SqlSource
decorateSqlSource((MappedStatement) invocation.getArgs()[0]);
return invocation.proceed();
}
/**
* 裝飾 SqlSource
*/
private void decorateSqlSource(MappedStatement statement) throws NoSuchFieldException, IllegalAccessException {
if (!(statement.getSqlSource() instanceof SqlSourceDecorator)) {
Field sqlSource = statement.getClass().getDeclaredField(SQL_SOURCE_FIELD_NAME);
sqlSource.setAccessible(true);
sqlSource.set(statement, new SqlSourceDecorator(statement.getSqlSource()));
}
}
}
這個還是比較簡單的,只是借助反射機制做了一層“裝飾”,查詢攔截器實現如下:
@Intercepts({
@Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}),
@Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class, CacheKey.class, BoundSql.class})
})
public class SelectDBNameInterceptor extends AbstractDBNameInterceptor implements Interceptor {
@Override
public Object intercept(Invocation invocation) throws Throwable {
return updateDBName(invocation);
}
}
將其配置到 Mybatis 攔截器中,便能實現數據庫動態切換了。
審核編輯 黃宇
-
數據庫
+關注
關注
7文章
4019瀏覽量
68339 -
mybatis
+關注
關注
0文章
64瀏覽量
7139
發布評論請先 登錄
lanbview怎么與數據庫連接?
LabView動態創建數據源的方法
LabVIEW連接Access數據庫的問題
QuickBI助你成為分析師——搞定數據源
數據倉庫入門之創建數據源
Mybatis 攔截器實現單數據源內多數據庫切換
評論