MetaStoreServer節(jié)點(diǎn)配置修改如下：

?

?

10.43.183.121節(jié)點(diǎn)的MetaStoreServer配置10.43.183.121節(jié)點(diǎn)上的MySQL

10.43.183.122節(jié)點(diǎn)的MetaStoreServer配置10.43.183.122節(jié)點(diǎn)上的MySQL

SparkSQL添加對(duì)應(yīng)配置：

?

?

2.?Beeline連接10.43.183.121節(jié)點(diǎn)的SparkSQL。

3.?創(chuàng)建表test，分別查找兩個(gè)MySQL的hiveomm數(shù)據(jù)庫(kù)的tbls表，可以看到test記錄，表明元數(shù)據(jù)同步成功。

4.?將SparkSQL當(dāng)前連接的MetaStoreServer（通過日志看到）對(duì)應(yīng)的MySQL停掉。

5.?Beeline 界面執(zhí)行“show tables”命令，查詢異常。

6.?斷開Beeline連接并多次重新連接10.43.183.121節(jié)點(diǎn)的SparkSQL，連接出現(xiàn)異常。

7.?用SQL url連接SparkSQL服務(wù)!connectjdbc:hive2://10.43.183.121:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkThriftServer始終無法連接上SparkSQL服務(wù)，通過“show tables”命令可以查到test表。

8.?重新啟動(dòng)MySQL節(jié)點(diǎn)，Beeline重新連接10.43.183.121節(jié)點(diǎn)，可以連接到SparkSQL節(jié)點(diǎn)。執(zhí)行“show tables”命令，可以查詢到test表信息。

測(cè)試結(jié)論：

?

MySQL之間的元數(shù)據(jù)可以同步。

?

?

MySQL節(jié)點(diǎn)掛掉會(huì)導(dǎo)致Beeline無法查詢。

?

?

MySQL節(jié)點(diǎn)掛掉的情況下，Beeline重新連接SparkSQL節(jié)點(diǎn)，無法連接到對(duì)應(yīng)的SparkSQL節(jié)點(diǎn)。

?

?

MySQL節(jié)點(diǎn)掛掉的情況下，Beeline通過SQL URL連接SparkSQL服務(wù)無法連接到對(duì)應(yīng)的SparkSQL服務(wù)。

?

?

場(chǎng)景三： 代碼的JDBC接口連接到SparkSQL服務(wù)

?

服務(wù)配置同場(chǎng)景一中的方式，通過JDBC連接到SparkSQL節(jié)點(diǎn)，示例代碼如下：

?

public static void main(String[] args)
{
??? int num = 0;
??? Connection conn = null;
??? ResultSet rs = null;
??? PreparedStatement pstat = null;
??? while (num < 3)
??? {
??????? num = num + 1;
??????? try
??????? {
??????????? Class.forName("org.apache.hive.jdbc.HiveDriver");
??????????? if (conn == null)
??????????? {
??????????????? if (args.length > 0)
????? ??????????????conn = DriverManager.getConnection(args[0], "mr", "mr");
??????????????? else
??????????????????? conn = DriverManager
??????????????????????? .getConnection("jdbc:hive2://10.43.183.121:18000", "mr", "mr");
??????????? }
??????????? pstat = conn.prepareStatement("select * from test");
??????????? rs = pstat.executeQuery();
?
??????????? while (rs.next())
??????????? {
??????????????? System.out.println(rs.getString("name"));
??????????? }
??????????? break;
??????? } catch (Exception e)
??????? {
??????????? e.printStackTrace();
??????????? try
??????????? {
??????????????? conn = DriverManager
??????????????????? .getConnection("jdbc:hive2://10.43.183.122:18000", "mr", "mr");
??????????? } catch (SQLException e1)
??????????? {
??????????????? e1.printStackTrace();
??????????? }
??????? } finally
??????? {
??????????? try
??????????? {
??????????????? rs.close();
??????????????? pstat.close();
??????????????? conn.close();
??????????? } catch (SQLException e)
????? ??????{
??????????????? e.printStackTrace();
??????????? }
??????? }
?
??? }
}

?

測(cè)試結(jié)論：

?

通過JDBC連接到SparkSQL節(jié)點(diǎn)可以通過異常捕獲的方式實(shí)現(xiàn)實(shí)現(xiàn)MySQL節(jié)點(diǎn)故障之后獲取SparkSQL服務(wù)。

?

?

測(cè)試結(jié)論

?