一、格式化文件系統(tǒng)
通過前面的學(xué)習(xí),此時還不能直接啟動集群,因?yàn)樵诔醮螁親DFS集群時,編寫對主節(jié)點(diǎn)進(jìn)行格式化處理,具體指令如下:
hdfs namenode -format(只需要在主節(jié)點(diǎn)運(yùn)行即可或hadoop namenode -format)
執(zhí)行以上任意一條命令若出現(xiàn)“successfully formatted”文字表示格式化成功,然后就可以啟動集群了。
二、啟動和關(guān)閉Hadoop集群
1.單個節(jié)點(diǎn)逐個啟動和關(guān)閉
a.在主節(jié)點(diǎn)運(yùn)行namenode進(jìn)程
hadoop-daemon.sh start namenode
b.在每個從節(jié)點(diǎn)運(yùn)行datanode進(jìn)程
hadoop-daemon.sh start datanode
c.在主節(jié)點(diǎn)運(yùn)行yarn resourcemanger進(jìn)程
yarn-daemon.sh start resourcemanager
d.在每個從節(jié)點(diǎn)運(yùn)行yarn nodemanger進(jìn)程
yarn-daemon.sh start nodemanager
e.在規(guī)劃節(jié)點(diǎn)hadoop02使用以下指令啟動secondarynamenode進(jìn)程
hadoop-daemon.sh start secondarynamenode
運(yùn)行完成以上進(jìn)程命令,如何判斷是否成功?需要jps命令查看當(dāng)前虛擬機(jī)進(jìn)程,hadoop01是四個進(jìn)程hadoop02是三個進(jìn)程hadoop03是兩個進(jìn)程
2.腳本一鍵啟動和關(guān)閉
(1)在主節(jié)點(diǎn)hadoop01上使用以下指令啟動所有HDFS服務(wù)進(jìn)程:
start-dfs.sh
(2)在主節(jié)點(diǎn)hadoop01上使用以下指令啟動所有YARN服務(wù)進(jìn)程:
start-yarn.sh
如果需要停止相關(guān)服務(wù)進(jìn)程,只需要將start改為stop即可(即stop-dfs.sh和stop-yarn.sh)
hadoop01 192.168.21.164
通過訪問以上IP+端口地址(50070 8088兩個端口)
http:192.168.21.164:50070http:192.168.21.164:8088
如果沒有關(guān)閉防火墻,可能導(dǎo)致無法訪問,則使用以下命令關(guān)閉防火墻:
systemctl stop firewalld(三臺機(jī)器都要關(guān)閉)
如果以主機(jī)名來訪問二大集群
http://hadoop01:50070http://hadoop01:8088
則必須配置宿主機(jī)hosts文件在C:\Windows\System32\drivers\etc填寫如下內(nèi)容:
192.168.21.164 hadoop01192.168.21.165 hadoop02192.168.21.166 hadoop03
-
集群
+關(guān)注
關(guān)注
0文章
149瀏覽量
17683 -
虛擬機(jī)
+關(guān)注
關(guān)注
1文章
973瀏覽量
30655 -
Hadoop
+關(guān)注
關(guān)注
1文章
90瀏覽量
16978
發(fā)布評論請先 登錄
什么是虛擬機(jī)?虛擬機(jī)真的那么好用嗎?
學(xué)hadoop需要什么基礎(chǔ)
Hadoop的集群環(huán)境部署說明
超詳細(xì)Dkhadoop虛擬機(jī)圖文安裝步驟
求一種基于集群的技術(shù)和基于虛擬機(jī)重啟的技術(shù)
如何搭建hadoop平臺_hadoop平臺搭建步驟
云環(huán)境下虛擬機(jī)集群系統(tǒng)動態(tài)負(fù)載均衡機(jī)制
你會用VMware虛擬機(jī)安裝Linux系統(tǒng)?
虛擬機(jī):Hadoop集群的測試
評論