大數(shù)據(jù)計(jì)算服務(wù)(MaxCompute，原名ODPS)是一種快速、完全托管的TB/PB級數(shù)據(jù)倉庫解決方案。MaxCompute向用戶提供了完善的數(shù)據(jù)導(dǎo)入方案以及多種經(jīng)典的分布式計(jì)算模型，能夠更快速的解決用戶海量數(shù)據(jù)計(jì)算問題，有效降低企業(yè)成本，并保障數(shù)據(jù)安全。MaxCompute主要服務(wù)于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計(jì)算，可以提供海量數(shù)據(jù)倉庫的解決方案以及針對大數(shù)據(jù)的分析建模服務(wù)。隨著社會數(shù)據(jù)收集手段的不斷豐富及完善，越來越多的行業(yè)數(shù)據(jù)被積累下來。數(shù)據(jù)規(guī)模已經(jīng)增長到了傳統(tǒng)軟件行業(yè)無法承載的海量數(shù)據(jù)(百GB、TB、乃至PB)級別。在分析海量數(shù)據(jù)場景下，由于單臺服務(wù)器的處理能力限制，數(shù)據(jù)分析者通常采用分布式計(jì)算模式。但分布式的計(jì)算模型對數(shù)據(jù)分析人員提出了較高的要求，且不易維護(hù)。使用分布式模型，數(shù)據(jù)分析人員不僅需要了解業(yè)務(wù)需求，同時還需要熟悉底層計(jì)算模型。MaxCompute的目的是為用戶提供一種便捷的分析處理海量數(shù)據(jù)的手段。用戶可以不必關(guān)心分布式計(jì)算細(xì)節(jié)，從而達(dá)到分析大數(shù)據(jù)的目的。MaxCompute已經(jīng)在阿里巴巴集團(tuán)內(nèi)部得到大規(guī)模應(yīng)用，例如：大型互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)倉庫和BI分析、網(wǎng)站的日志分析、電子商務(wù)網(wǎng)站的交易分析、用戶特征和興趣挖掘等。MaxCompute的開發(fā)工具有三種方法，本文介紹MaxCompute客戶端的安裝、配置、測試方法以及可能遇見的問題。odpscmd是MaxCompute基礎(chǔ)客戶端，可以通過它訪問MaxCompute的項(xiàng)目空間并使用各項(xiàng)功能。

安裝步驟：第一步：下載安裝JDK（1.7或以上版本）因?yàn)閛dpscmd是基于JAVA開發(fā)的，所以需配置JAVA運(yùn)行環(huán)境。JDK大家可以在網(wǎng)上查找下載，我提供一個下載鏈接，僅供參考。https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlWindows版本和Mac OS版本選擇下載，下載完成之后，大家按照流程安裝即可。

第二步：配置JDKWindows版本： 1.右鍵選擇 計(jì)算機(jī)→屬性→高級系統(tǒng)設(shè)置→高級→環(huán)境變量 2.系統(tǒng)變量→新建 變量名：JAVA_HOME 變量值：變量值填填寫JDK的安裝目錄，例如本人是

3、在系統(tǒng)變量中找見Path變量，選擇編輯，再選擇新建，輸入

最后確認(rèn)就OK了。

4、檢查是否安裝完成。 在系統(tǒng)自帶cmd工具輸入檢測版本命令：java –version 當(dāng)出現(xiàn)下面內(nèi)容，則配置完成。

這個1.8.0_171是安裝的版本。 Mac OS版本： Mac OS配置環(huán)境變量這篇文章講的很清楚，大家參考一下：https://blog.csdn.net/vvv_110/article/details/72897142

第三步：下載odpscmd客戶端安裝包https://help.aliyun.com/document_detail/27971.html點(diǎn)擊上面的鏈接，找見下面的內(nèi)容即可下載。

第四步：解壓安裝包大家把安裝包下載到合適的硬盤當(dāng)中后，下載下來的都是zip文件，自帶的電腦壓縮工具應(yīng)該都可以解壓，如果不可以解壓，大家下載一個zip解壓工具就好。解壓之后，就會出現(xiàn)四個文件夾bin、conf、lib、plugins。

第五步：配置客戶端編輯conf文件夾中的odps_config.ini文件，對客戶端進(jìn)行配置，如下所示： access_id=*access_key=* Accesss ID及Access Key是用戶的云賬號信息，可登錄阿里云官網(wǎng)，進(jìn)入管理控制臺accesskeys頁面進(jìn)行查看。 project_name=my_project # 指定用戶想進(jìn)入的項(xiàng)目空間。 end_point=https://service.odps.aliyun.com/api # MaxCompute服務(wù)的訪問鏈接。 tunnel_endpoint=https://dt.odps.aliyun.com # MaxCompute Tunnel服務(wù)的訪問鏈接。 log_view_host=http://logview.odps.aliyun.com 當(dāng)用戶執(zhí)行一個作業(yè)后，客戶端會返回該作業(yè)的LogView地址。打開該地址將會看到作業(yè)執(zhí)行的詳細(xì)信息。 https_check=true #決定是否開啟HTTPS訪問 因?yàn)?ini文件電腦默認(rèn)打開的是txt的應(yīng)用，電腦自帶的文本文檔打開之后是一長溜，不利于觀看，大家可以自行下載一些txt查看工具，比如notepad什么的，利于觀看。 因?yàn)殚_通服務(wù)的地區(qū)不同，需要根據(jù)自己開通Regoin情況以及數(shù)據(jù)所在Regoin進(jìn)行end_point和tunel_endpoint配置，可參考官方文檔：https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN

配置完保存即可。

第六步：運(yùn)行客戶端修改好配置文件后，便可運(yùn)行bin目錄下的MaxCompute客戶端（Linux系統(tǒng)下運(yùn)行./bin/odpscmd，Windows下運(yùn)行./bin/odpscmd.bat）

第七步：測試是否安裝完成可在客戶端中運(yùn)行測試語句，示例如下： create table tbl1(id bigint); insert overwrite table tbl1 select count(*) from tbl1; select 'welcome to MaxCompute!' from tbl1; 如果出現(xiàn)以下結(jié)果，則表明安裝正確。

可能碰見的問題：1、沒有安裝JDK，沒有配置環(huán)境變量，直接運(yùn)行odpscmd報(bào)錯。 2、查看系統(tǒng)80端口，一般是打開的。端口關(guān)閉也會導(dǎo)致運(yùn)行報(bào)錯。 3、config配置文件沒有配置正確，特別注意空間名稱以及endpoint，導(dǎo)致客戶端無法正常使用。 4、如碰見其他問題，可MaxCompute開發(fā)者社區(qū)群內(nèi)咨詢。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。