前言

1. 華為云X實(shí)例介紹及優(yōu)勢

1.1 柔性算力

1.2 vCPU和內(nèi)存的靈活配比

1.3 成本效益與性能

2. 安裝并運(yùn)行 Docker

2.1 修改倉庫配置文件

2.2 安裝 Docker

2.3 啟動(dòng) Docker

3. 使用Docker部署Elasticsearch

3.1 拉取Elasticsearch鏡像

3.2 啟動(dòng)Elasticsearch容器

3.3 驗(yàn)證Elasticsearch

4. 安裝Apache Benchmark (ab) 工具

5. 使用 ab 工具對 Elasticsearch 進(jìn)行評測

5.1 運(yùn)行 Elasticsearch 查詢評測

5.2 查看評測結(jié)果

5.3 調(diào)整并發(fā)請求和請求數(shù)

6. 總結(jié)

前言

隨著數(shù)據(jù)量的不斷增加，企業(yè)對高效搜索和數(shù)據(jù)分析的需求也在快速增長。Elasticsearch 作為一款分布式的全文搜索引擎，因其高性能和可擴(kuò)展性，廣泛應(yīng)用于大數(shù)據(jù)場景。在本篇文章中，我將介紹如何在華為云上通過 Docker 容器化部署 Elasticsearch，并通過工具對其進(jìn)行性能評測。整篇文章將涵蓋從環(huán)境準(zhǔn)備、部署、到性能評測的詳細(xì)步驟和代碼示例，幫助讀者在華為云上快速搭建一個(gè)高效的 Elasticsearch 系統(tǒng)。

1. 華為云 X 實(shí)例介紹及優(yōu)勢

在選擇云服務(wù)平臺(tái)時(shí)，計(jì)算資源的彈性和性價(jià)比是關(guān)鍵考慮因素。華為云 X 實(shí)例是為用戶提供高性價(jià)比和靈活資源調(diào)配能力的云計(jì)算服務(wù)，特別適合計(jì)算密集型任務(wù)，如大數(shù)據(jù)處理、AI 訓(xùn)練以及像 Elasticsearch 這樣的分布式搜索引擎。

1.1 柔性算力

華為云 X 實(shí)例采用了柔性算力的設(shè)計(jì)理念。所謂柔性算力，即用戶可以根據(jù)具體的業(yè)務(wù)需求，在計(jì)算能力、存儲(chǔ)容量和帶寬等資源之間進(jìn)行靈活調(diào)配。這意味著，用戶在運(yùn)行 Elasticsearch 等應(yīng)用時(shí)，可以根據(jù)數(shù)據(jù)增長或查詢量的變化，動(dòng)態(tài)調(diào)整資源，確保性能需求得到滿足。

1.2 vCPU 和內(nèi)存的靈活配比

X 實(shí)例允許用戶靈活配置 vCPU 與內(nèi)存的比例，從而根據(jù)不同負(fù)載場景進(jìn)行優(yōu)化。例如，在 Elasticsearch 集群中，索引和搜索任務(wù)的負(fù)載不同，可能需要更高的內(nèi)存或計(jì)算能力。通過在 X 實(shí)例中調(diào)整 vCPU 與內(nèi)存的配比，用戶可以避免資源浪費(fèi)，提高成本效益。

1.3 成本效益與性能

在高性價(jià)比方面，華為云 X 實(shí)例提供了更具競爭力的價(jià)格，特別是對于那些對資源需求波動(dòng)較大的工作負(fù)載，如 Elasticsearch 的動(dòng)態(tài)索引和查詢工作。結(jié)合彈性擴(kuò)展能力，用戶可以在不犧牲性能的前提下，大幅降低運(yùn)行成本。此外，X 實(shí)例支持不同的計(jì)費(fèi)模式，用戶可以按需付費(fèi)或選擇包年包月等多種付費(fèi)方式，從而進(jìn)一步提升云上計(jì)算資源的利用效率。

近期華為云推出了優(yōu)惠活動(dòng)，X 實(shí)例服務(wù)器的折扣力度非常大，性能與性價(jià)比兼具，特別適合開發(fā)者進(jìn)行各種項(xiàng)目部署和測試，歡迎大家抓住機(jī)會(huì)體驗(yàn)。

2. 安裝并運(yùn)行 Docker

在開始部署之前，確保您已經(jīng)在華為云上創(chuàng)建了一個(gè) X 實(shí)例服務(wù)器，并安裝了 Docker。以下是需要準(zhǔn)備的內(nèi)容：

2.1 修改倉庫配置文件

如果在添加 Docker 倉庫時(shí)出現(xiàn)錯(cuò)誤，需手動(dòng)下載并修改倉庫文件。執(zhí)行以下命令下載倉庫文件：

wget https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo -P /usr/local/docker

打開文件并將 $releasever 替換為 7：

vi /usr/local/docker/docker-ce.repo:%s/$releasever/7/g

重新添加倉庫：

yum-config-manager --add-repo /usr/local/docker/docker-ce.repo

2.2 安裝 Docker

安裝 Docker 及相關(guān)組件：

yum install -y docker-ce docker-ce-cli containerd.io

2.3 啟動(dòng) Docker

安裝完成后，啟動(dòng) Docker 服務(wù)：

systemctl start docker

使用以下命令確認(rèn) Docker 正常運(yùn)行：

systemctl status docker

3. 使用 Docker 部署 Elasticsearch

部署 Elasticsearch 的方式有很多種，使用 Docker 可以方便地管理其容器化進(jìn)程，并快速擴(kuò)展。接下來我們將拉取 Elasticsearch 鏡像，并通過 Docker 啟動(dòng)容器。

3.1 拉取 Elasticsearch 鏡像

執(zhí)行以下命令從 Docker Hub 上獲取 Elasticsearch 官方鏡像：

docker pull elasticsearch:7.16.2

3.2 啟動(dòng) Elasticsearch 容器

在啟動(dòng)容器之前，我們可以通過指定一些環(huán)境變量來配置 Elasticsearch。以下是一個(gè)啟動(dòng) Elasticsearch 的命令示例：

docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e "ES_JAVA_OPTS=-Xms4g -Xmx4g" -v es_data:/usr/share/elasticsearch/data elasticsearch:7.16.2

上述命令解釋：

·-p 9200:9200：將主機(jī)的 9200 端口映射到容器的 9200 端口（用于 HTTP 訪問）。

·-p 9300:9300：將主機(jī)的 9300 端口映射到容器的 9300 端口（用于集群通信）。

·-e "discovery.type=single-node"：指定 Elasticsearch 為單節(jié)點(diǎn)模式。

·-e "ES_JAVA_OPTS=-Xms4g -Xmx4g"：設(shè)置 JVM 內(nèi)存分配為 4GB。

·-v es_data:/usr/share/elasticsearch/data：將 Elasticsearch 的數(shù)據(jù)存儲(chǔ)映射到 Docker 卷 es_data 中。

啟動(dòng)后，您可以通過以下命令查看容器狀態(tài)：

docker ps

如果 Elasticsearch 啟動(dòng)成功，您應(yīng)該能夠看到容器在運(yùn)行。

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 2f11d1ece355 elasticsearch:7.16.2 "/bin/tini -- /usr/l…" 3 days ago Up 3 days 0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp elasticsearch

3.3 驗(yàn)證 Elasticsearch

您可以通過瀏覽器或 curl 命令訪問 Elasticsearch 的 REST API 接口，驗(yàn)證其是否正常啟動(dòng)：

curl -X GET "localhost:9200/"

如果部署成功，您將得到類似以下的 JSON 響應(yīng)：

{"name" : "2f11d1ece355","cluster_name" : "docker-cluster","cluster_uuid" : "ztjMH9OAQaKDErlBVHpgpg","version" : { "number" : "7.16.2", "build_flavor" : "default", "build_type" : "docker", "build_hash" : "2b937c44140b6559905130a8650c64dbd0879cfb", "build_date" : "2021-12-18T19:42:46.604893745Z", "build_snapshot" : false, "lucene_version" : "8.10.1", "minimum_wire_compatibility_version" : "6.8.0", "minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"}

4. 安裝 Apache Benchmark (ab) 工具

Apache Benchmark（簡稱 ab）是 Apache HTTP Server 附帶的一個(gè)命令行工具，常用于對 HTTP 服務(wù)的性能進(jìn)行測試。由于 Elasticsearch 的 REST API 是基于 HTTP 協(xié)議的，因此可以使用 ab 工具對其進(jìn)行簡單的壓力測試。

大多數(shù) Linux 系統(tǒng)自帶 ab 工具，如果沒有安裝 Apache，可以通過以下命令安裝：

sudo yum install httpd-tools

安裝完成后，可以通過以下命令驗(yàn)證 ab 是否安裝成功：

ab -V

如果返回版本號，則表示安裝成功。

5. 使用 ab 工具對 Elasticsearch 進(jìn)行評測

ab (Apache Benchmark) 工具通過向指定 URL 發(fā)送多個(gè) HTTP 請求，統(tǒng)計(jì)響應(yīng)時(shí)間、吞吐量等性能指標(biāo)，幫助評估服務(wù)器的性能。對于 Elasticsearch 集群，可以使用 ab 工具測試查詢請求的性能，如數(shù)據(jù)檢索的響應(yīng)時(shí)間和吞吐量等。

5.1 運(yùn)行 Elasticsearch 查詢評測

以下是使用 ab 工具對 Elasticsearch 進(jìn)行查詢性能評測的步驟：

確定查詢 URL先確定需要測試的 Elasticsearch 查詢請求。假設(shè) Elasticsearch 運(yùn)行在 localhost:9200，并且索引為 blog01，可以使用以下命令執(zhí)行簡單的搜索請求：

curl -XGET http://localhost:9200/blog01/article/1?pretty

這將返回 id 字段為 1 的文章數(shù)據(jù)。

運(yùn)行 ab 測試使用 ab 工具對上述 URL 進(jìn)行壓力測試，模擬多個(gè)并發(fā)查詢請求。例如，以下命令發(fā)出 1000 個(gè)請求，允許最多 10 個(gè)并發(fā)請求：

ab -n 1000 -c 10 http://localhost:9200/blog01/article/_search?q=id:1

參數(shù)說明：

·-n 1000：總共發(fā)出 1000 個(gè) HTTP 請求。

·-c 10：最多允許 10 個(gè)并發(fā)請求。

5.2 查看評測結(jié)果

ab 工具的評測結(jié)果包括以下關(guān)鍵指標(biāo)：

·Requests per second：每秒處理的請求數(shù)，即吞吐量。

·Time per request：每個(gè)請求的平均處理時(shí)間（延遲）。

·Transfer rate：數(shù)據(jù)傳輸速度。

示例輸出如下：

Concurrency Level: 10Time taken for tests: 0.720 secondsComplete requests: 1000Failed requests: 1 (Connect: 0, Receive: 0, Length: 1, Exceptions: 0)Total transferred: 863001 bytesHTML transferred: 280001 bytesRequests per second: 1389.56 [#/sec] (mean)Time per request: 7.197 [ms] (mean)Time per request: 0.720 [ms] (mean, across all concurrent requests)Transfer rate: 1171.09 [Kbytes/sec] received?Connection Times (ms)min mean[+/-sd] median maxConnect: 0 0 0.0 0 0Processing: 1 7 2.8 7 24Waiting: 1 7 2.7 7 24Total: 1 7 2.8 7 24

分析：

·Requests per second (1389.56)表示 Elasticsearch 服務(wù)器每秒處理約 1390 個(gè)請求，說明在 10 個(gè)并發(fā)請求下，系統(tǒng)的吞吐量較高。

·Time per request (7.197 ms)表示平均每個(gè)請求處理時(shí)間約為 7 毫秒，說明延遲較低，系統(tǒng)能快速響應(yīng)。

·Failed requests (1)表示在 1000 次請求中只有 1 次失敗，服務(wù)器在高并發(fā)下的穩(wěn)定性較好。

5.3 調(diào)整并發(fā)請求和請求數(shù)

可以通過調(diào)整-n 和 -c 參數(shù)，測試不同規(guī)模的壓力場景。比如，以下命令模擬 100 個(gè)并發(fā)請求，共發(fā)出 5000 個(gè)請求：

ab -n 5000 -c 100 http://localhost:9200/blog01/article/_search?q=id:1

輸出示例如下：

Concurrency Level: 100Time taken for tests: 1.628 secondsComplete requests: 5000Failed requests: 5 (Connect: 0, Receive: 0, Length: 5, Exceptions: 0)Total transferred: 4315005 bytesHTML transferred: 1400005 bytesRequests per second: 3070.79 [#/sec] (mean)Time per request: 32.565 [ms] (mean)Time per request: 0.326 [ms] (mean, across all concurrent requests)Transfer rate: 2587.99 [Kbytes/sec] received?Connection Times (ms)min mean[+/-sd] median maxConnect: 0 0 0.2 0 2Processing: 1 32 18.3 30 100Waiting: 1 32 18.3 30 100Total: 1 32 18.3 30 100

分析：

·在 100 并發(fā)請求下，Requests per second達(dá)到 3070.79，說明系統(tǒng)在高并發(fā)場景下吞吐量顯著提高。

·Time per request增至 32 毫秒，說明在更高并發(fā)情況下，系統(tǒng)的響應(yīng)時(shí)間有所增加，但仍在可接受范圍內(nèi)。

通過這種壓力測試，可以了解 Elasticsearch 在不同并發(fā)請求下的性能表現(xiàn)，并為實(shí)際應(yīng)用中的優(yōu)化提供依據(jù)。

6. 總結(jié)

通過 Apache Benchmark 工具，您可以快速對 Elasticsearch 集群的查詢性能進(jìn)行壓力測試。該工具簡單易用，能夠提供基本的吞吐量、延遲和失敗請求等指標(biāo)。它適用于對 HTTP 層的簡單壓力測試，幫助用戶初步了解集群的性能狀況。

審核編輯 黃宇