許多開發(fā)人員使用 tox 作為 Python 中標(biāo)準(zhǔn)化和自動化測試的解決方案。然而,僅將該工具用于測試自動化嚴(yán)重限制了其功能和您可以實(shí)現(xiàn)的全部范圍。例如, tox 也是“它在我的機(jī)器上工作”問題的一個很好的解決方案。這有幾個原因,例如:
可以針對不同的 Python 依賴項(xiàng)版本運(yùn)行測試
可以隔離環(huán)境變量
可以捕獲并運(yùn)行設(shè)置命令
此外,最重要的是,上面列出的操作可以在 Windows 、 macOS 和 Linux OS 上執(zhí)行。在本教程中,我將深入探討 tox 的工作原理以及如何使用它來節(jié)省寶貴的資源。我還將提供具體的代碼示例來演示如何利用 tox 。
什么是 Tox?
如果你讀了 tox documentation ,并從字面上理解它的意思,你可能會認(rèn)為 tox 只是一個用來創(chuàng)建虛擬環(huán)境的工具,用來安裝測試 Python 包所需的必要依賴項(xiàng)。
該文檔指出,“ tox 旨在自動化和標(biāo)準(zhǔn)化 Python 中的測試。它是簡化 Python 軟件的打包、測試和發(fā)布過程的更大愿景的一部分。”該文檔后來指出,“ tox 是一個通用的virtualenv管理和測試命令行工具。”。同一文檔中的幾個示例演示了 tox 用于構(gòu)建文檔和運(yùn)行開發(fā)環(huán)境。
然而,最好將 tox 視為自動化某些工作流和管理虛擬環(huán)境的工具。 tox 文檔中提供的示例配置文件如下所示。
# content of: tox.ini , put in same dir as setup.py [tox] envlist = py27,py36 [testenv] # install pytest in the virtualenv where commands will be executed deps = pytest commands = # NOTE: you can run any command line tool here - not just tests pytest
請注意,該文件僅安裝并運(yùn)行 Pytest ;然而,文檔指出,“您可以在這里運(yùn)行任何命令行工具,而不僅僅是測試。”
tox 是如何工作的?
tox 文檔的 System Overview 部分提供了一個工作流圖(圖 1 )。該圖顯示了 tox 如何通過將工作流分解為一系列步驟來工作,概述如下。
使用tox.ini文件中定義的 Python 版本生成虛擬環(huán)境。
將tox.ini文件的deps設(shè)置下列出的依賴項(xiàng)安裝到虛擬環(huán)境中。如果創(chuàng)建了一個項(xiàng)目(可選),它還將安裝該項(xiàng)目的sdist。
在隔離的虛擬環(huán)境中運(yùn)行命令;命令列在命令設(shè)置下。
將每個環(huán)境的結(jié)果返回給用戶。
圖 1 。 tox 的工作流程圖。信貸: tox documentation
這些步驟進(jìn)一步表明, tox 是一個有效的開發(fā)工具,可以通過創(chuàng)建虛擬環(huán)境并在其中運(yùn)行命令來自動化工作流。由于您可以傳遞給 tox 的命令不限于執(zhí)行測試的命令,因此 tox 不僅僅是標(biāo)準(zhǔn)化和自動化測試的工具。
tox 的好處
本節(jié)重點(diǎn)介紹了使用 tox 管理虛擬環(huán)境和自動化工作流(包括測試)的一些好處。
簡化協(xié)作
每次我接到工作面試的帶回家任務(wù)時,我都會使用 tox 。為了訪問任務(wù),招聘公司的開發(fā)人員只需要安裝并運(yùn)行 tox 。與團(tuán)隊(duì)合作時也是如此。團(tuán)隊(duì)成員不需要復(fù)制環(huán)境或安裝依賴項(xiàng)。所有這些任務(wù)都在tox.ini文件中處理。
促進(jìn)持續(xù)集成
如果沒有 tox ,您的持續(xù)集成( CI )腳本必須同時處理虛擬環(huán)境的創(chuàng)建和包依賴項(xiàng)的安裝。這意味著沒有 tox 構(gòu)建的 CI 腳本更加復(fù)雜。下文將對此進(jìn)行更詳細(xì)的探討。
降低依賴關(guān)系沖突的風(fēng)險
對于每個任務(wù), tox 都會創(chuàng)建一個新的虛擬環(huán)境。這減少了依賴沖突的機(jī)會。例如,運(yùn)行應(yīng)用程序和執(zhí)行應(yīng)用程序所需的依賴項(xiàng)可以分別安裝到兩個獨(dú)立的虛擬環(huán)境中。
Tox 學(xué)的一個主要弱點(diǎn)出現(xiàn)在當(dāng)?shù)匕l(fā)展過程中;也就是說,它無法跟蹤依賴關(guān)系的變化。因此,每次進(jìn)行更改時,都必須重新創(chuàng)建毒性環(huán)境。這是通過在執(zhí)行 tox 時傳遞-r標(biāo)志來完成的(py -m tox -r)。
簡單的 tox 用例示例
為了掌握 tox ,我創(chuàng)建了一個簡單的示例,您可以從 kurtispykes/tox_example GitHub 存儲庫中克隆。跟隨學(xué)習(xí)如何使用 tox 。
├── __init__.py ├── .gitignore ├── LICENSE ├── README.md ├── string_reversal.py ├── test_string_reversal.py ├── tox.ini
tox 生態(tài)系統(tǒng)的中心是配置文件,它可能有以下三種風(fēng)格之一:
tox.ini setup.cfg pyproject.toml
本例使用tox.ini配置 tox 。內(nèi)容如下:
[tox] envlist = my_env skipsdist = true [testenv] deps = pytest commands = pytest
INI File Structure 指出,使用.ini擴(kuò)展名的配置文件“由部分組成,每個部分由[section]標(biāo)頭開頭,后跟由特定字符串分隔的鍵/值條目(默認(rèn)情況下為=或:)。”
在 tox 中,節(jié)標(biāo)題轉(zhuǎn)換為新的 tox 環(huán)境。但是,請注意本例中的[tox]標(biāo)頭。標(biāo)頭配置 tox 運(yùn)行的全局設(shè)置。您可以告訴 tox 使用不同版本的 Python 來執(zhí)行此標(biāo)頭中的測試。
[tox]標(biāo)題包含兩項(xiàng):
envlist–通知 tox 從命令行運(yùn)行py -m tox時要執(zhí)行的環(huán)境。在本例中,envlist被命名為my_env。在最初的 tox 運(yùn)行之后,其他運(yùn)行將執(zhí)行得更快,因?yàn)?tox 會跟蹤虛擬環(huán)境的詳細(xì)信息,不會重新創(chuàng)建或重新安裝依賴項(xiàng)。
skipsdist–當(dāng)沒有setup.py或pyproject.toml時,將skipsdist標(biāo)志設(shè)置為真。如果未設(shè)置,將導(dǎo)致錯誤。
請注意,您還可以通過添加要測試的版本( py27 , py37 ),根據(jù)不同版本的 Python 測試包。您必須在您的環(huán)境中安裝要測試包的 Python 版本,否則將引發(fā)錯誤。
[testenv]和[testenv:NAME]標(biāo)頭用于定義 tox 的測試環(huán)境,其中NAME是特定環(huán)境的名稱。[testenv]中定義的設(shè)置(稱為頂層)將由各個環(huán)境自動繼承,除非您覆蓋這些設(shè)置。
本示例不定義單個環(huán)境,但設(shè)置了以下兩項(xiàng):
deps–執(zhí)行代碼所需的依賴項(xiàng)。
commands–作為當(dāng)前測試環(huán)境的一部分要觸發(fā)的命令。
現(xiàn)在定義了配置,您可以創(chuàng)建并測試一個模塊來演示 tox 的作用。為本示例創(chuàng)建的模塊是string_reversal.py,其中包含用于反轉(zhuǎn)字符串的函數(shù)。
# The contents of string_reversal.py
def reverse_string(text):
reverse_text = text[::-1]
return reverse_text
要測試模塊是否正常工作,請使用以下test_string_reversal.py腳本:
# The contents of test_string_reversal.py
from string_reversal import reverse_string
def test_calculate_age():
# Given
text = "Hello World!"
# When
reversed = reverse_string(text)
# Then
assert reversed == "!dlroW olleH"
下一步是從存儲tox.ini文件的同一目錄運(yùn)行 tox 。在命令行中,使用以下命令運(yùn)行 tox :
py -m to
輸出應(yīng)該類似于圖 2 所示。
圖 2 :成功的毒殺記錄
雖然本示例使用 Pytest ,但您可以使用任何其他庫來測試模塊。事實(shí)上,您可以執(zhí)行任意命令。
創(chuàng)建機(jī)器學(xué)習(xí)包
您還可以將 tox 擴(kuò)展到各種場景。例如, machine learning ( ML )模型基于交易數(shù)據(jù)進(jìn)行訓(xùn)練,以預(yù)測欺詐交易何時發(fā)生。請參閱 kurtispykes/fraud-detection-project GitHub repo 中的完整代碼。 ML 模型包的頂層結(jié)構(gòu)如下所示:
├── fraud_detection_model # Contains the code required to build the model ├── requirements │ ├── requirements.txt │ ├── test_requirements.txt ├── tests # Contains the unit tests for the model ├── LICENSE ├── MANIFEST.in ├── mypy.ini ├── publish_model.sh ├── pyproject.toml ├── setup.py ├── tox.ini
構(gòu)建這個 ML 模型包需要幾個依賴項(xiàng)。要更好地管理包依賴關(guān)系,請創(chuàng)建requirements.txt文件。
這個項(xiàng)目的 tox 配置文件包括幾個可以運(yùn)行 tox 的環(huán)境。這些單獨(dú)的環(huán)境從獲取模型訓(xùn)練所需的數(shù)據(jù)到將訓(xùn)練后的模型發(fā)布到 Gemfury 存儲庫。這進(jìn)一步表明, tox 可以是管理虛擬環(huán)境的有用工具。tox.ini文件中的一些配置如下所示。
# Part of the tox.ini file; click on the GitHub link to view the entire file [tox] envlist = test_package, typechecks, stylechecks, lint skipsdist = True [testenv] install_command = pip install {opts} {packages} passenv = KAGGLE_USERNAME KAGGLE_KEY GEMFURY_PUSH_URL [testenv:test_package] deps = -rrequirements/test_requirements.txt setenv = PYTHONPATH=. PYTHONHASHSEED=0 commands= python fraud_detection_model/train_pipeline.py pytest -s -vv {posargs:tests/} [testenv:train] envdir = {toxworkdir}/test_package deps = {[testenv:test_package]deps} setenv = {[testenv:test_package]setenv} commands= python fraud_detection_model/train_pipeline.py [testenv:fetch_data] envdir = {toxworkdir}/test_package setenv = {[testenv:test_package]setenv} commands = # fetch kaggle competitions download -c ieee-fraud-detection -p ./fraud_detection_model/data/interim # unzip unzip ./fraud_detection_model/data/interim/ieee-fraud-detection.zip -d ./fraud_detection_model/data/interim [testenv:publish_model] envdir = {toxworkdir}/test_package deps = {[testenv:test_package]deps} setenv = {[testenv:test_package]setenv} commands= python fraud_detection_model/train_pipeline.py ./publish_model.sh .
請注意,由于添加了setup.py文件,因此skipsdist參數(shù)可以從全局 tox 標(biāo)頭中刪除。在這種情況下,它沒有被刪除,因?yàn)樵诖虬P椭埃?tox 仍然被用于管理虛擬環(huán)境。
您可能會注意到,全局envlist(在[tox]標(biāo)頭中)調(diào)用test_package、typechecks、stylechecks、lint。當(dāng)從命令行調(diào)用py -m tox時,將創(chuàng)建每個環(huán)境,并執(zhí)行每個環(huán)境中的命令。
要選擇獨(dú)立運(yùn)行的特定環(huán)境,請使用以下命令:框架的全部功能。相反,最好將 tox 視為自動化某些工作流和管理虛擬環(huán)境的工具。
py -m tox -e NAME
NAME是您希望 tox 創(chuàng)建的testenv的名稱。
生產(chǎn)中使用 tox 的注意事項(xiàng)
各種 CI 平臺與 tox 集成得非常好。 ML 模型示例使用 CircleCI 進(jìn)行連續(xù)集成。 Circle CI 配置文件調(diào)用 tox ,而不是直接創(chuàng)建多個虛擬環(huán)境。
總結(jié)
這篇文章解釋了如何使用 tox 來實(shí)現(xiàn) Python 中的標(biāo)準(zhǔn)化和自動化測試。僅將 tox 用于自動化測試嚴(yán)重未充分利用框架的全部功能。相反,最好將 tox 視為自動化某些工作流和管理虛擬環(huán)境的工具。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5594瀏覽量
109740 -
自動化
+關(guān)注
關(guān)注
31文章
5933瀏覽量
90255 -
標(biāo)準(zhǔn)化
+關(guān)注
關(guān)注
1文章
32瀏覽量
8336
發(fā)布評論請先 登錄
語言自動化識別器 Polyglot
自動化行業(yè)中的全廠自動化中的以太網(wǎng)/IP
開關(guān)電源自動化測試系統(tǒng)的設(shè)計與實(shí)現(xiàn)
python變量的標(biāo)準(zhǔn)化
如何對用戶界面進(jìn)行自動化測試
python控制CANoe實(shí)現(xiàn)自動化測試的方法
LabVIEW與Tektronix示波器實(shí)現(xiàn)電源測試自動化
自動化測試框架unittes詳解
云測試自動化中的Python
使用Python實(shí)現(xiàn)功能測試自動化
Facebook群組自動化python – 網(wǎng)絡(luò)自動化
Python 模擬鍵盤鼠標(biāo)的方式實(shí)現(xiàn)自動化
電源測試怎么自動化?電源模塊自動化測試系統(tǒng)如何實(shí)現(xiàn)?
如何使用tox來實(shí)現(xiàn)Python中的標(biāo)準(zhǔn)化和自動化測試
評論