1.8版本中,官方終于加入了對AMD ROCm的支持,可以方便的在原生環(huán)境下運行,不用去配置Docker了。
△AMD ROCm只支持Linux操作系統(tǒng)
1.8版本集合了自2020年10月1.7發(fā)布以來的超過3000次GitHub提交。 此外,本次更新還有諸多亮點:
優(yōu)化代碼,更新編譯器
Python內(nèi)函數(shù)轉(zhuǎn)換
增強分布式訓練
新的移動端教程與演示
新的性能檢測工具
相關的庫TorchCSPRNG, TorchVision, TorchText和TorchAudio也會隨之更新。 要注意的是,自1.6起,Pytorch新特性將分為Stable、Beta、Prototype三種版本。其中Prototype不會包含到穩(wěn)定發(fā)行版中,需要從Nightly版本自行編譯。
Python to Python函數(shù)轉(zhuǎn)換
新增的Beta特性torch.fx可以實現(xiàn)Python到Python的函數(shù)轉(zhuǎn)換,可以方便的加入任何工作流程。
新的API,向NumPy學習!
1.7版本中增加的Beta特性torch.fft已成為正式特性。實現(xiàn)了與Numpy中的np.fft類似的快速傅立葉變換,還增加了硬件加速支持與自動求導,以更好的支持科學計算。 還增加了Beta版NumPy風格的線性代數(shù)模塊torch.linalg,支持Cholesky分解、行列式、特征值等功能。
增強分布式訓練
增加了穩(wěn)定的異步錯誤與超時處理,增加NCCL的可靠性。 增加了Beta版的流水線并行功能*(Pipeline Parallelism)*,可將數(shù)據(jù)拆解成更小的塊以提高并行計算效率。
△Pipeline Parallelism使用4個GPU時的工作示意圖
增加Beta版的DDP通訊鉤子,用于控制如何在workers之間同步梯度。 另外還有一些Prototype版的分布式訓練新特性。ZeroRedundancyOptimizer:用于減少所有參與進程的內(nèi)存占用。Process Group NCCL Send/Recv:讓用戶可在Python而不是C++上進行集合運算。CUDA-support in RPC using TensorPipe:增加對N卡多卡運算的效率。Remote Module:讓用戶像操作本地模塊一樣操作遠程模塊。
移動端新教程
隨本次更新發(fā)布了圖像分割模型DeepLabV3在安卓和IOS上的詳細教程。 以及圖像分割、目標檢測、神經(jīng)機器翻譯等在安卓和IOS上的演示程序,方便大家更快上手。
另外還有PyTorch Mobile Lite Interpreter解釋器,可以減少運行時文件的大小。
原文標題:PyTorch 1.8來了!正式支持AMD GPU,煉丹不必NVIDIA
文章出處:【微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
責任編輯:haq
-
amd
+關注
關注
25文章
5677瀏覽量
139664 -
python
+關注
關注
57文章
4869瀏覽量
89880 -
pytorch
+關注
關注
2文章
813瀏覽量
14799
原文標題:PyTorch 1.8來了!正式支持AMD GPU,煉丹不必NVIDIA
文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
Pytorch 與 Visionfive2 兼容嗎?
Robotec.ai與AMD Silo AI的合作實踐
AMD Power Design Manager 2025.2版本現(xiàn)已發(fā)布
AMD Vivado Design Suite 2025.2版本現(xiàn)已發(fā)布
用ROCm部署PP-StructureV3到AMD GPU上
AMD Vitis AI 5.1測試版發(fā)布
全新升級 | 匠芯創(chuàng)AiUIBuilder V2.0.0發(fā)布
G2發(fā)布最新報告,Splashtop 榮膺多區(qū)域領導者,IT 遠程解決方案獲全球認可
技嘉2025發(fā)布會:“從心出發(fā) 我們的主張”,邁向AI新紀元
ROCm 6.2.4 成功移植至 SG2044: 大模型部署速率飆升,RISC-V + AI 新紀元!代碼已經(jīng)開源,一起來試試!
PyTorch 1.8發(fā)布,支持AMD ROCm
評論