基于PyTorch的深度學習入門教程之DataParallel使用多GPU
前言
本文參考PyTorch官網的教程，分為五個基本模塊來介紹PyTorch。為了避免文章過長，這五個模塊分別在五篇博文中介紹。
Part1：PyTorch簡單知識
Part2：PyTorch的自動梯度計算
Part3：使用PyTorch構建一個神經網絡
Part4：訓練一個神經網絡分類器
Part5：數據并行化
本文是關于Part5的內容。
Part5：數據并行化
本文中，將會講到DataParallel使用多GPU。
在PyTorch中使用GPU比較簡單，可以這樣把模型放到GPU上。
model.gpu（）
還可以復制所有的tensors到GPU上。
mytensor = my_tensor.gpu（）
請注意，單純調用mytensor.gpu（）不會拷貝tensor到GPU上。你需要把它分配給一個新的tensor，然后在GPU上使用這個新的tensor。
前向和反向傳播可以在多個GPU上運行。但是，PyTorch默認只使用一個GPU。你可以使用DataParallel使得你的模型可以在過個GPU上并行運算。
model = nn.DataParallel（model）
1 Package導入和參數設置
導入PyTorch的模塊并且設置參數。
2 虛擬數據集
制作虛擬（隨機）數據集，只需要執行getitem。
class RandomDataset(Dataset): def __init__(self, size, length): self.len = length self.data = torch.randn(length, size) def __getitem__(self, index): return self.data[index] def __len__(self): return self.len rand_loader = DataLoader(dataset=RandomDataset(input_size, 100), batch_size=batch_size, shuffle=True)
3 簡單模型
作為實例，我們的模型只是獲取輸入，進行線性運算，給出結果。但是，你可以把DataParallel應用到任何模型（CNN，RNN，Capsule Net 等等）。
class Model(nn.Module): # Our model def __init__(self, input_size, output_size): super(Model, self).__init__() self.fc = nn.Linear(input_size, output_size) def forward(self, input): output = self.fc(input) print(" In Model: input size", input.size(), "output size", output.size()) return output
4 創建模型和數據并行
這是本篇教程的核心內容。我們需要制作一個模型實例，并檢查是否有多個GPU。如果有多GPU，可以使用nn.DataParallel打包我們的model。之后，我們可以把利用model.gpu（）把模型放到GPU上。
model = Model(input_size, output_size) if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs model = nn.DataParallel(model) if torch.cuda.is_available(): model.cuda()
5 運行模型
for data in rand_loader: if torch.cuda.is_available(): input_var = Variable(data.cuda()) else: input_var = Variable(data) output = model(input_var) print("Outside: input size", input_var.size(), "output_size", output.size())
期望輸出：
In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
6 結果
（1）如果有2 GPUs，可以看到
# on 2 GPUs Let's use 2 GPUs! In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2]) In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
（2）如果有3 GPUs，可以看到
Let's use 3 GPUs! In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
（3）如果有8 GPUs，可以看到
Let's use 8 GPUs! In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
7 總結
DataParallel將數據自動分割送到不同的GPU上處理，在每個模塊完成工作后，DataParallel再收集整合這些結果返回。
責任編輯：xj
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
gpu
+關注
關注
28文章
5194瀏覽量
135425 -
Data
+關注
關注
0文章
63瀏覽量
39150 -
深度學習
+關注
關注
73文章
5598瀏覽量
124392 -
pytorch
+關注
關注
2文章
813瀏覽量
14842
發布評論請先 登錄
相關推薦
熱點推薦
Pytorch 與 Visionfive2 兼容嗎？
Pytorch 與 Visionfive2 兼容嗎？
$ pip3 install torch torchvision torchaudio --index-url https
發表于 02-06 08:28
機器學習和深度學習中需避免的 7 個常見錯誤與局限性
無論你是剛入門還是已經從事人工智能模型相關工作一段時間，機器學習和深度學習中都存在一些我們需要時刻關注并銘記的常見錯誤。如果對這些錯誤置之不理，日后可能會引發諸多麻煩！只要我們密切關注
【團購】獨家全套珍藏！龍哥LabVIEW視覺深度學習實戰課（11大系列課程，共5000+分鐘）
、GPU加速訓練（可選）
雙軌教學：傳統視覺算法+深度學習方案全覆蓋
輕量化部署：8.6M超輕OCR模型，適合嵌入式設備集成
無監督學習：無需缺陷樣本即可訓練高精度檢測模型
持續更新：
發表于 12-04 09:28
【團購】獨家全套珍藏！龍哥LabVIEW視覺深度學習實戰課程（11大系列課程，共5000+分鐘）
、GPU加速訓練（可選）
雙軌教學：傳統視覺算法+深度學習方案全覆蓋
輕量化部署：8.6M超輕OCR模型，適合嵌入式設備集成
無監督學習：無需缺陷樣本即可訓練高精度檢測模型
持續更新：
發表于 12-03 13:50
自動駕駛中Transformer大模型會取代深度學習嗎？
持續討論。特別是在自動駕駛領域，部分廠商開始嘗試將多模態大模型（MLLM）引入到感知、規劃與決策系統，引發了“傳統深度學習是否已過時”的激烈爭論。然而，從技術原理、算力成本、安全需求與實際落地路徑等維度來看，Transforme
別讓 GPU 故障拖后腿，捷智算GPU維修室來救場！
在AI浪潮洶涌的當下，GPU已然成為眾多企業與科研機構的核心生產力。從深度學習模型訓練，到影視渲染、復雜科學計算，GPU憑借強大并行計算能力，極大提升運算效率。然而，就像高速運轉的精密
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】+NVlink技術從應用到原理
自家GPU 提出的多卡算力互連技術，是早期為了應對深度學習對超高算力需求而單卡算力不足的局面的解決方案，當然這都是官方用來吹牛的話術。我自己在2019年左右第一次接觸到
發表于 06-18 19:31
跟老齊學Python：從入門到精通
本帖最后由 yuu_cool 于 2025-6-3 16:52 編輯
本資料是面向編程零基礎讀者的Python 入門教程，內容涵蓋了Python 的基礎知識和初步應用。以比較輕快的風格，向零基
發表于 06-03 16:10
GPU架構深度解析
GPU架構深度解析從圖形處理到通用計算的進化之路圖形處理單元（GPU），作為現代計算機中不可或缺的一部分，已經從最初的圖形渲染專用處理器，發展成為強大的并行計算引擎，廣泛應用于人工智能、科學計算
ARM Mali GPU 深度解讀
ARM Mali GPU 深度解讀 ARM Mali 是 Arm 公司面向移動設備、嵌入式系統和基礎設施市場設計的圖形處理器（GPU）IP 核，憑借其異構計算架構、能效優化和生態協同，成為全球移動
摩爾線程發布Torch-MUSA v2.0.0版本 支持原生FP8和PyTorch 2.5.0
近日，摩爾線程正式發布Torch-MUSA v2.0.0版本，這是其面向PyTorch深度學習框架的MUSA擴展庫的重要升級。新版本基于MUSA Compute Capability 3.1計算架構
海思SS626開發板
識別/運動跟蹤等）。
主板集成常用視頻硬件接口，所有外設接口電路均通過嚴格的抗干擾測試，使產品在 EMC 及穩定性方面
具有良好表現；使用通過穩定性測試及深度優化的系統軟件（Linux 系統），支持業界主流深度學習框架(如
Ca
發表于 04-24 10:04
摩爾線程與當虹科技達成深度合作
近日，摩爾線程與當虹科技達成深度合作，基于國產GPU成功完成了與BlackEye多模態視聽大模型的深度融合。雙方聯手打造專業級視聽“引擎”，并在超高清
工商網監
評論