字節跳動攻克GPU萬卡互聯技術突破與解決方案

在分布式訓練中大規模使用默認的DCQCN協議時，all-to-all通信可能會導致擁塞和PFC級別的提高。過度使用PFC可能會導致頭部阻塞（HoL），從...

2024-04-01 標簽：gpu人工智能網絡拓撲 1.7k 0

CPU渲染、GPU渲染、XPU渲染詳細對比：哪個渲染最快，哪個效果最好？

動畫渲染動畫3D渲染技術需要應對復雜的計算任務和精細的圖像處理，作為渲染技術人員，選擇合適的渲染模式，會直接影響制作效率和成品質量。在主流的渲染模式分類...

2025-04-15 標簽：cpugpuxpu 1.7k 0

如何在TorchServe上提供LLMs的分布式推理

你可以看到我們在這里使用了張量并行和并行預填充。它實際上幫助大大加快了推理速度。與等效的GPU相比，它使得Inferentia 2的成本大幅降低了。我們...

2024-01-31 標簽：gpu內存并行處理 1.7k 0

深入分析評估GPU算力需求

長期來看，國產CPU、GPU、AI芯片廠商受益于龐大的國內市場，疊加國內信創市場帶來國產化需求增量，我們預期國內AI芯片的國產化比例將顯著提升，借此機會...

2024-01-17 標簽：cpuNVIDIAgpu 1.7k 0

什么是第三代通用計算？既通用又高性能的計算存在嗎？

對大芯片來說，通用是成功的必由之路。CPU是通用芯片，成就了Intel的成功；GPU是通用芯片，成就了NVIDIA的成功。目前，還沒有看到做專用芯片非常...

2023-12-12 標簽：集成電路cpugpu 1.7k 0

康謀自動駕駛車載高性能解決方案

在測試車輛中部署新功能需要強大的計算性能，康謀DATALynx ATX4搭載最新服務器CPU，采用高性能液冷架構，通過小型散熱片實現最佳散熱和最小化PC...

2024-01-16 標簽：cpugpu制冷系統 1.7k 0

NVIDIA Merlin分布式嵌入使快速、TB級推薦培訓變得簡單

嵌入在深度學習推薦模型中起著關鍵作用。它們用于將數據中的編碼分類輸入映射到可由數學層或多層感知器（ MLP ）處理的數值。

2022-10-11 標簽：NVIDIAgpu深度學習 1.7k 0

芯片封裝：向上堆疊，翻越內存墻

AMD 在代號 Milan-X 的 EPYC 7003X 系列處理器上應用了第一代 3D V-Cache 技術。這些處理器采用 Zen 3 架構核心，每...

2023-10-27 標簽：處理器amdgpu 1.7k 0

AI算力服務器技術及產業鏈報告

“算網大腦”即算力網絡中最核心的部分，主 要進行全網算力資源的智能編排、彈性調度，具體而言有四個作用： 1） 獲取全域實時的算、網、數資源，以及云、邊...

2024-01-02 標簽：gpu服務器AI 1.7k 0

AT&T利用GPU優化速度、成本和效率

眾所周知， GPU 是大型機器學習（ ML ）應用程序的典型解決方案，但如果 GPU 應用于 AI 管道數據的早期階段，該怎么辦？

2022-10-11 標簽：cpugpu機器學習 1.6k 0

新一代計算架構超異構計算技術是什么 異構走向超異構案例分析

超異構計算架構是一種將不同類型和規模的硬件資源，包括CPU、GPU、FPGA等，進行異構集成的方法。它通過獨特的軟件和硬件協同設計，實現了計算資源的靈活...

2023-08-23 標簽：fpgacpugpu 1.6k 0

谷歌Gemini被曝算力達GPT-4五倍，手握TPU王牌碾壓OpenAI

根據Patel和Nishball的說法，此前屢屢被爆料將成為GPT-4大殺器的谷歌Gemini，已經開始在新的TPUv5 Pod上進行訓練了，算力高達~...

2023-09-04 標簽：gpu算力OpenAI 1.6k 0