英偉達團隊近日在AI領域投下了一枚震撼彈，他們提出了一種全新的神經網絡架構——歸一化Transformer(nGPT)。這一創新架構基于超球面(hypersphere)進行表示學習，為AI領域帶來了新的突破。

相較于傳統的Transformer架構，nGPT在保持原有精度的同時，直接將大型語言模型(LLM)的訓練速度提升了高達20倍。這一顯著的性能提升，無疑將極大地推動AI技術的發展和應用。

在nGPT中，所有的向量(包括嵌入向量、多層感知機(MLP)向量、注意力矩陣向量以及隱藏狀態向量)都被歸一化為單位范數(unit norm)。這一設計不僅簡化了模型訓練過程，還提高了模型的穩定性和泛化能力。

英偉達團隊的這一創新成果，無疑為AI領域注入了新的活力。nGPT架構的提出，不僅將推動AI技術的進一步發展，還將為各種應用場景提供更加高效、準確的解決方案。