近日，AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨特的推測解碼功能，吸引了業界的廣泛關注。

AMD-Llama-135m模型擁有6700億個token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據AMD介紹，該模型主打“推測解碼”能力，這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token，然后由更大的目標模型對這些候選token進行驗證。這種方法不僅能夠確保生成的token的準確性和可靠性，而且允許每次前向傳遞生成多個token，從而顯著提高了效率。

與傳統的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優化。由于采用了推測解碼技術，該模型能夠在不影響性能的前提下，減少RAM的占用，實現了更加高效的計算和存儲資源利用。

AMD-Llama-135m的發布，標志著AMD在AI領域邁出了重要的一步。未來，AMD將繼續致力于AI技術的研發和創新，為全球用戶提供更加智能、高效和可靠的解決方案。