大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果。可以看到，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
無損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8601 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8753 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4701 -
大模型
+關(guān)注
關(guān)注
2文章
3650瀏覽量
5183
原文標(biāo)題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號：OSC開源社區(qū)，微信公眾號：OSC開源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
面向嵌入式部署的神經(jīng)網(wǎng)絡(luò)優(yōu)化：模型壓縮深度解析
1.為什么需要神經(jīng)網(wǎng)絡(luò)模型壓縮？ 神經(jīng)網(wǎng)絡(luò)已經(jīng)成為解決復(fù)雜機器學(xué)習(xí)問題的強大工具。然而，這種能力往往伴隨著模型規(guī)模和計算復(fù)雜度的增加。當(dāng)輸入維度較大（例如長時序窗口、高分辨率特征空間）時，模型
在AI基礎(chǔ)設(shè)施中部署大語言模型的三大舉措
文：Gartner研究副總裁周玲中國企業(yè)機構(gòu)已逐步在生產(chǎn)環(huán)境中運行或者計劃運行大語言模型，但在AI基礎(chǔ)設(shè)施的生產(chǎn)部署與高效運營方面仍面臨諸多挑戰(zhàn)。目前，中國正加速提升其生成式AI能力，覆蓋大語
什么是大模型，智能體...？大模型100問，快速全面了解！
一、概念篇1.什么是大模型？大模型是指參數(shù)規(guī)模巨大（通常達(dá)到數(shù)十億甚至萬億級別）、使用海量數(shù)據(jù)訓(xùn)練而成的人工智能模型。2.什么是大語言模型（
linux的壓縮和解壓操作
進(jìn)行壓縮，然后傳輸壓縮的文件，這樣可以減少文件傳輸所需要的帶寬和時間，在網(wǎng)絡(luò)接收到文件之后再解壓，就可以得到文件了。
文件的壓縮有兩種方式：有損壓縮和
發(fā)表于 12-23 06:56
電能質(zhì)量在線監(jiān)測裝置數(shù)據(jù)壓縮對裝置性能有哪些影響？
降至工業(yè)級可接受范圍， 不會影響核心監(jiān)測功能（如采樣精度、故障響應(yīng)） 。以下是分維度的專業(yè)解析： 一、核心性能影響維度（分裝置定位 + 壓縮類型） 1. CPU 占用：硬件加速是關(guān)鍵，無損壓縮影響極小 數(shù)據(jù)壓縮 / 解壓本質(zhì)是計
電能質(zhì)量在線監(jiān)測裝置支持哪些數(shù)據(jù)壓縮算法？
電能質(zhì)量在線監(jiān)測裝置支持 無損壓縮 和 有損壓縮 兩大類算法，適配不同數(shù)據(jù)類型（實時數(shù)據(jù)、歷史數(shù)據(jù)、波形數(shù)據(jù)）與應(yīng)用場景（存儲 / 傳輸 / 故障追溯），且在基礎(chǔ)型、增強型、電網(wǎng)級裝置中支持力度逐步
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
，AI 模型體積龐大，部署在 NPU上常常面臨困難，這凸顯了模型壓縮技術(shù)的重要性。要實現(xiàn)高效的實時邊緣 AI，需要深入探討NPU 與模型壓縮
國慶出國游，時空壺新T1翻譯機，首個端側(cè)模型突破助力跨語言交流
的旗艦機型，最大亮點是搭載業(yè)內(nèi)首個端側(cè)AI翻譯模型。這一模型將原本依賴云端算力的復(fù)雜AI翻譯模型，通過先進(jìn)的模型剪枝、量化壓縮等技術(shù)，巧妙部
3萬字長文！深度解析大語言模型LLM原理
我們正在參加全球電子成就獎的評選，歡迎大家?guī)臀覀兺镀薄x謝支持本文轉(zhuǎn)自：騰訊技術(shù)工程作者：royceshao大語言模型LLM的精妙之處在于很好地利用數(shù)學(xué)解決了工業(yè)場景的問題，筆者基于過往工程經(jīng)驗
利用自壓縮實現(xiàn)大型語言模型高效縮減
隨著語言模型規(guī)模日益龐大，設(shè)備端推理變得越來越緩慢且耗能巨大。一個直接且效果出人意料的解決方案是剪除那些對任務(wù)貢獻(xiàn)甚微的完整通道（channel）。我們早期的研究提出了一種訓(xùn)練階段的方法——自壓縮
歐洲借助NVIDIA Nemotron優(yōu)化主權(quán)大語言模型
NVIDIA 正攜手歐洲和中東的模型構(gòu)建商與云提供商，共同優(yōu)化主權(quán)大語言模型 (LLM)，加速該地區(qū)各行業(yè)采用企業(yè)級 AI。
小白學(xué)大模型：從零實現(xiàn) LLM語言模型
在當(dāng)今人工智能領(lǐng)域，大型語言模型（LLM）的開發(fā)已經(jīng)成為一個熱門話題。這些模型通過學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語言文本，完成各種復(fù)雜的任務(wù)，如寫作、翻譯、問答等。https
如何借助大語言模型打造人工智能生態(tài)系統(tǒng)
大語言模型(LLMs)正以革命性的姿態(tài)重塑我們與科技的互動模式。然而，由于其龐大的規(guī)模，它們往往屬于資源密集型范疇，不僅大幅推高了成本，還造成了能源消耗的激增。本文深入剖析了大語言模型
?VLM（視覺語言模型）?詳細(xì)解析
視覺語言模型（Visual Language Model, VLM）是一種結(jié)合視覺（圖像/視頻）和語言（文本）處理能力的多模態(tài)人工智能模型，能夠理解并生成與視覺內(nèi)容相關(guān)的自然
工商網(wǎng)監(jiān)
評論