国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

開源大模型到底開源什么?源碼在哪呢?

OSC開源社區 ? 來源:睡前機器學習 ? 2023-04-11 09:07 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

ChatGPT出來以后很多人都在說開源,認為只要OpenAI大發善心或者哪個高超的黑客黑進服務器,把ChatGPT的源碼發出來放到網上,那么到不了第二天天亮,全世界就會人手一個ChatGPT。

這是一種常見的誤解。

開源字面意思是公開源代碼,過去我們通常是指公開某款軟件項目的源代碼。知名的譬如說Linux操作系統,準確來說是操作系統內核,我們拿到Linux的源碼,只要搭建好相應的編譯環境,就能在本地編譯一套一模一樣的操作系統內核。

當然,實際會復雜一點,同一套源碼用不同方法編譯,運行效率、資源占用等都可能不同。這里姑且不再細摳,總之,過去軟件開源給我們的印象就是,甭管什么閬苑仙葩,只要一開源就能人手一份,而且很快還會有各種換皮魔改,同人逼死官方。往好了說,這叫開源帶來澎湃力量。

但大語言模型的“開源”完全不是這么一回事。先別管OpenAI現在名叫鈕鈷祿氏·CloseAI,就算哪天良心發現,真的要找回自己做一個名副其實的OpenAI,洗心革面把GPT-4給開源了。先別著急著高興,對于99%的人來說,GPT-4的源碼毫無意義,對于剩下的1%里的99%,可能也就蹭一些研究論文。只有最后剩下的1%里的1%才會有真正幫助,不過,也只是有幫助,但不算很大。

為什么?原因不復雜,因為大語言模型的所謂開源,實際上是有三個對象。源碼只是其中之一。我不是針對誰,在座各位即使拿到了源碼,剩下能做的也就只有點贊鼓掌。

人工智能三要素,算法、算力和數據。也有人管最后叫算據,不太確定這倆詞是不是互通。總之,到了力大飛磚的大語言模型時代,這三要素就成了算法、高算力和大數據。只有同時滿足這三大要素,你才有可能最終得到一款和ChatGPT類似效果拔群的模型。

那么,源碼在哪呢?在算法。算法的核心部分主要包括有模型結構和訓練方法,這兩部分都有對應的源碼。哪天OpenAI公開源碼,我們應該就能看到的也就是模型結構和訓練方法兩部分。

當然,這只是核心部分。一款人工智能產品,尤其是大型人工智能產品,還會有許多工程問題需要解決,除了核心還需要其它配套部件。別看到“配套部件”就覺得沒什么。之前同樣是OpenAI,配套部件大概占九成。所以,別管它Open不Open吧,我們能看到的都是冰山一角。

拿到源碼之后,真正的挑戰才剛開始。接下來才是這個世界絕大多數人、研究機構和企業注定無法邁過的門檻:高算力和大數據。

高算力已經說了很多了,門檻很高,但從全世界范圍來說,總歸有一些企業擠擠還是有的。不過,大數據就未必了。

數據非常重要。無論是人工智能時代,還是人工智障時代,擴大數據的規模、提高數據的質量,通常都能顯著提高模型的最終表現。以前我們經常自嘲,說人工智能就是投入多少人工就產出多少智能,人工做什么呢?就是標數據。

千萬不要小看了標數據,這玩意費人、費錢,關鍵還費時間。搞一個大模型已經十分不易,搞一個能喂飽大模型的數據集更為困難。OpenAI這種光啟動資金就10億刀的富二代企業,標數據照樣也得想辦法省錢,后來還出了一條新聞。

這里插個的陰謀論,ChatGPT的免費用,換個角度看沒準就成了我們給OpenAI免費標數據。有沒有依據?有。OpenAI官方明著說了,你和ChatGPT的交互數據可能用于模型訓練,要知道那可是一億多的用戶,那得生產多少高質量的人工標注數據。技術領先優勢可以追趕,數據領先優勢則就未必了。

好了,假設你七星聚頂,三大要素都湊齊了,接下來是不是就能煉出ChatGPT了呢?前面我們說過,“你才有可能最終得到一款和ChatGPT類似效果拔群的模型”。為什么是有可能?因為模型訓練和編譯源碼不太一樣,里面還包含一些難以言說的玄學因素。我一直對Bard的表現耿耿于懷,百思不得其解,我懷疑谷歌可能就是栽倒在玄學因素上面。

那么,現在很多研究者在呼吁的開源,到底是要開源什么呢?開源模型,具體來說,是開源訓練好的模型參數。模型參數拿到手,基本上就能完整復現能力了。當然,這還是對于大企業、大機構來說,運行大語言模型雖然消耗的算力遠不如訓練,但也不是單卡就能負擔的。

何況,行話說的“單卡運行”,通常是指60G顯存往上。哥們那些打游戲的所謂高端顯卡,在這還沒夠上起步價。

最后多說兩句開源。開源很重要,人工智能能有今天的進步,開源功不可沒。人工智能的研究成果大概有幾種,首先就是論文。學術論文是要錢的,但是在人工智能領域,很多作者都免費公開了論文。當然,有些是論文,有些是名叫論文的文宣資料,通常倒數第三或者第四部分會放一些表格,表揚一下這次搞的模型在什么什么任務上面效果拔群,洋氣一點,叫SOTA。

然后是源碼。源碼不是必選項,有些研究者只發論文不發源碼,有一種原因是舍不得,覺得辛辛苦苦憋出來的成果不愿意簡簡單單就交給別人,當然也有可能覺得寫得太爛丟不起人,或者在論文里吹太過了,擔心別人復效不了質疑。

還有就是模型。前面說過,模型這玩意距離能力復現就一步之遙,有很多人愛開源模型,也有很多人不愛開源模型,原因和上面差不多,還有一種是大公司大機構才敢用,官方辭令很多,譬如“出于社會責任考慮”,或者“安全倫理存在巨大風險”等等。

谷歌在21年就搞出了大語言模型LaMDA,說技術過于先進不便展示,害得我對著論文流了好多口水。現在出來個Bard,還不如不展示。

這里為咱們的中文開源大語言模型打個Call吧,能講中文還開源的大語言模型真的不多,清華放出來的ChatGLM-6B應該是佼佼者,而是真·單卡就能運行。這里說的是消費級顯卡。

最后就是開源數據集了,這項工作很重要,但也很容易被圈外忽視。現在中文大語言模型缺的東西很多,抱怨的也很多,還有一票人天天平替這個平替那個,實在不知道怎么想。不過,講屁話沒有用,已經有一些開源項目開始做起來,這都是星星之火。





審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Linux操作系統

    關注

    0

    文章

    54

    瀏覽量

    11789
  • OpenAI
    +關注

    關注

    9

    文章

    1245

    瀏覽量

    10070
  • ChatGPT
    +關注

    關注

    31

    文章

    1598

    瀏覽量

    10268

原文標題:開源大模型到底開源什么?

文章出處:【微信號:OSC開源社區,微信公眾號:OSC開源社區】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    地平線正式開源HoloBrain VLA基座模型

    2月13日,地平線正式宣布其HoloBrain-0基座模型及框架全面開源。本次開源不僅包括HoloBrain-0核心算法,地平線同步開放完整基礎設施RoboOrchard。作為地平線機器人實驗室
    的頭像 發表于 02-26 10:05 ?301次閱讀
    地平線正式<b class='flag-5'>開源</b>HoloBrain VLA基座<b class='flag-5'>模型</b>

    “明牌”對局,自變量開源模型超越pi0

    “明牌”對局,自變量開源模型超越pi0
    的頭像 發表于 01-10 12:00 ?5588次閱讀
    “明牌”對局,自變量<b class='flag-5'>開源</b><b class='flag-5'>模型</b>超越pi0

    C-小智開源版,可二次開發(WIN32)#小智AI #開源 #二次開發

    開源
    不太正經的攻城獅
    發布于 :2026年01月04日 19:31:14

    0.7元/百萬token碾壓競品! 小米新開源模型,卷出AI普惠關鍵密碼

    的 Qwen-3均為當前國產大模型中的代表性產品。在與DeepSeek V3.2、千問Qwen-3對比當中,小米開源模型到底有哪些優勢和應用價值?本文進行詳細
    的頭像 發表于 12-21 07:52 ?1.1w次閱讀
    0.7元/百萬token碾壓競品! 小米新<b class='flag-5'>開源</b>大<b class='flag-5'>模型</b>,卷出AI普惠關鍵密碼

    進迭時空 debug upstream | 取之于開源,貢獻于開源

    。Debug相關軟件項目概覽RISC-V調試所涉及的核心開源軟件主要包括GDB和OpenOCD。GDB(GNUDebugger)是GNU項目下的功能強大的源碼級調
    的頭像 發表于 11-17 09:33 ?5454次閱讀
    進迭時空 debug upstream | 取之于<b class='flag-5'>開源</b>,貢獻于<b class='flag-5'>開源</b>

    NVIDIA開源Audio2Face模型及SDK

    NVIDIA 現已開源 Audio2Face 模型與 SDK,讓所有游戲和 3D 應用開發者都可以構建并部署帶有先進動畫的高精度角色。NVIDIA 開源 Audio2Face 的訓練框架,任何人都可以針對特定用例對現有
    的頭像 發表于 10-21 11:11 ?826次閱讀
    NVIDIA<b class='flag-5'>開源</b>Audio2Face<b class='flag-5'>模型</b>及SDK

    開源鴻蒙MNN AI應用開發與MNN移植經驗

    本期內容由AI Model SIG提供,介紹了在開源鴻蒙中,利用MNN開源框架開發AI應用以及基于MNN源碼編譯與Har包封裝的方法。
    的頭像 發表于 09-04 11:31 ?4557次閱讀
    <b class='flag-5'>開源</b>鴻蒙MNN AI應用開發與MNN移植經驗

    【VisionFive 2單板計算機試用體驗】3、開源大語言模型部署

    1、ollama平臺搭建 ollama可以快速地部署開源模型,網址為https://ollama.com, 試用該平臺,可以在多平臺上部署 Deepseek-R1, Qwen3, Llama
    發表于 07-19 15:45

    瑞金醫院攜手華為開源RuiPath病理模型

    近日,由上海交通大學醫學院附屬瑞金醫院(以下簡稱“瑞金醫院”)主辦、華為技術有限公司協辦的“瑞金醫院RuiPath病理模型開源及成果發布會”在上海舉行。瑞金醫院聯合華為開源RuiPath病理
    的頭像 發表于 07-02 14:57 ?997次閱讀

    華為正式開源盤古7B稠密和72B混合專家模型

    [中國,深圳,2025年6月30日] 今日,華為正式宣布開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型和基于昇騰的模型推理技術。 此舉是華為踐行昇騰生態戰
    的頭像 發表于 06-30 11:19 ?1335次閱讀

    上新:小米首個推理大模型開源 馬斯克:下周推出Grok 3.5

    似乎國內外AI競爭日趨白熱化,就在阿里巴巴發布Qwen3(通義千問3)之后,引發業界廣泛關注;很多大廠在跟進,大模型不斷上新: 阿里巴巴開源新一代通義千問模型Qwen3 4月29日凌晨4點,阿里巴巴
    的頭像 發表于 04-30 16:08 ?1327次閱讀

    請問下,openharmony支持哪一款龍芯的開發板?有沒有開源的龍芯的openharmony源碼

    想買個2k0300的開發板學習龍芯和openharmony,愣是沒有看到提供openharmony源碼的,也沒與看到開源的代碼。gitee上,openharmony的龍芯sig倉庫也是關閉的,有沒有人知道現在是什么情況?
    發表于 04-26 13:06

    NVIDIA Isaac GR00T N1開源人形機器人基礎模型+開源物理引擎Newton加速機器人開發

    NVIDIA Isaac GR00T N1開源人形機器人基礎模型+開源物理引擎Newton加速機器人開發
    的頭像 發表于 03-20 16:56 ?1713次閱讀

    英偉達GROOT N1 全球首個開源人形機器人基礎模型

    英偉達GROOT N1 全球首個開源人形機器人基礎大模型
    的頭像 發表于 03-20 11:05 ?2141次閱讀