模型表現好,金牌少不了。
剛剛,中文大模型測評基準SuperCLUE發布《中文大模型基準測評2024年10月報告》:
商湯日日新·商量大模型(SenseChat5.5)憑借出色的能力表現,總得分位列國內大模型第一梯隊,獲得金牌。
本次SuperCLUE10月報告覆蓋23個國內模型,聚焦語言大模型的通用能力評估,分為三大維度:除了考察“文科”、“理科”基礎能力外,還有考察模型更高階能力的“Hard”附加任務,總共2900+道題:
【理科任務】分為計算、邏輯推理、代碼、工具使用測評集;
【文科任務】分為知識百科、語言理解、長文本、角色扮演、生成與創作、安全六大測評集;
【Hard任務】分為精確指令遵循測評集,復雜任務高階推理測評集。
商湯SenseChat5.5在多項評測任務中均位列第一梯隊,文科中語言理解、安全等維度表現突出,也是理科中邏輯推理、代碼學科的“尖子生”。
值得注意的是,在【Hard】的兩項任務——精準指令遵循和高階推理中,商湯SenseChat5.5是唯一兩項任務均位于國內第一梯隊的大模型,體現了模型優秀的復雜推理智能。
未來,商湯將繼續堅持基礎大模型的持續研發與投入,不斷提升真正高階推理及“慢思考”能力。
-
商湯科技
+關注
關注
8文章
609瀏覽量
37559 -
大模型
+關注
關注
2文章
3650瀏覽量
5186
原文標題:近3000道題,商湯大模型拿了金牌
文章出處:【微信號:SenseTime2017,微信公眾號:商湯科技SenseTime】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
商湯科技正式開源空間智能模型日日新SenseNova-SI-1.3
避繁就簡!商湯日日新大模型靈性巧解數學難題,獲贊“機器的審美”
商湯科技日日新V6.5榮獲2025年多模態大模型全國第一
商湯科技日日新Seko系列模型與寒武紀成功適配
商湯日日新V6.5多模態大模型登頂全球權威榜單
小米AI眼鏡×商湯日日新 商湯“日日新”大模型交互平臺「商量」已探索性接入小米AI眼鏡
看點:商湯“日日新”擬接入小米AI眼鏡 鴻利智匯:部分產品已應用于小米汽車
商湯日日新SenseNova融合模態大模型 國內首家獲得最高評級的大模型
商湯科技日日新V6大模型斬獲“雙料第一” 一項國內榜首,一個全球第一
商湯日日新·商量大模型位列國內大模型第一梯隊
評論