千帆杯AI原生應(yīng)用開(kāi)發(fā)挑戰(zhàn)賽第二期賽題“賀歲靈感模型”已于2月28日?qǐng)A滿結(jié)束。經(jīng)過(guò)嚴(yán)格的自動(dòng)評(píng)估和人工復(fù)審后，現(xiàn)已決出TOP10選手！

第二期賽題，結(jié)合新春佳節(jié)的背景以“賀歲靈感模型”為主題，鼓勵(lì)開(kāi)發(fā)者使用千帆ModelBuilder，基于ERNIE Speed模型打造一個(gè)春節(jié)文案創(chuàng)作的精調(diào)模型，在通過(guò)對(duì)模型精調(diào)使其保持原有能力的同時(shí)，還能準(zhǔn)確理解和執(zhí)行文案創(chuàng)作，幫助用戶成為春節(jié)檔“最強(qiáng)賀歲文案專家”。

本期賽題主要通過(guò)千帆ModelBuilder工具鏈中“模型評(píng)估”的部分能力以及人工評(píng)估做整體評(píng)審，全方位保證評(píng)審結(jié)果的公平、公正、公開(kāi)。

第一輪：自動(dòng)評(píng)估（滿分1分）

以“內(nèi)容分”和“字數(shù)控制分”為主要考核指標(biāo)，兩項(xiàng)標(biāo)準(zhǔn)分別占據(jù)0.6、0.4的權(quán)重，通過(guò)加權(quán)平均后，得出“選手模型”的作品分?jǐn)?shù)。

內(nèi)容分（占據(jù)0.6權(quán)重）：官方輸入包含內(nèi)容及字?jǐn)?shù)要求的評(píng)測(cè)數(shù)據(jù)集，以ERNIE Bot 4.0作為裁判，如果“選手模型”答案比數(shù)據(jù)集答案更好則得分，反之則不得分。如果ERNIE Bot 4.0沒(méi)有明確返回評(píng)測(cè)數(shù)據(jù)集答案更好，均算作“選手模型”得分。

字?jǐn)?shù)控制分（占據(jù)0.4權(quán)重）：基于官方評(píng)測(cè)數(shù)據(jù)集的字?jǐn)?shù)要求，根據(jù)“選手模型”的全量回答綜合得出最終字?jǐn)?shù)控制評(píng)分。

具體規(guī)則：根據(jù)“選手模型”答案字?jǐn)?shù)與評(píng)測(cè)數(shù)據(jù)集中字?jǐn)?shù)要求的diff進(jìn)行分段打分，具體分段分?jǐn)?shù)如下：

diff ≤ 0.05，得1分

0.05 < diff ≤ 0.1，得0.9分

0.1 < diff ≤ 0.15，得0.8分

0.15 < diff ≤ 0.2，等0.7分

0.2 < diff ≤ 0.25，得0.6分

其余則不得分

舉例：如評(píng)測(cè)數(shù)據(jù)要求為300字，選手模型返回290字，則diff為：（300-290）/300=0.033，最終得分因0.033 ≤ 0.05，因此在該評(píng)測(cè)數(shù)據(jù)下字?jǐn)?shù)控制得1分。

第二輪：人工評(píng)估（滿分1分）

為了保證自動(dòng)評(píng)估的結(jié)果，官方針對(duì)自動(dòng)評(píng)估得出的TOP 12“選手模型”安排了第二輪人工評(píng)估。（由于選手比分較為接近，因此官方對(duì)TOP 12“選手模型”進(jìn)行人工評(píng)估）

人工評(píng)估由三位百度專家通過(guò)人工查驗(yàn)的方式進(jìn)行，專家通過(guò)對(duì)參賽選手所提供的模型微調(diào)方案進(jìn)行投票（一位專家最多可投3票），如選手獲得三票，即獲得滿分。

“千帆杯”第二期

「最強(qiáng)挑戰(zhàn)者」出爐

第二期最強(qiáng)挑戰(zhàn)者張輝，帶來(lái)作品“賀歲靈感模型”，張輝使用ModelBuilder的模型SFT精調(diào)工具鏈，基于ERNIE Speed基座模型，精調(diào)訓(xùn)練出了一個(gè)能準(zhǔn)確控制創(chuàng)作字?jǐn)?shù)的春節(jié)賀歲文案模型。

ERNIE Speed模型作為百度在2024年最新發(fā)布的自研高性能大語(yǔ)言模型，憑借其輕量級(jí)、高效的自然語(yǔ)言處理等特點(diǎn)，可以快速地響應(yīng)用戶需求。同時(shí)，其在微調(diào)場(chǎng)景下優(yōu)勢(shì)顯著，模型的訓(xùn)練時(shí)間更短，成本更低，特定場(chǎng)景下的效果可媲美ERNIE Bot 4.0。

自2月發(fā)布上線以來(lái)，目前已有超過(guò)150家企業(yè)采用了ERNIE Speed模型，它除了能做到快速響應(yīng)外，作為基礎(chǔ)通用大模型，在閱讀理解、close-book問(wèn)答、創(chuàng)作與續(xù)寫等復(fù)雜任務(wù)上，也能達(dá)到甚至超越千億大模型的效果。每一位開(kāi)發(fā)者，都可以在ERNIE Speed的助力下，快速實(shí)現(xiàn)企業(yè)級(jí)的專屬模型訓(xùn)練，探索AI大模型的無(wú)限可能。

更多AI的想象

值得期待

3月21日，百度智能云將在北京舉行AI Cloud Day：百度智能云千帆產(chǎn)品發(fā)布會(huì)。作為2024年AI領(lǐng)域最值得期待的系列產(chǎn)品發(fā)布會(huì)，誠(chéng)摯邀請(qǐng)所有技術(shù)愛(ài)好者共襄盛舉。屆時(shí)，百度智能云千帆ModelBuilder和AppBuilder也將公布最新產(chǎn)品進(jìn)展，發(fā)布系列新模型以及應(yīng)用開(kāi)發(fā)工具組件等，分享如何助力企業(yè)、用戶釋放模型創(chuàng)新潛能，簡(jiǎn)單高效打造AI原生應(yīng)用，推動(dòng)中國(guó)AI原生應(yīng)用的發(fā)展，共同邁入嶄新的AI生產(chǎn)力的最新紀(jì)元。

審核編輯：劉清