一 現狀·問題

1、培訓考核涉及的文件數量較多

當前，京東航空公司維修部門面臨著人員規模的快速增長和持續的培訓需求。根據民航局的規定，維修培訓必須確保所有維修人員都能夠完成對飛機維修相關文件的學習，這包括維修方案、維修工程管理手冊、工作程序手冊等共計12本手冊以及民航局發布的各類明傳電報、維修工程部門發布的維修提示文件MT和技術通告文件TA等內容。這不僅適用于新招聘人員的初始培訓，復訓，而且每當手冊更新時，都需要進行差異化培訓。以上內容的培訓都屬于知識掌握類培訓，經過近兩年的運行，業務側發現無論是課堂培訓還是自學培訓，培訓效果都不太好，即員工常常無法在完成培訓后，全面掌握所需要掌握的知識或程序要求。因此維修系統在今年對此類培訓進行了改革，計劃通過“以考促訓”的方式提高培訓效果，即通過編制考題覆蓋所有需要掌握的知識點，要求受訓人員通過反復做題，并在做題的過程中查詢相關手冊、文件等資料，最終達到100%掌握知識點的目標。按此改革計劃，就需要培訓分部根據每次培訓材料編制海量的題庫，相對于原有題庫將呈指數倍增加，而且還需要實時根據資料的更新去更新對應的題目和答案。

2、培訓考核涉及的文件變動頻次較高、應用場景較為頻繁

目前，維修系統需考核的手冊類文件約12本，考題量需求約2400道；涉及的局方文件、維修發技術類文件約600條，且以20條/每月的速度增加，涉及的考題約3000道。

以上培訓場景每次均需對歷史文件進行評估，對考題庫進行更新修訂。

3、人工擬定題目費時費力

為提高維修人員對手冊程序的掌握程度，現有的培訓有效性評估手段將從“一次考試機會，70分及格”轉向“考試機會不限，但需滿分及格”，為此需不斷擴充題庫數量、優化題庫質量，以確保維修人員逐步熟練掌握手冊中的各項要求。根據維修系統的文件數量、變動頻次和應用場景，預計在2024~2025年每周需安排24時/人次梳理更新已有題庫、增加新題庫，全年預計增加工時1248時，需增編1人以免影響其他培訓管理工作的開展。

4、無法評估現有題目有效性

題庫中題目的數量快速增長。但是一旦依據的手冊文件發生改版變更，原有題目是否依然正確且有效是存疑的，這需要人工投入大量時間對題庫中的題目進行評估和復核，該工作量隨著題庫規模的增大，已經變為一項幾乎不可能完成的任務。

新擬定的試題和現有題庫中的試題相比，是否是重復性的試題？也無人力資源投入進行分析和判斷，從而進一步導致題庫規模的無節制增大，成為了一個死循環。

二、需求分析

將培訓管理人員從這種低效、工作量大、技術含量低的工作中釋放出來，聚焦更高價值的工作：需要根據指定的材料文件，自動生成試題，包含單選題、多選題、判斷題。生成的試題對比現有題庫，重復率不得高于設定值。對現有題庫進行定時識別分析，判斷是否存在失效風險，若和手冊文件不匹配，則生成修訂意見，提醒培訓管理人員進行復核確認。

三、采取措施

采用向量庫+大模型的方式，構建題庫生成助手1、采用向量庫，存儲對文件材料進行向量化存儲，從而實現通過簡單指令快速召回相關手冊的內容。2、使用大模型的自然語言處理能力，根據提供的手冊內容及試題生成的要求，生成試題。

四、實踐步驟

1、工具選擇

大模型能力建設選擇采用集團推出的AutoBots平臺進行建設，該平臺通過配置化的方式進行大模型、知識庫、插件的快速搭建和集成，促進大模型場景的快速落地：

?文件向量化方便快捷：該場景要求文件更新/新增的時候，能夠及時進行向量庫更新，以便能夠生成試題使用。AutoBots平臺提供配置化的向量庫搭建能力，且打通了JoySpace，能對JoySpace中的文件快速進行解析并保存到數據庫中，同時支持圖片和表格的解析能里。在文檔發生更新時，自動更新向量庫的內容。解決了獨立搭建時需要人工進行文件解析處理的問題，且解析和召回的準確度更高。

?知識召回準確：AutoBots平臺算法團隊，對向量化的過程進行獨立模型搭建，且算法調優，準確度得到保障。

?流程編排能力：AutoBots平臺支持通過流程編排的方式，快速對多個大模型、知識庫、插件、文檔解析等能力進行集成構建，支持復雜場景的實現。

2、整體流程設計

業務老師將文件材料上傳至joypace上，Autobots自動將文件進行解析并存儲在向量庫中。采用培訓系統作為功能載體，業務老師在系統上輸入指令包含題目類型、題目難易程度、題目數量、知識范圍等，機務系統后臺進行大模型指令組裝，調用Autobots平臺上已調試好的大模型接口，進行生成結果的獲取，并以預覽的方式展示給用戶。用戶對于采納的試題可一鍵加入題庫。AutoBots平臺上，先根據用戶的指令，從向量庫中召回相關知識。然后大模型根據提供的知識和要求進行試題的生成，并以JSON的格式進行結果返回。

3、大模型流程設計

采用AutoBots平臺的流程編排能力，進行大模型能力的構建。

3.1 接收指令

接受指令中僅包含1個參數query，及為用戶下發的指令，其中包含知識范圍、題目類型、試題數量、難易程度等。（若直接通過接口調用的話，也可以拆解為多個參數，以便后續流程使用）

3.2 知識召回

知識召回節點的目的在于從向量庫中，召回本次生成范圍所需的相關知識，比如某本手冊等。該節點會生成一個outputList列表，其中即為相關的知識。

3.3 大模型試題生成

通過大模型，結合召回的知識和試題生成的要求進行試題生成，由于需要和業務系統對接，所以需要對生成結果的格式進行指定，提示詞如下：

# 角色

你是一位專業的題庫專家，擅長根據{{document}}的內容按照{{question}}要求生成對應題型的試題。你的專業知識和豐富經驗使你能夠準確地理解和轉化用戶的需求，生成滿足要求的題目和答案。

## 技能

### 技能1: 生成單選題

- 根據用戶提供的內容，生成單選題。

- 保證每個單選題至少有四個選項。

- 選項編號按照ABCD排列

- 輸出格式：{"type":"固定值：singleChoice","question": "題目描述","options": [{"optionName":"選項編號","optionContent":"選項描述"},{"optionName":"選項編號","optionContent":"選項描述"}],"correctAnswer": "正確選項編號"}

### 技能2: 生成多選題

- 根據用戶提供的內容，生成多選題。

- 保證每個多選題至少有四個選項。

- 選項編號按照ABCD排列

- 輸出格式：{"type":"固定值：multipleChoice","question": "題目描述","options": [{"optionName":"選項編號","optionContent":"選項描述"},{"optionName":"選項編號","optionContent":"選項描述"}],"correctAnswer": ["正確選項編號1", "正確選項編號2"]}

### 技能3: 生成判斷題

- 根據用戶提供的內容，生成判斷題。

- 輸出格式：{"type":"固定值：trueOrFalse","question": "題目描述","correctAnswer": "Y or N"}

### 技能4: 生成簡答題

- 根據用戶提供的內容，生成簡答題。

- 輸出格式：{"type":"固定值：shortAnswer","question": "題目描述","correctAnswer": "正確答案"}

## 約束：

- 只生成與用戶提供內容相關的題目。

- 必須遵守指定的輸出格式，并以JSON數組的格式整合返回結果，且不要包含json前綴。

- 保證每個題目的描述在100字以內。

- 保證每個選項的描述在50字以內。

- 保證每個題目的正確答案在50字以內。

3.4 結果返回

該節點為結果節點，像調用方返回最終的結果，由于本場景僅需最終生成的試題，因此直接輸出大模型試題生成節點的結果即可：{{output}}。

3.5 效果

指令請根據CCAR-396-R3民用航空安全信息管理規定中對信息報告的相關要求，生成5道單選題。

知識庫召回結果:

?

大模型生成結果：

[
    {
        "type": "singleChoice",
        "question": "根據CCAR-396-R3規定，民航局對在民用航空安全信息管理工作中做出突出貢獻的單位和個人給予什么？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "罰款"
            },
            {
                "optionName": "B",
                "optionContent": "表彰和獎勵"
            },
            {
                "optionName": "C",
                "optionContent": "警告"
            },
            {
                "optionName": "D",
                "optionContent": "培訓"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根據CCAR-396-R3規定，緊急事件發生后，事發相關單位應當在事件發生后多少小時內填報民用航空安全信息報告表？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "6小時"
            },
            {
                "optionName": "B",
                "optionContent": "12小時"
            },
            {
                "optionName": "C",
                "optionContent": "24小時"
            },
            {
                "optionName": "D",
                "optionContent": "48小時"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根據CCAR-396-R3規定，民用航空安全信息工作實行什么原則？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "統一管理、分級負責"
            },
            {
                "optionName": "B",
                "optionContent": "分散管理、統一負責"
            },
            {
                "optionName": "C",
                "optionContent": "自愿管理、分級負責"
            },
            {
                "optionName": "D",
                "optionContent": "統一管理、統一負責"
            }
        ],
        "correctAnswer": "A"
    },
    {
        "type": "singleChoice",
        "question": "根據CCAR-396-R3規定，局方和企事業單位應當為民用航空安全信息管理人員配備哪些設備？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "便攜式計算機、網絡通訊設備"
            },
            {
                "optionName": "B",
                "optionContent": "移動存儲介質、傳真機"
            },
            {
                "optionName": "C",
                "optionContent": "錄音筆"
            },
            {
                "optionName": "D",
                "optionContent": "以上都是"
            }
        ],
        "correctAnswer": "D"
    },
    {
        "type": "singleChoice",
        "question": "根據CCAR-396-R3規定，非緊急事件發生后，事發相關單位應當在事發后多少小時內填報民用航空安全信息報告表？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "12小時"
            },
            {
                "optionName": "B",
                "optionContent": "24小時"
            },
            {
                "optionName": "C",
                "optionContent": "48小時"
            },
            {
                "optionName": "D",
                "optionContent": "72小時"
            }
        ],
        "correctAnswer": "C"
    }
]

4、業務系統集成

生成條件采用結構化的方式，方便用戶精準的識別到其需要填寫的內容，從而促進指令下發的準確度，保證試題生成的質量。對于生成的結果，可一鍵加入題庫，供后續使用。

5、持續升級

5.1 支持大批量試題生成

首次進行場景0-1的建設，因此對單次試題生成的數量進行了限制，避免資源消耗過大。后續會根據使用情況逐步放開，支持100道/次以上的生成規模。

5.2 支持針對于整份文件的生成

基于向量庫知識召回的方式進行實現的方式，由于向量庫進行知識召回返回的是TOP N，因此勢必會存在內容缺失，該種方式更加便于針對文檔中的部分內容進行試題生成。后續將通過文件識別的方式，直接解析文件，根據整份文件內容進行生成。

5.3 生成的試題增加重復率限制

在試題生成節點之后，增加重復率識別的判斷，若存在重復率不滿足條件的試題，則從結果中剔除，并再次進行補充生成。

5.5 現有題庫有效性識別

通過系統定時任務的方式，將通過試題題目進行文檔知識召回，并將試題及試題相關的知識提交至大模型，由大模型進行有效性判斷，若存在失效風險則返回標記及修改建議，在系統題庫功能上進行著重表示并消息提醒相關用戶，進行復核確認。

五、效能提升

六、簡要總結

通過AI大模型幫助用戶進行培訓試題的生成，在一定程度上將用戶從低效、低技術含量、大工作量中解放出來，是面向用戶痛點的一次嘗試。同時通過該場景將大模型的能力和業務場景及工程系統結合了起來，讓用戶得到感知，也便于后續更多的大模型實踐場景的發掘和落地。

該案例不僅用在航空領域，在其他諸多需要生成試題，生成問卷等相關場景方面都可進行參考和嘗試。當前現在試題生成能力也僅是實現在從0到1的落地建設，能力需要不斷的打磨和完善，后續會逐步進行1到100，100到∞的升級。

?審核編輯 黃宇