手把手教你用聆思 CSK6 大模型開發板接入Dify智能體進行語音交互

前言

Dify 是一個開源的LLM（大語言模型）應用開發平臺，其定位是打造以可視化和低代碼/零代碼為核心的一站式AI應用開發解決方案。它融合了后端即服務與LLMOps的理念，支持快速構建、部署和管理基于大語言模型的應用程序。Dify 企業級能力涵蓋了強大的RAG（檢索增強生成）引擎、AI工作流編排以及多模型集成與管理等核心組件。相信許多開發者也希望了解如何將具體的模型或服務與該平臺進行集成。這里就以接入DeepSeek大模型并在Dify上創建一個簡單的AI應用為例，演示一下基礎接入步驟，大家可以參考以下流程進行操作即可

由上圖可見，當前 SDK 方案是把開發套件當做輸入端，文字或圖片內容先上傳到聆思的大模型平臺（LSPlatform），然后平臺再根據匹配的應用策略轉給后端的大模型處理。基于聆思大模型平臺提供的應用編排功能，我們如果要使用其他大模型，只需要從云端更改大模型接入節點，而無需去修改硬件端。以下為CSK6大模型開發板接入Dify后的交互演示：

https://docs2.listenai.com/zz/10164.mp4?shortId=_KxmRfm2W

實現步驟

一、申請 Dify API

1. 登錄注冊 Dify 官網

2. 創建應用

3. 安裝【OpenAI】插件

4. 創建【聊天助手】應用

5. 獲取 API 密鑰

6. 填寫API密鑰（在哪里填寫，將在下文詳細描述）

鏈路說明

示例中包含 3 條鏈路，分別為

●鏈路 1: 可通過注入節點調用 Dify 節點，并將結果輸出到 output1。

●鏈路 2: 可通過 web 對話頁調用 Dify 節點，最終將大模型結果輸出到對話頁面上。

●鏈路 3: 可通過開發板調用 Dify 節點，最終將大模型輸出的結果進行語音合成實現端側播報。

二、云端服務接入 Dify

1. 創建應用

登錄 LSplatform，創建新應用

2.創建成功后在彈出的界面進入應用編排服務。

3.導入工程下載工程示例：Dify 示例.json

a. 導入工程示例：選擇 Dify 示例.json文件導入

若提示“您要導入的某些節點已經存在于工作空間中。”，則選擇“導入副本”即可。

4.配置參數

參數說明：

●API-KEY：Dify 的 API-KEY 獲取鏈接：Dify 開放平臺

●Host:api.dify.ai (根據Dify官網的接口文檔填寫)

●Path:/v1/chat-messages (根據Dify官網的接口文檔填寫)

●Timeout: 超時時間，單位ms

●Stream：是否流式返回

5.部署驗證

●在完成參數配置，進入完整體驗之前，我們可以簡單測試驗證，驗證是否成功調用 Dify。

●部署成功后關閉當前編排服務

重啟應用

測試接口

重啟應用后，再次點開【編排應用】，點擊注入，會觸發一次 Dify 子流程調用，標記 2 的紅框中輸出類似日志即代表成功建立鏈接。

打開 web 驗證頁面

回到【我的應用】，雙擊聆思 CSK6-Dify 應用，在彈出的應用詳情頁面點擊右上角分享按鈕打開 web 驗證配置，該配置頁包含測試地址和訪問密碼。

訪問 web 驗證頁面鏈接，在打開的 web 頁即可與 Dify 對話

三、大模型開發板接入 Dify

云端接入 Dify 成功后，要想在聆思 CSK6 大模型開發板上進行語音交互，需要把對接了 Dify 的云端服務跟指定開發板綁定。

1. 云端應用設備列表加入硬件設備 ID

讀取設備 id

設備 ID 是一個產品下的唯一設備標識，我們需要獲取當前設備 ID 方便后續在云端配置，才能讓設備鑒權通過實現端云交互。

讀取方式：

cskburn desktop 是一款聆思推出的桌面燒錄工具，下載地址（cskburn桌面燒錄工具 | 聆思文檔中心）打開軟件后

1. 點擊串口下拉框，選擇連接開發套件后識別到的串口編號；

2. 點擊獲取信息；

3. 得到設備 ID。

加入設備列表

聆思平臺只會對列表中的設備鑒權提供交互服務，因此需要將前面讀取到的設備 ID 在設備管理頁面進行導入才能實現設備正常交互。

2. CSK6 開發板設備端寫入云端產品服務配置

云端配置設備 id 后，還需將產品 ID 寫入開發板固件中，才能讓設備在運行時找到正確的云端產品服務完進行鑒權，鑒權完成就可以進行大模型語音交互了。

寫入方式：

使用數據線連接開發板 DAP_USB 接口后，打開聆思在線串口終端，選擇對應的串口設備進行連接，波特率默認 115200，完成配置后點擊連接按鈕。

通過 set product_id 和 set secret_id 指令可以分別配置開發板接入的大模型應用 product ID 及其密鑰，示例如下：

set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

其中，product_id 和 product_secret 可在對應產品的產品信息中獲取，請將指令中的參數替換為產品信息中的 id 與 secret 信息。

四、語音交互驗證接入成功

用小聆小聆喚醒，并提問你是誰，語音回復它是Dify即可驗證成功。至此，可以確認ChatGLM接入成功。本文使用的聆思CSK6大模型開發板的詳細信息可參考線上文檔。套件簡介 | 聆思文檔中心

更多資料

本文使用的聆思CSK6大模型開發板的詳細信息可參考線上文檔。https://docs2.listenai.com/x/nTn9kMMCU

小聆AI詳細配置參考：https://docs2.listenai.com/x/S_TEd8h7C

上手大模型硬件開發可以參考：https://docs2.listenai.com/x/Bt46JnBA0