2025年9月29日，寒武紀已同步實現(xiàn)對深度求索公司最新模型DeepSeek-V3.2-Exp的適配，并開源大模型推理引擎vLLM-MLU源代碼。代碼地址和測試步驟見文末，開發(fā)者可以在寒武紀軟硬件平臺上第一時間體驗DeepSeek-V3.2-Exp的亮點。

寒武紀一直高度重視大模型軟件生態(tài)建設(shè)，支持以DeepSeek為代表的所有主流開源大模型。借助于長期活躍的生態(tài)建設(shè)和技術(shù)積累，寒武紀得以快速實現(xiàn)對DeepSeek-V3.2-Exp這一全新實驗性模型架構(gòu)的day 0適配和優(yōu)化。

寒武紀一直重視芯片和算法的聯(lián)合創(chuàng)新，致力于以軟硬件協(xié)同的方式，優(yōu)化大模型部署性能，降低部署成本。此前，我們對DeepSeek系列模型進行了深入的軟硬件協(xié)同性能優(yōu)化，達成了業(yè)界領(lǐng)先的算力利用率水平。針對本次的DeepSeek-V3.2-Exp新模型架構(gòu)，寒武紀通過Triton算子開發(fā)實現(xiàn)了快速適配，利用BangC融合算子開發(fā)實現(xiàn)了極致性能優(yōu)化，并基于計算與通信的并行策略，再次達成了業(yè)界領(lǐng)先的計算效率水平。依托DeepSeek-V3.2-Exp帶來的全新DeepSeek Sparse Attention機制，疊加寒武紀的極致計算效率，可大幅降低長序列場景下的訓(xùn)推成本，共同為客戶提供極具競爭力的軟硬件解決方案。

↓ vLLM-MLU DeepSeek-V3.2-Exp適配的源碼(點擊文末“閱讀原文”可直接跳轉(zhuǎn))↓

https://github.com/Cambricon/vllm-mlu

基于vLLM-MLU的DeepSeek-V3.2-Exp運行指南

一、環(huán)境準備

軟件：需使用寒武紀訓(xùn)推一體鏡像Cambricon Pytorch Container部署，鏡像內(nèi)預(yù)裝運行vLLM-MLU的各項依賴。

硬件：4臺8卡MLU服務(wù)器。

如需獲取完整的軟硬件運行環(huán)境，請通過官方渠道聯(lián)系寒武紀。

二、運行步驟及結(jié)果展示

Step1：模型下載

模型文件請從Huggingface官網(wǎng)自行下載，后文用${MODEL_PATH}表示下載好的模型路徑。

Step 2：啟動容器

加載鏡像，啟動容器，命令如下：

# 加載鏡像
docker load -i cambricon_pytorch_container-torch2.7.1-torchmlu1.28.0-ubuntu22.04-py310.tar.gz

# 啟動容器
docker run -it --net=host 
  --shm-size'64gb'--privileged -it 
  --ulimitmemlock=-1${IMAGE_NAME}
  /bin/bash

# 安裝社區(qū)vLLM 0.9.1版本
pushd${VLLM_SRC_PATH}/vllm
  VLLM_TARGET_DEVICE=empty pip install .
popd
# 安裝寒武紀vLLM-mlu
pushd${VLLM_SRC_PATH}/vllm-mlu
  pip install .
popd

Step 3：啟動Ray服務(wù)

在執(zhí)行模型前，需要先啟動ray服務(wù)。啟動命令如下：

# 設(shè)置環(huán)境變量
exportGLOO_SOCKET_IFNAME=${INFERENCE_NAME}
exportNOSET_MLU_VISIBLE_DEVICES_ENV_VAR=1

# 主節(jié)點
ray start --head--port${port}
# 從節(jié)點
ray start --address='${master_ip}:${port}'

Step 4：運行離線推理

這里提供簡易的離線推理腳本`offline_inference.py`：

importsys

fromvllmimportLLM, SamplingParams


defmain(model_path):
  # Sample prompts.
  prompts = [
    "Hello, my name is",
    "The capital of France is",
    "The future of AI is",
  ]
  sampling_params = SamplingParams(
    temperature=0.6, top_p=0.95, top_k=20, max_tokens=10)

  # Create an LLM.
  engine_args_dict = {
    "model": model_path,
    "tensor_parallel_size":32,
    "distributed_executor_backend":"ray",
    "enable_expert_parallel":True,
    "enable_prefix_caching":False,
    "enforce_eager":True,
    "trust_remote_code":True,
  }
  llm = LLM(**engine_args_dict)
  # Generate texts from the prompts.
  outputs = llm.generate(prompts, sampling_params)

  # Print the outputs.
  foroutputinoutputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt:{prompt!r}, Generated text:{generated_text!r}")


if__name__ =='__main__':
  main(sys[1])

運行如下命令，完成模型離線推理：

# 運行推理命令
pythonoffline_inference.py --model${MODEL_PATH}

運行結(jié)果符合預(yù)期，具體結(jié)果如下：

Step 5：運行在線推理


分別啟動server和client，完成推理服務(wù)，示例如下：

# server
vllmserve${MODEL_PATH}
  --port8100
  --max-model-len40000
  --distributed-executor-backend ray 
  --trust-remote-code 
  --tensor-parallel-size32
  --enable-expert-parallel 
  --no-enable-prefix-caching 
  --disable-log-requests 
  --enforce-eager

# client, we post a single request here.
curl -X POST http://localhost:8100/v1/completions 
  -H"Content-Type: application/json"
  -d'{"model":${MODEL_PATH}, 
     "prompt": "The future of AI is", 
     "max_tokens": 50, "temperature": 0.7 
    }'

運行結(jié)果如下：

提取輸入輸出信息如下，符合預(yù)期。

Prompt：The futureofAIis
Output：being shapedbya numberofkey trends. These include the riseoflargelanguagemodels, the increasing useofAIinenterprise, the developmentofmore powerfulandefficient AI hardware,andthe growing focusonAI ethicsandsafety.

Largelanguagemodelsare

Step 6：運行交互式對話

使用vLLM-MLU框架，運行交互式對話demo，執(zhí)行結(jié)果如下：