中科深智成立于 2016 年，是一家專注于端到端生成式 AI 虛擬人技術的公司，從底層自研的大語言模型、動作和表情生成算法模型以及 3D 自動建模，到 Motionverse 虛擬人業務中臺，再到 3D 生成式 AI 產品和應用層。中科深智除了為生態合作伙伴提供 AI 虛擬人 API 外，還開發了一系列 3D 生成式 AI 產品，包括超寫實虛擬人生成系統 Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動播、AI 快速動畫生成系統自動畫、虛擬人實時交互和應答系統云小七等。

傳統 NPC 人機交互

生硬且成本高昂

在動作和表情方面，傳統 NPC 因為無法獲取用戶的畫面信息和語音信息，也就無法做出實時的反饋，動作和語音的呈現皆靠預設，所謂的人機交互其實非常的刻板和生硬。

在文字和語音的對話能力方面，大語言模型的出現賦予了 NPC 實時對話的能力。但無論是何種大語言模型的誕生，都經歷了數據清洗、預訓練、指令微調、測試、合規、部署和應用接口開發等環節，這些環節此前是彼此分散的，而并非一體化的，這也意味著每兩個環節之間都需要進行大量的人工處理和匹配部署，這本質上是對人力成本和時間成本的浪費，亟需一種更加省時和高效的解決方案。

NVIDIA 賦能游戲 NPC

實現智能化互動

中科深智的虛擬人實時交互和應答系統云小七可以支持智能 NPC 的批量化生產，提升游戲開發效率。云小七基于生成式 AI 的設計，可以通過將 NPC 賦予如形象、聲音、性格特征、背景等特定的人設來與游戲內容進行有機融合。此外，云小七還能夠在不需要編寫復雜腳本的情況下，讓 NPC 與游戲玩家進行順暢的文字、語音、動作、表情等多模態的實時互動。這將為游戲開發商帶來更有力的支持，同時也為玩家提供更加生動、真實的游戲體驗。云小七的核心能力之一還包括中科深智自研實現的 CLAP 大模型算法，這種算法可以實現對于語音、語義以及外部環境輸入的實時反饋，從而輸出動作和表情等，使得 NPC 具有更加生動的表現能力。

NVIDIA Omniverse 中的 Audio2Face 可以輔助云小七實現音頻輸入的面部輸出，通過預訓練的深度神經網絡、調整角色網格的 3D 頂點等方式，快速實現表情切換。通過利用 NVIDIA Maxine 對于音頻和視頻通信方面進行優化，即使用戶使用普通的麥克風和攝像頭，NPC 也能監測到他們的行為并且產生反饋，與玩家實現實時互動。

此外，云小七底層的文字對話能力來自于中科深智今年 5 月推出的自有大語言模型 GenSense 數智姜尚。數智姜尚是國內商用大模型在輕量化領域內的重要嘗試，是針對垂直領域和虛擬人端到端應用而專門設計的大語言模型，可成為虛擬人的“大腦”，為其提供實時互動的能力支撐。數智姜尚采用了先進的優化技術，輕巧便利且占用資源極少，可為用戶提供流暢的使用體驗。配合 NVIDIA GPU，數智姜尚能夠以高性能運行并展現出色的表現。其次，數智姜尚的部署和定制非常簡便，可以輕松集成到現有的企業工作流中，為用戶提供個性化和智能化的解決方案，同時實現快速的模型訓練和應用部署。

NVIDIA NeMo 在數智姜尚的訓練過程中提供了低門檻、經濟、高效的幫助。

首先，NVIDIA NeMo 幫助解決了訓練全流程的問題，包括數據清洗、預訓練和指令微調，以及測試、合規、部署和應用接口開發等。在此之前，這需要多個架構才能完成，因此極大的提高了自有模型的開發效率。

同時，NVIDIA NeMo 還提供了大量的、可應用于多個不同場景的預訓練模型。選擇 NVIDIA 已經訓練好的模型，能夠大幅縮短微調和再訓練的時間，也幫助擴充了中科深智自身大模型數智姜尚的適應性。NeMo 本身的 ASR/TTS 也直接帶來了自然交互工具，無需借助第三方，從而加速了數智姜尚的開發和交付。

此外，通過使用 NVIDIA 提供的 NeMo Guardrails 工具，中科深智還高效解決了對話式 AI 合規性和安全性的風險。通過 NeMo Guardrails 為對話設置響應的范圍和邊界，使數智姜尚的回答范圍僅限于適當的主題并僅提供必要的信息，能夠限制 AI 只與已確認安全的第三方應用程序建立聯系。

NVIDIA 助力中科深智

加速AI 對話數字人建設

中科深智聯合創始人兼 CTO 宋健說：“中科深智是 NVIDIA 初創加速計劃的高級會員，通過該計劃，一方面中科深智與 NVIDIA 進行了深入的技術合作，另外一方面也鏈接到大量外部企業資源，可以快速有效的將產品和需求方進行對接。

大模型驅動的對話式 AI 和數字人的結合引發了新一輪的商業增量，也是我們的企業客戶關注的重點。對話式數字人正在不同領域發揮著越來越大的作用，幫助企業用戶解決客戶服務等難題，提高客戶的體驗。然而開發和運行可落地的語音人工智能服務仍然是一項復雜而艱巨的任務，通常需要面臨實時性、可理解性、自然性、低資源、魯棒性等挑戰。在 NVIDIA 初創加速計劃的支持之下，我們深入了解并且成功應用了 NVIDIA 各項最新技術和工具，包括 NVIDIA Nemo，NVIDIA Omniverse 等等，切實幫助我們加速了 AI 對話數字人的建設?！?/span>

NVIDIA 初創加速計劃

中科深智是 NVIDIA 初創加速計劃 (NVIDIA Inception) 會員企業。NVIDIA 初創加速計劃為免費會員制，旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構，創業孵化器，創業加速器，行業合作伙伴以及科技創業媒體等，打造創業加速生態系統。能夠提供產品折扣，技術支持，市場宣傳，融資對接，業務推薦等一系列服務，加速創業公司的發展。

想獲得 NVIDIA 初創加速生態助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯系。