時域科技是一家專注于 AI 領域的科技公司，致力于讓 AI 滿足人類的情感需求，通過“富情感”人聲合成技術，賦予 AI 表現情感的能力。時域科技服務以“游戲”+“虛擬偶像”為主的元宇宙業務客戶，為客戶提供高情感、高質量、高可控、高定制、全場景的 AI 人聲，幫助客戶通過 AI 與用戶建立情感連接，給用戶帶來情感價值的享受。

時域科技旗下ACE studio是 PC 平臺上的一款歌聲合成軟件，主要面向較為專業的用戶。ACE 虛擬歌姬是移動平臺上的一款歌聲合成軟件，用戶可以很方便的進行自由創作，二次創作，并且將自己的作品分享在平臺上，目前已有眾多炙手可熱的作品流傳。同時，時域科技還為多個合作伙伴提供接口服務。

時域科技歌聲合成引擎，由一組高性能模型組成，包括韻律模型，唱法模型，音色模型，參數模型等。采用云端部署方式，選用 NVIDIA A10 GPU 作為推理芯片，實現快速完成各種復雜的合成任務。

歌聲合成引擎迭代部署面臨諸多挑戰

歌聲合成引擎的迭代與部署過程中，團隊也遇到了諸多挑戰：

• 歌聲合成服務的用戶，由于很多正在進行創作活動，對于調用延遲耐受度很低，使得我們必須在各個環節進行極致優化，進一步提高合成吞吐瓶頸。

• 不同類型的服務，需要多個模型協同完成，有些請求需要 2-3 個模型的串聯處理，多則需要包含 8 個模型的處理管線。如何在復雜的算法設計下，進一步提高 GPU 資源的利用率也亟待解決。

• 模型可熱插拔與版本管理。歌聲合成系統包含多個模型，每個模型都發揮了重要的作用，算法團隊對于模型也在一直進行效果優化。因此，需要一個架構可以支持不同版本模型管理及快速上線。

NVIDIA Triton為歌聲合成引擎

迭代部署提供算力支持

為應對上述挑戰，時域科技算法團隊與 NVIDIA 技術團隊合作，使用 NVIDIA TensorRT 對模型進行推理加速，并且利用 NVIDIA Triton 推理服務器進行部署。

首先，模型迭代團隊使用 PyTorch 框架快速迭代模型效果，每個模型通過 Torch-TensorRT 集成，僅用一行代碼就可以獲得最高 6 倍的性能提升。Torch-TensorRT 是 TorchScript 的延伸，經過編譯后使用與 TorchScript 模塊無異，同時模型中大部分算子可經 TensorRT 優化后獲得大幅性能提升。

結合 NVIDIA Triton 的 Python Backend，通過 BLS (Business Logic Scripting)靈活配置多個模型組合，并且實現必要的業務邏輯處理，顯著的降低了部署成本。而且基于 Triton 的 Tracing 能力，可更快速調試、定位問題，提高了部署效率。

經過優化，使得單個歌聲片段的平均合成耗時降低 28%，單機 GPU 利用率提升 25%，并且顯著提高了模型迭代效率。

2022年，時域科技加入了 NVIDIA 初創加速計劃，與 NVIDIA 專業技術團隊進行了深入溝通，獲得了包括架構選擇，部署方案等方面的技術支持。

時域科技也參加了 2022 初創企業展示活動，并入圍最終展示榮耀企業，在產品折扣，市場宣傳，業務對接等方面也獲得了 NVIDIA 的多方支持。后續雙方會進一步加強合作。

NVIDIA 初創加速計劃

時域科技是 NVIDIA 初創加速計劃 (NVIDIA Inception) 會員企業。NVIDIA 初創加速計劃為免費會員制、旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構，創業孵化器，創業加速器，行業合作伙伴以及科技創業媒體等，打造創業加速生態系統。能夠提供產品折扣，技術支持，市場宣傳，融資對接，業務推薦等一系列服務，加速創業公司的發展。