全球大流行催化了視頻會議的繁榮，隨著公司采用混合工作模式并尋求更可持續的業務溝通方法，減少差旅，視頻會議的繁榮繼續增長。現在，隨著視頻會議成為現代商業實踐的基石，系統開發人員的任務是改善用戶體驗，同時提供更高水平的功能和性能。除了標準網絡攝像頭之外，對創新商業通信解決方案的需求推動了對 360° 視頻會議攝像頭等技術的需求，這些技術可以創造身臨其境的混合會議體驗。

最新的 360° 攝像頭提供會議室的全景視圖，捕捉所有現場與會者。觀眾還可以在房間內進行數字平移、傾斜和縮放，就像他們真的在場一樣。這為遠程參與者提供了身臨其境的體驗，通過創建有機的面對面交互來促進自然協作。

利用 AI 的強大功能，開發人員可以創建具有增強功能和最低硬件要求的下一代視頻會議系統。讓我們探索一種這樣的創新視頻會議實現方案，其中四個 4K 攝像頭連接到一個高性能 AI 視覺處理器。這創建了一個系統，該系統提供寬廣的 360° 全景視圖，以及單個會議參與者的視圖，以及參與者跟蹤和自動拼接等功能。此外，這些全景視圖可以與高分辨率的 360° 去畸變技術相結合，以提供整個房間的更清晰、不失真的視圖。

這款下一代系統的核心是 Ambarella 片上系統 （SoC） 內部的 CVflow? 高級 AI 引擎，該引擎專為高效率、高性能和低延遲應用而設計。只需一個芯片，CVflow 引擎就使開發人員能夠實現一套 AI 驅動的功能，這些功能可以在多個感興趣的區域同時運行，包括：

• 人臉識別 （Face ID）： 支持跨不同攝像頭對多個參與者進行自動取景、跟蹤和重新識別
• 背景去除： 提供干凈、專業的視頻源
• 手勢檢測和分類： 使演示者能夠通過簡單的手勢控制攝像機
• 白板內容提取： 通過識別白板內容來增強協作;優化其外觀并提高其可讀性
• Vivid HDR（AI 輔助色調映射）： 通過使用 AI 為同一房間內處于截然相反的照明條件下的參與者提供更寬的動態范圍（例如，一個靠近窗戶，另一個位于光線不足的角落），從而在傳統處理的基礎上提高圖像質量

除了與視覺相關的功能外，我們 SoC 中的 CVflow AI 引擎還支持 AI 音頻功能的實現，例如：

• Voice ID： 結合 Face ID 識別并定位個人語音;消除非目標聲部以獲得更清晰的音頻
• 基于 AI 的噪聲分類和抑制： 實時識別不需要的聲音（例如咳嗽、吠叫或割草機）并抑制它們，消除分散注意力的噪音

除了這些 AI 功能之外，利用 Ambarella CVflow SoC 的實現還提供了幾個關鍵的技術優勢：

• 為多相機和單相機解決方案提供業界領先的圖像信號處理性能
• 8K 視頻編碼，支持高分辨率的多個感興趣區域 - 放大距離攝像頭較遠的參加者，而不會降低視頻質量
• 動態拼接，可在組合來自多個攝像頭的圖像時最大限度地減少偽影
• 從攝像頭到顯示器的超低延遲 （80 毫秒） - 遠低于 Microsoft Teams 規范

上述示例中的全面功能和技術優勢顯著增強了視頻會議體驗，與以前基于 FPGA 的系統相比，這帶來了更具成本效益和能效的解決方案。此外，利用帶有集成 CVflow AI 引擎的單個 SoC 以及 Ambarella 的工具，提供了一個強大的開發環境，能夠支持各種算法，并在不影響功能或性能的情況下提供更高程度的設計靈活性和簡單性。

展望未來，將 AI 集成到視頻會議系統中將需要更強大、更高效的處理器，這些處理器既能夠支持豐富的基于 AI 的功能，又能提供卓越的圖像質量。通過利用 AI 的強大功能，我們不僅增強了視頻通話，還重新構想了混合工作和遠程通信的本質。