作者：Arm 工程部首席計(jì)算機(jī)視覺架構(gòu)師 David Packwood

手機(jī)攝影愛好者都有過這樣的體驗(yàn)：白天拍的畫面清晰銳利，一到暗光環(huán)境就畫質(zhì)崩塌。這是因?yàn)?a href="http://www.3532n.com/v/tag/117/" target="_blank">傳感器捕捉到的光子數(shù)量減少時(shí)，信噪比 (SNR) 會(huì)急劇下降。在 1000 勒克斯的光照條件下，信號(hào)占據(jù)主導(dǎo)，成像干凈通透；而光照強(qiáng)度降至 1 勒克斯時(shí)，讀出噪聲就會(huì)顯現(xiàn)為顆粒感、色彩斑點(diǎn)，同時(shí)畫面的精細(xì)細(xì)節(jié)也會(huì)丟失。

正因如此，神經(jīng)相機(jī)降噪技術(shù)成為相機(jī)成像管線中至關(guān)重要且算力要求極高的環(huán)節(jié)。倘若運(yùn)用得當(dāng)，它能將滿是噪點(diǎn)的畫面變成清晰鮮明的優(yōu)質(zhì)影像；若處理失當(dāng)，則會(huì)留下模糊重影與偽影，毀掉整張照片。

第二代 Arm 可伸縮矩陣擴(kuò)展 (SME2) 推動(dòng)移動(dòng)端降噪能力提升。作為面向 CPU 端人工智能 (AI) 推理的全新高性能技術(shù)，SME2 已在 Arm 新的 C1 CPU 中啟用，并應(yīng)用在多款全新旗艦智能手機(jī)上，具體機(jī)型詳見設(shè)備列表。

設(shè)備列表：https://learn.arm.com/learning-paths/cross-platform/multiplying-matrices-with-sme2/1-get-started#devices

SME2 專為加速各類 AI 運(yùn)算設(shè)計(jì)，覆蓋生成式 AI 至計(jì)算機(jī)視覺等多個(gè)領(lǐng)域，能顯著提升當(dāng)下的計(jì)算攝影體驗(yàn)。這項(xiàng)技術(shù)以前所未有的速度與能效，實(shí)現(xiàn)圖像的自動(dòng)優(yōu)化，助力設(shè)備拍出更清晰銳利的畫面。本文將為你闡釋這項(xiàng)技術(shù)的實(shí)現(xiàn)原理。

面向成像創(chuàng)新的可伸縮矩陣擴(kuò)展技術(shù)

專用圖像信號(hào)處理器 (ISP) 硬件在降噪、去馬賽克、色調(diào)映射等標(biāo)準(zhǔn)任務(wù)中依然表現(xiàn)高效，但成像算法迭代速度越來越快，這類固定功能模塊已難以靈活適配新需求。

SME2 有助于提升靈活性，該技術(shù)整合了寬位 SIMD 與矩陣乘法運(yùn)算能力，并依托第二代 Arm 可伸縮向量擴(kuò)展 (SVE2) 和 SME ISA 特性實(shí)現(xiàn)。這一組合能將高吞吐量的 AI 與計(jì)算機(jī)視覺加速能力直接融入 CPU 管線，從而使得開發(fā)者無需等待硬件迭代，就能更便捷地集成新算法。

啟用 SME2 技術(shù)的 Arm C1 CPU，能幫助 OEM 廠商和開發(fā)者實(shí)現(xiàn)以下目標(biāo)：

在成像相關(guān)工作負(fù)載中，達(dá)到甚至超越 DSP 級(jí)別的性能表現(xiàn)。

借助 SME2 的可伸縮吞吐量優(yōu)勢(shì)，無需獨(dú)立 AI 加速器即可運(yùn)行部分應(yīng)用。

依托類 CPU 的編程模型，大幅降低開發(fā)者優(yōu)化與迭代代碼的難度。

啟用 SME2 的 C1 CPU 助力實(shí)現(xiàn)神經(jīng)相機(jī)降噪

Arm 專為 SME2 技術(shù)打造了神經(jīng)相機(jī)降噪管線，其可直接在原始數(shù)據(jù)域中運(yùn)行，能實(shí)現(xiàn)更出色的噪聲建模與細(xì)節(jié)保留效果。該管線由兩種互補(bǔ)算法構(gòu)成：

UltraLite

時(shí)域降噪；

圖像降采樣、分通道處理、運(yùn)動(dòng)掩碼估算、時(shí)域信息累積；

效率高，且可提升暗光環(huán)境下視頻畫面的穩(wěn)定性。

CollapseNet

空域降噪；

級(jí)聯(lián)式金字塔結(jié)構(gòu)降噪（UGGV 色彩空間）；

在光照強(qiáng)度低于 1 勒克斯的場(chǎng)景下，仍能出色保留畫面細(xì)節(jié)。

UltraLite 與 CollapseNet 相結(jié)合，形成一套時(shí)域-空域聯(lián)合降噪管線，其中 UltraLite 保障時(shí)域穩(wěn)定性，CollapseNet 則恢復(fù)空域細(xì)節(jié)。這種組合能夠確保通用性。UltraLite 擅長視頻降噪，CollapseNet 則確保靜態(tài)照片具有高畫質(zhì)。二者協(xié)同，可為全場(chǎng)景拍攝提供穩(wěn)定可靠的降噪能力。

單核心實(shí)時(shí)性能表現(xiàn)

在啟用了 SME2 技術(shù)的單顆 CPU 核心上運(yùn)行時(shí)，神經(jīng)相機(jī)降噪方案也可實(shí)時(shí)處理吞吐量。下表展示了啟用 SME2 技術(shù)的 CPU 如何兼顧能效與靈活性，無需獨(dú)立加速器即可達(dá)成媲美 DSP 的性能水準(zhǔn)。

可編程性與開發(fā)者工具

神經(jīng)相機(jī)降噪基于優(yōu)化后的 C++ 代碼實(shí)現(xiàn)，同時(shí)提供面向 AArch64 目標(biāo)平臺(tái)的獨(dú)立基準(zhǔn)測(cè)試二進(jìn)制文件。開發(fā)者可便捷地輸入自定義測(cè)試數(shù)據(jù)，評(píng)估性能并開展調(diào)試。

SME2 支持 Arm C 語言擴(kuò)展 (ACLE) 內(nèi)聯(lián)函數(shù)，這帶來了兩大優(yōu)勢(shì)：

可對(duì)卷積、圖像融合等關(guān)鍵計(jì)算內(nèi)核進(jìn)行底層調(diào)優(yōu)。

沿用開發(fā)者已適配 Arm CPU 的工具鏈，保持熟悉的開發(fā)工作流。

為方便實(shí)驗(yàn)，開發(fā)者還可使用 PyTorch 和 Keras 模型，在部署優(yōu)化后的代碼實(shí)現(xiàn)前，快速完成原型驗(yàn)證。如需探索相關(guān)開源代碼，可訪問 GitLab 上的 KleidiAI Camera Pipelines 代碼倉庫。

代碼倉庫：https://gitlab.arm.com/kleidi/kleidi-examples/ai-camera-pipelines

結(jié)果：提升成像畫質(zhì)

實(shí)驗(yàn)室評(píng)測(cè)顯示，基于 SME2 的神經(jīng)相機(jī)降噪在 1 勒克斯及以下的關(guān)鍵暗光場(chǎng)景中，能顯著提升成像畫質(zhì)。在此類暗光環(huán)境下，該方案輸出的畫面比純 ISP 管線、甚至是高端手機(jī)的成像效果，都要更清晰銳利，也更加自然。這凸顯了 SME2 的互補(bǔ)價(jià)值：它與 ISP 協(xié)同工作，當(dāng)固定功能硬件達(dá)到性能極限時(shí)，由 SME2 接管成像處理，補(bǔ)足畫質(zhì)短板。

展望未來

神經(jīng)相機(jī)降噪只是開端。SME2 還能加速電影模式（景深效果）、暗光增強(qiáng)等其他高級(jí)影像功能的運(yùn)行。憑借其在性能、可編程性與可擴(kuò)展性方面的綜合優(yōu)勢(shì)，SME2 已成為通用成像加速器，既能與 ISP 形成互補(bǔ)，又能支撐軟件的持續(xù)創(chuàng)新。

小結(jié)

噪點(diǎn)處理一直是攝影領(lǐng)域的一大難題，暗光環(huán)境更是會(huì)將傳感器的性能推向極限。而啟用 SME2 技術(shù)的 Arm C1 CPU 所實(shí)現(xiàn)的神經(jīng)相機(jī)降噪，為設(shè)備制造商提供了一套靈活的高性能工具，助力打造卓越的暗光成像效果。這項(xiàng)技術(shù)并非要取代 ISP 硬件，而是作為補(bǔ)充能力突破現(xiàn)有相機(jī)的功能邊界。

SME2 集 ACLE 可編程性、單核實(shí)時(shí) 4K 處理性能與即用的開源示例于一體，憑借這三大優(yōu)勢(shì)，成為賦能新一代計(jì)算攝影的關(guān)鍵技術(shù)。更重要的是，SME2 充分展現(xiàn)了軟硬件算法協(xié)同設(shè)計(jì)的強(qiáng)大潛力 —— 芯片硬件能力與軟件算法技術(shù)同步演進(jìn)，從而解鎖全新的成像可能。