?? 雖然手機硬件競爭似乎在某些方面已經失去動力，但智能手機攝影在過去幾年中已經突飛猛進。比如近段時間，手機后置三攝熱度開始直線上升，三星、LG、華為、小米、OPPO、vivo以及聯(lián)想等不少主流安卓機大廠都已開始跟進三攝乃至多攝機型。同時，業(yè)內知名分析師郭明錤預測蘋果2019年的新 iphone也將采用后置三攝這一方案。因此，后置三攝極有可能成為2019年全球高階智能手機的標配。而隨著三攝及多攝市場的快速爆發(fā),如何突破算法高技術門檻,在新一輪的市場爭霸戰(zhàn)中脫穎而出,已成為當下各大手機及攝像頭模組供應商們最為關切的話題。

? ? ?后置三攝場景實用性強 算法成多攝時代最大難點

? ? ?據(jù)多方統(tǒng)計,截止目前全球已有八家主流手機品牌旗下多達16款新機都已搭載或確定搭載后置三攝。2019年,隨著蘋果和三星全新旗艦機的助攻,全球市場也將涌現(xiàn)出更多的三攝機型。市場占有率方面，IDC預測2019年華為三攝手機的出貨量占比將達到25%、蘋果是22%、三星是20%，此外OPPO、vivo及小米也都將有不錯的表現(xiàn)，三攝手機有望占據(jù)手機市場總份額的15%。
?

? ? ?作為智能手機攝像頭算法領域最主要的提供商, ArcSoft虹軟也十分看好三攝在2019年的市場增長,認為三攝不僅將在高端旗艦機市場扎根,中低端機市場也將苗頭初顯。虹軟全球副總裁徐堅表示:“近兩年來，雙攝所帶來的多種拍攝功能,讓用戶對于三攝甚至多攝有了更多的期待。以當前消費市場來看,三攝將會成為2019年旗艦機型的主流配置,而且還會出現(xiàn)‘三攝+深度像頭’的四攝手機。作為最主要的三攝算法提供商，目前虹軟正在為多家手機品牌集成落地三攝方案，這也從市場角度說明了三攝主流化發(fā)展的趨勢。"
?

? ? ?站在應用的角度考慮，事實上三攝是在雙攝方案的基礎上,額外加入了一顆camera輔助成像，這樣不僅帶來了更多的雙攝組合及更好的寬容度，并實現(xiàn)更強的變焦能力，除此，三攝像頭還能在AR增強現(xiàn)實領域大顯身手，比如日前OPPO發(fā)布的R17 Pro后置三攝頂部鏡頭就采用了TOF 3D立體視覺方案(市場傳言蘋果2019年新款機型也將采用該方案)，可以探測更加精密的景深信息并快速生成3D模型，支持3D拍照等等應用，這些都很大程度上拓展了三攝的應用場景。
?

? ? ?三攝的出現(xiàn)，其實就是為了增強手機在更多應用領域的場景化適應能力，從而提升用戶的整體體驗感。而谷歌在 Pixel手機攝像頭上卻極力推崇單顆攝像頭的方案，他們認為通過軟件算法端采取加載更多AI深度學習算法的方式，可以令手機在單攝相頭條件下實現(xiàn)超過很多雙攝的拍照水平，那三攝時代是否也能如此呢 ？徐堅認為:“作為算法公司，我們理解谷歌的說法，它其實是在強調單攝算法的能力。但單攝和多攝要實現(xiàn)的前提和目標不一樣。的確，有些功能在不需要多個攝像頭的硬件支持下，通過算法就可以完成，如超級夜景。但如遇到光學變焦的需求,在當前硬件水平下，雙攝或者多攝才能是最好的選擇。當然，谷歌在Pixel 3的前置攝像頭上也選用了雙攝方案，所以谷歌也是認可雙攝方案的。”
?

? ? ?誠然，在這一波創(chuàng)新應用和市場增長環(huán)境下，各攝像頭模組廠無疑還是最大受益者之一。編者獲悉，目前一線模組廠的三攝模組造價基本在35到40美金左右，而在華為Mate20 Pro上采用的三攝模組，重要原材料由于都選用了客制化產品，價格可能超過了50美金。以歐菲科技在華為Mate20 Pro項目上高達20％的單個三攝模組利潤來計算，供應商在三攝模組上的利潤基本上都能達到7到8美金甚至更多。
?

? ? ?不過，如今手機攝像頭的升級重點已經從像素提升開始轉向高倍光學變焦能力上，加之過去多年在雙攝市場紅利的洗禮下，各大模組廠在量產工藝和制造能力上也都經過了充分的打磨，供應商之間的硬件制造實力雖仍存在差距但漸呈逐步縮小的態(tài)勢。而今，各大手機品牌廠商的相機競爭態(tài)勢已從單純的硬件競爭轉換為硬件+算法的組合競爭，尤其是針對當下勢頭正猛的三攝市場。對此，有業(yè)內資深人士就指出，算法是三攝和多攝時代的最大差異點，手機品牌廠商想要在三攝或多攝市場拉開差距，優(yōu)質的算法技術是必不可少的。在雙攝時代，我們見證過黑白camera +彩色camera、彩色camera +彩色camera、廣角+長焦等種類的組合，而三攝時代則會有更多不同攝像頭的組合變換和搭配，由此帶來的算法技術門檻和難度也大幅提升。

資料來源：ArcSoft虹軟官網

? ? ?三攝之間“難舍難分”算法端需“兼顧”更需“獨立”

? ? ?在三攝方案中，為了最大化發(fā)揮各攝像頭的價值，軟件算法端首先就需要充分考慮和照顧到三個攝像頭的“小情結”，即兼顧三鏡頭在各種不同應用場景和環(huán)境下的組合性能表現(xiàn)。其中包括提高算法運算性能，確保合理的算法運行時間、避免來自多個攝像頭的多輸入影像而導致的殘影，同時還要處理三攝像頭在輸入圖像和視頻數(shù)據(jù)的時間同步性，以及因為不同攝像頭位置引起的視差問題等等，因此其復雜度遠高于單攝像頭和雙攝像頭。因此如何能夠精確處理好三者之間紛繁復雜的“鄰里關系”，以及利用好每個攝像頭的優(yōu)勢是當下各算法技術提供商打造差異化市場競爭優(yōu)勢的“殺手锏”。
?

? ? ?徐堅強調:“與雙攝不同，要處理好三個攝像頭之間的問題，對硬件和軟件都會帶來更大的挑戰(zhàn)。硬件上，需要動態(tài)支持三個攝像頭的加載，或者要三個ISP去支持三攝，這些都會要求增加手機硬件資源，對于廠商會有硬件成本上的提升。而軟件上，過去雙攝只要考慮兩個攝像頭之間的切換、融合問題，但現(xiàn)在三攝就需要考慮三個攝像頭之間的切換、融合問題，軟件的框架、算法本身都要做大幅度的提升才能滿足要求，比如需要通過算法做好三攝的標定。其次，常規(guī)雙攝一般實現(xiàn)1倍至2倍光學變焦，但三攝的發(fā)展將提供向下至0.5倍，向上至10倍的光學變焦，這使得手機拍攝近景和遠景的能力大大提升。這當中三個攝像頭之間的光學變焦無感知的順滑切換就需要算法去實現(xiàn)。此外，三攝中加入的超廣角鏡頭，將為手機拍攝時帶來更廣的拍攝角度，但超廣角鏡頭拍攝時產生的鏡頭畸變會非常明顯，這也需要用算法去進行矯正。目前，主流的三攝算法方案，不管是針對旗艦機還是中低端機，虹軟都提供完善且可靠的解決方案。”
?

? ? ?而就典型的三攝標定問題為言，業(yè)內資深專家告訴記者:“其實多攝像頭的拍照，從照片中得到的一些空間信息，比如距離和物體的尺寸等，一般都還需要利用二維圖像來得到三維信息。要將二維轉三維就需要去找到一個攝像機數(shù)學模型，通過已經獲得的二維信息加上模型逆推來獲得圖像的三維信息，標定其實就是在找這個模型。這個過程一般需要涉及到包括焦距和主點在內的固定物理參數(shù)，以及標定板到攝像機的坐標系變換矩陣等外部參數(shù)。由于三攝相比雙攝更多了一個攝像頭，攝像頭數(shù)量提升的情況下這些參數(shù)相應都會發(fā)生不小的變化，這也相應提升了整體的算法復雜度，非常考驗算法的設計能力。如果算法端能夠將標定問題處理的比較好的話，也會對解決三攝鏡頭的畸變等問題有所助力。”
?

? ? ?當然，調和“鄰里間的矛盾”只是方面，由于各攝像頭單體在功能和性能上也存在差異，不同場景下所扮演的角色也各不相同，針對三顆攝像頭的不同特性做對應的調校也是算法技術的難點。

AI場景識別拍照

? ? ?Al技術變革攝像頭算法？應用“針對性”是關鍵

? ? ?誠如上述，三攝及多攝像頭手機的出現(xiàn)，給算法技術提出了更多新的挑戰(zhàn)。而在多攝這一優(yōu)厚的硬件條件下，如今市場上也涌現(xiàn)出了越來越多的AI拍照類應用。由此，業(yè)內也有觀點認為，做多攝不僅是算法層面上做升級，一些算法計算量很大的部分還需要AI類硬件去跑，因此要做好三攝手機，硬件端配置高算力的AI芯片也十分重要，否則在拍照時很容易出現(xiàn)系統(tǒng)卡頓或者其他極大影響用戶體驗的問題。
?

? ? ?但在徐堅看來，做好三攝，其實跟Al芯片并沒有本質聯(lián)系，他表示：AI芯片的意義在于，它能夠為深度學習算法提供更好的硬件支撐及更強的計算能力。但雙攝、三攝算法本質上與深度學習算法關系不大,它們更多是通過計算機視覺的方法來實現(xiàn)。不過，部分原先通過計算機視覺實現(xiàn)的技術，在融合深度學習算法后，也迎來了創(chuàng)新改革的機會，如深度計算、HDR、暗光高清、防抖等。在這些技術上，使用AI芯片可以發(fā)揮出更好的性能。但單就三攝算法而言，AI芯片是重要加分項，并非必選項。”
?

? ? ?那三攝和多攝時代，AI技術究竟該如何融入算法端,來滿足日益涌現(xiàn)出的越來越多手機端AI拍照和圖像處理應用需求呢?徐堅告訴記者:“目前，市場對于深度學習的AI技術熱度非常高。但事實上，從傳統(tǒng)義上說計算機視覺也屬于AI，不管是深度學習，還是傳統(tǒng)計算機視覺，其實都只是一種手段，一種方法。我們可以運用它們，去達成一個同樣的目的。舉個簡單的例子，比如大光圈景深虛化效果，傳統(tǒng)方法是利用雙攝像頭的信息，運用計算機視覺方法來實現(xiàn)深度計算，而現(xiàn)在我們也融合深度學習的方法來提高深度計算的準確度。”
?

? ? ?但是，這兩者是無法完全互相替代的，徐堅進一步補充到:“所以，虹軟在看待AI深度學習方法時，會更加有選擇有目的去使用深度學習。將它與計算機視覺深度、高效地融合在一起，以提供更高效的算法為最終目的。”因此，AI深度學習的出現(xiàn)并非是為了完全變革現(xiàn)有的手機攝像頭算法技術，而是在現(xiàn)有CV算法技術已經構筑的“城墻”上，更多的通過融合與協(xié)作的方式去改進和強化現(xiàn)有算法，推動算法技術向更高水平、更適應市場需求的方向去不斷演進。
?

? ? ?總之，雙攝時代之后，隨著更多創(chuàng)新拍照場及應用的出現(xiàn)，三攝和多攝正快速起步，大有成為未來智能手機后置鏡頭的主流配置的趨勢。正如徐堅所說:“手機的未來。最終還是由用戶需求、市場導向所決定。單攝也好，多攝也罷，存在的背后就是用戶的實際需求。如同雙攝剛剛起步時，很多人也在討論它的意義在哪里，而隨著雙攝成為主流，人像模式，光學變焦成為標配，用戶接受了雙攝，而且進一步推動了雙攝的發(fā)展。”如今，三攝也將接下雙攝遞予的“火矩”繼續(xù)前行，而三攝時代將決勝“算法“高地，對于眾多手機品牌廠商來說，如何能夠拿到更多更優(yōu)質的算法技術和資源，利用算法技術端的升級搭配硬件的升級，從而充分體現(xiàn)硬件的能力，將是未來在三攝和多攝時代決勝手機相機市場的關鍵一步。