安森美（onsemi）推出了AR0830 RGBIR以及AR0544 RGBIR sensor，廣泛應(yīng)用在醫(yī)療，以及IOT智能家居應(yīng)用上，那么我們怎么在安森美的DevWareX上來進行RGBIR的圖像和視頻的抓取呢？

安森美的AR2020是業(yè)界獨有SmartROI功能的2000萬像素的工業(yè)級sensor，推出以來獲得了許多客戶的青睞，用戶如何快速的來獲得所需不同ROI的sensor寄存器設(shè)定呢？別著急，讓我們逐一來進行介紹。

RGB-IR 靜態(tài)捕捉與視頻錄制RGB-IR圖像顯示支持

DevWareX中的RGB-IR顯示功能是為了支持具體RGB-IR CFA（色彩濾光片矩陣）的芯片而實現(xiàn)的，RGB和紅外（IR）圖像會分別顯示。

在DevWareX中，當(dāng)使用RGB-IR CFA傳感器（比如AR0544 RGB-IR,AR0830 RGB-IR）進行流式傳輸時，RGB和紅外圖像會分別在不同的標簽頁中顯示，用戶可以選擇“Windows –>Tile Sub-Windows” 來并排查看這兩種圖像，如下圖所示：

RGB和紅外圖像是從原始的數(shù)據(jù)中分別插值得到的，原始數(shù)據(jù)包含R,G,B,和紅外像素的組合。

一般當(dāng)DevWareXdetect到sensor是RGB-IR的圖像傳感器的時候，會自動去load RGB-IR process的參數(shù)，用戶也可以手動去打開RGB-IR process的Plugin.如下路徑：工具欄? “Plug-ins” ? “RGB-IR Processing Settings”.

打開后具體的參數(shù)設(shè)置如下，一般情況下會按照不同的鏡頭濾光片信息在默認設(shè)置里面配置好，如果用戶使用不同的濾光片，請聯(lián)系onsemi FAE 來獲得正確的RGB-IR processing參數(shù)。

注意：對于RGB-IR的傳感器預(yù)覽，在未啟用RGB-IR插值處理的情況下，DevWareX中的紅外窗口顯示的是紅外線性插值，是對紅外像素進行“4倍乘法“后的全分辨率效果。

非原始數(shù)據(jù)格式保存的靜態(tài)圖片或者視頻文件（如.BMP 或者AVI）以24位RGB格式保存。對于近紅外圖像也是一樣的方式，所以紅外圖像的文件大小也是一樣的。

靜態(tài)圖像捕捉

為了在傳感器進行流式傳輸時捕捉靜態(tài)圖像，用戶可以從DevWareX工具欄中選擇“Grab”按鈕。RGB圖像和紅外圖像將以單獨的文件進行捕捉，紅外圖像的文件名將包含”-ir”,如下圖所示。

注: RAW文件格式僅保存1個文件（RGB和IR沒有單獨的文件），使用DevWareX打開時可以同時顯示兩幅圖像。

視頻錄制

RGB-IR圖像的視頻錄制與靜態(tài)圖像捕捉非常相似，用戶可以選擇“Record”按鈕或者從“Command ?Start Recording” 開始錄制視頻。

DevWareX會將RGB和紅外的視頻分別保存，用戶選擇的視頻格式可以為AVI,WMV或者MPEG4格式的文件，并在紅外圖像視頻文件名中增加“_ir”。

保存的視頻文件可以使用DevWareX打開，以便在同一視頻中播放RGB和紅外的圖像流。如下所示：

另外，DevWareX中還提供了一個C++的示例代碼 “RecordRGBIR”（C:Aptina ImagingsamplesRecordRGBIR）,該示例從RGBIR傳感器創(chuàng)建視頻文件，該視頻將交替呈現(xiàn)RGB圖像和紅外圖像。此代碼示例 是使用Apbase和RGBIR4x4pipe庫的使用例子。

RGBIR4x4pipe與Apbase集成，通過軟件色彩處理流程對RGB-IR圖像流進行紅外提取，插值，以及常規(guī)的RGB圖像處理。

AR2020 SmartROI 寄存器計算用戶指南

什么是SmartROI?

從單獨的一個圖像傳感器像素矩陣中，生成較小的圖像。縮放的圖像可以獲得完整的視場角，而裁剪的圖像則可以提供所選擇ROI的完整細節(jié)。然后使用MIPI的不同虛擬通道同時傳輸兩個圖像。這樣即保證了全視場角的overview,也獲得原始分辨率的細節(jié)，同時大大降低了數(shù)據(jù)傳輸對于帶寬的需求。

創(chuàng)建此寄存器計算器是為了計算和保存用戶所需要的設(shè)置，它是寄存器向?qū)Ш蛶视嬎闫鞯闹庇^替代品，用于保存AR2020寄存器設(shè)置。

以下是此獨立計算器的用戶界面：

右半部分包含可以更改以利用SmartROI功能的參數(shù)。左半部分顯示將為當(dāng)前配置生成的傳感器設(shè)置信息。

左側(cè)信息：

任何藍色的目標都跟ROI1有關(guān)，同樣，任何紅色的目標都與ROI2有關(guān)。

藍色邊界框，表示縮放的圖像，為ROI1

紅色邊界框， 表示裁剪的圖像，為ROI2

在邊界框下方顯示邊界框ROI1和ROI2的左上角和右下角的坐標。

底部的文本顯示了由于SmartROI帶來的帶寬減少信息。

右側(cè)可調(diào)參數(shù)：

ROI1—設(shè)置ROI1的輸出分辨率，左側(cè)的藍色邊界框?qū)?yīng)于ROI1,顯示輸入中覆蓋了多少陣列像素。這是一個下拉菜單，其中定義了一些預(yù)先存在的分辨率。用戶也可以輸入任何所需要的輸出分辨率。注：輸入的分辨率必須要有效，如果無效，則會設(shè)置成最接近的有效分辨率。

Center—此按鈕使ROI1對于整個像素陣列居中，基本上這將始終使得ROI1居中。

Single Channel—選擇綠色通道，這是唯一顯示的通道。

Scaler—縮放較小分辨率的圖像以覆蓋整個視場。用戶可以選擇使用滑塊或者旋鈕盒進行縮放，這控制了對原始分辨率圖像的縮放量，從而獲得較低的分辨率圖像。每個分辨率的最大縮放量參數(shù)都會自動更新。

◆旋鈕盒，1.00表示覆蓋整個視場，是最大值表示不進行縮放，注意：使用旋鈕盒時，如果手動輸入值，請按ENTER鍵以使其生效。

◆滑塊：用于縮放獲得較小分辨率圖像并覆蓋整個視場的滑塊，在這里，最左邊表示覆蓋整個視場角，最右側(cè)表示不應(yīng)用縮放。

X OFFSET和Y OFFSET—ROI1的左上角X和Y的坐標，它設(shè)置輸入中的偏移量。

ROI2—與ROI1類似，這設(shè)置了ROI2的輸出分辨率。這是一個下拉菜單，其中定義了一些預(yù)先存在的分辨率。用戶也可以輸入任何所需要的輸出分辨率。注：輸入的分辨率必須要有效，如果無效，則會設(shè)置成最接近的有效分辨率。

中心—此按鈕使得ROI2相對于ROI1居中，將使得ROI2位于ROI1的中心。

X偏移和Y偏移—ROI2的左上角X和Y坐標，它設(shè)置輸入中的偏移量。

LANES：用戶可以在允許的MIPI通道數(shù)量（1，2，4，8）之間進行更改。

XMCK—時鐘頻率，注意：執(zhí)行命令” 'apbase.Camera().output_clock_freq = (clock_fq)*1000000',其中clock_fq是所需的時鐘頻率。

MIPI SPEED—MIPI的運行速度，單位為Mbps

FRAME RATE，sensor運行的幀率（fps）

SAVE—此按鈕用于保存設(shè)置。

注意：在上述任何小部件中手動輸入值以應(yīng)用更改時，請按ENTER鍵。

具體使用該工具的步驟（用戶需要使用AR2020 評估頭板）：

讓我們?nèi)邕M行如下操作：

使用SmartROI獨立應(yīng)用程序進行SmartROI設(shè)置，點擊“Save”,它將以.ini的格式保存所配置的寄存器值。

打開DevWareX并以任何模式(preset)啟動，我們以如下模式“5120x3840-15fps_Linear-10_MIPI-4/800Mbps“開始：

從工具欄打開“Presets”,

使用“Open”打開我們保存的.ini文件，我們將看到加載了2個presets, “Shared settings”和”Smart ROI”.

雙擊“SmartROI”,寄存器設(shè)定將會應(yīng)用到芯片內(nèi)去。

ROI1

ROI2

我們可以通過 “info” 信息面板來驗證應(yīng)用的setting的設(shè)置。

注意：如果你使用的是自動曝光，則可能需要設(shè)置“apbase.setstate("Auto Exposure Minimum FPS", 72)”以獲得更高的幀率。如果需要使用更高的幀率，請將該值增加到120.