前 言

本文檔主要演示TL3588-EVM評(píng)估板基于ISP圖像參數(shù)調(diào)試工具對(duì)攝像頭采集的圖像進(jìn)行標(biāo)定，通過IQ參數(shù)文件（即ISP參數(shù)文件，下文統(tǒng)稱為IQ參數(shù)文件）將攝像頭采集的圖像優(yōu)化處理后發(fā)送至顯示設(shè)備。適用開發(fā)環(huán)境如下：

Windows開發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機(jī)：VMware16.2.5

開發(fā)環(huán)境：Ubuntu20.04.664bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.160

Debian：Debian11

LinuxSDK：LinuxSDK-[版本號(hào)]（基于rk3588_linux_release_v1.2.1_20230720）

ISP圖像參數(shù)調(diào)試工具：RKISP_Tuner_v2.1.1_0828_Release

我司提供的ISP圖像處理開發(fā)案例資料位于產(chǎn)品資料“4-軟件資料Demoplatform-demosisp_demo”目錄下，具體說明如下所示。

備注：本文以MCAM400(OV4689) MIPI攝像頭模塊為例進(jìn)行演示，若需應(yīng)用至其他MIPI攝像頭模塊，可參考本文進(jìn)行操作。

表 1

ISP圖像處理說明

功能說明

基于RKISP2.x Tuner工具對(duì)攝像頭采集的圖像進(jìn)行標(biāo)定得到IQ參數(shù)文件，通過IQ參數(shù)文件將攝像頭采集的圖像進(jìn)行優(yōu)化處理后發(fā)送至顯示設(shè)備。

RKISP2.x Tuner（以下簡稱Tuner）提供了一套便于用戶調(diào)試ISP參數(shù)的工具，用戶可以在Tuner中對(duì)所有ISP模塊開展標(biāo)定(Calibration)、調(diào)試(Tuning)等工作。用戶可以使用Tuner提供的抓圖工具(Capture Tool)來拍攝RAW圖，在標(biāo)定工具(Calibration Tool)中完成基礎(chǔ)模塊的標(biāo)定工作，在Tuner中連接設(shè)備，在線進(jìn)行ISP參數(shù)調(diào)試。

備注：本文未涉及ISP參數(shù)調(diào)試說明，如需了解具體內(nèi)容，可參考產(chǎn)品資料“6-開發(fā)參考資料Rockchip官方參考文檔CommonISPISP30”目錄下的《Rockchip_IQ_Tools_Guide_v2.0.6_CN》文檔。

Tuner流程圖如下所示：

圖 1

在調(diào)試環(huán)境準(zhǔn)備階段，用戶需要在工具中生成一份基礎(chǔ)IQ文件(.json格式)，該文件記錄了ISP開放的所有可調(diào)參數(shù)，無論是后續(xù)的標(biāo)定流程中輸出的標(biāo)定參數(shù)，還是調(diào)試流程中用戶調(diào)試的結(jié)果，都將記錄在這份文件中，最后用戶需要將該文件替換到固件或設(shè)備中相應(yīng)位置并重啟相機(jī)應(yīng)用來確認(rèn)最終的圖像效果。

由于工具的抓圖、在線調(diào)試、命令參數(shù)交互等功能是通過網(wǎng)絡(luò)協(xié)議來傳輸，因此在調(diào)試環(huán)境準(zhǔn)備階段需要用戶將PC機(jī)與設(shè)備接入同一局域網(wǎng)內(nèi)。

拍攝Raw圖是為了進(jìn)行基礎(chǔ)模塊的標(biāo)定，同時(shí)也可以采集效果異常的場景，在仿真器中排查問題。基礎(chǔ)模塊標(biāo)定需要按照一定流程來進(jìn)行，如下圖所示：

圖 2

調(diào)試環(huán)境搭建

ISP調(diào)試工具安裝

請(qǐng)將RKISP_Tuner_v2.1.1_0828_Release.rar壓縮包解壓至Windows非中文工作目錄下，雙擊目錄下的RKISP2x_Tuner_v2.exe即可打開該工具，界面如下圖所示。

備注：RKISP_Tuner_v2.1.1_0828_Release.rar壓縮包請(qǐng)聯(lián)系我司技術(shù)服務(wù)獲取。

圖 3 圖 4

硬件連接

評(píng)估板默認(rèn)已支持HDMI OUT顯示，請(qǐng)將評(píng)估板HDMI OUT接口連接至HDMI顯示屏，使用FFC軟排線將MIPI攝像頭模塊（型號(hào)為MCAM400）連接至評(píng)估板CAMERA2接口，通過網(wǎng)線將評(píng)估板千兆網(wǎng)口ETH0連接至路由器。硬件連接如下圖所示。

注意：請(qǐng)使用FFC軟排線（30pin，間距0.5mm，同向），按照如下方法進(jìn)行硬件連接，并仔細(xì)核對(duì)評(píng)估板接口、FFC軟排線、攝像頭三者線序，否則可能燒毀攝像頭。

圖 5

案例測試

評(píng)估板上電啟動(dòng)，執(zhí)行如下命令，查看評(píng)估板IP地址并確保與PC機(jī)在同一網(wǎng)段。

Target# ifconfig

圖 6

圖 7

請(qǐng)將案例bin目錄下的rkaiq_tool_server文件拷貝至評(píng)估板文件系統(tǒng)"/usr/bin/"目錄下，并執(zhí)行如下命令添加文件的可執(zhí)行權(quán)限。

Target# chmod a+x /usr/bin/rkaiq_tool_server

圖 8

將bin目錄下boot-ov4689-cam2.img文件拷貝至評(píng)估板文件系統(tǒng)任意目錄下。執(zhí)行如下命令，替換內(nèi)核鏡像至系統(tǒng)啟動(dòng)卡，評(píng)估板重啟生效。

備注：mmcblk1p3為系統(tǒng)啟動(dòng)卡對(duì)應(yīng)的設(shè)備節(jié)點(diǎn)，如需固化至eMMC，請(qǐng)將設(shè)備節(jié)點(diǎn)修改為mmcblk0p3。

Target# dd if=boot-ov4689-cam2.imgof=/dev/mmcblk1p3

Target# sync

Target# reboot

圖 9

連接配置說明

評(píng)估板連接配置

評(píng)估板上電啟動(dòng)，執(zhí)行如下命令查看mainpath對(duì)應(yīng)的video設(shè)備節(jié)點(diǎn)。

Target# media-ctl -d /dev/media1 -e "rkisp_mainpath"

圖 10

查看sensor設(shè)備信息，其中m00_b_ov4689表示sensor號(hào)為0。

Target# media-ctl -p -d /dev/media0

圖 11

圖 12

IQ參數(shù)文件存放于評(píng)估板文件系統(tǒng)"/etc/iqfiles/"目錄下。

圖 13

執(zhí)行如下命令，運(yùn)行rkaiq_tool_server可執(zhí)行文件。

參數(shù)"-d0"指定sensor號(hào)，"-s /dev/video11"指定video設(shè)備節(jié)點(diǎn)，"-i /etc/iqfiles/"指定IQ參數(shù)文件存放路徑。

Target# rkaiq_tool_server-d 0 -s /dev/video11 -i /etc/iqfiles/

圖 14

PC機(jī)連接配置

打開RKISP2x_Tuner_v2.exe，在彈出界面，選擇"RK3588"，選擇"v5.0x1.3"，輸入評(píng)估板的IP地址，并點(diǎn)擊"Connect"。

圖 15

圖 16

打印如下信息，表示初始化成功。

圖 17

原始圖像測試

進(jìn)入評(píng)估板文件系統(tǒng)，執(zhí)行如下命令將攝像頭采集的圖像實(shí)時(shí)顯示至HDMI顯示屏，該畫面是未經(jīng)過ISP圖像處理的原始畫面，如下圖所示。按"Ctrl + C"可退出程序。

Target# /rockchip-test/camera/camera_rkisp_test.sh

圖 18

圖 19?原始圖像顯示效果

可以觀察到，HDMI顯示屏實(shí)時(shí)顯示攝像頭采集的原始圖像偏綠色且暗淡。

ISP圖像處理測試

評(píng)估板上電啟動(dòng)，請(qǐng)將案例"resultiqfiles"目錄下的IQ參數(shù)文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷貝至評(píng)估板文件系統(tǒng)"/etc/iqfiles/"目錄下，然后重新啟動(dòng)評(píng)估板。

圖 20

進(jìn)入評(píng)估板文件系統(tǒng)，執(zhí)行如下命令，將攝像頭采集的圖像實(shí)時(shí)顯示至HDMI顯示屏，該畫面是經(jīng)ISP圖像處理的顯示效果，如下圖所示。按"Ctrl + C"可退出程序。

Target# /rockchip-test/camera/camera_rkisp_test.sh

圖 21

圖 22?經(jīng)ISP圖像處理后顯示效果

可以觀察到，攝像頭實(shí)時(shí)采集的圖像經(jīng)過ISP圖像處理后，顯示效果相比原始圖像有明顯的優(yōu)化。顯示效果跟實(shí)際測試環(huán)境以及IQ參數(shù)文件配置有關(guān)，測試結(jié)果僅供參考。

IQ參數(shù)文件創(chuàng)建及圖像獲取

創(chuàng)建IQ參數(shù)文件

（1）雙擊打開RKISP2x_Tuner_v2.exe工具，點(diǎn)擊"Project ->Network and Platform Settings"。

圖 23

（2）在彈出Config窗口中，按照如下圖配置，配置完成后點(diǎn)擊OK。

圖 24

（3）點(diǎn)擊"File ->New"，新建IQ參數(shù)文件。

圖 25

（4）在彈出對(duì)話框中點(diǎn)擊New。

圖 26

（5）在彈出的界面中，依次選擇"File-> ImportFromSensorList"，在"Import Sen..."界面，"Sensor:"選擇"os04a10"，然后點(diǎn)擊OK。

圖 27

圖 28

（6）點(diǎn)擊"File -> Export To Sensor List"，填寫Sensor型號(hào)，然后點(diǎn)擊"OK"，保存Sensor配置，然后點(diǎn)擊右上角關(guān)閉Sensor配置頁面，如下圖所示。

圖 29

圖 30

圖 31

（7）在RKISP Tuner v2.1.1 for RK3588 w5.0x1.3工具主界面中，依次選擇"File -> New"，在彈出界面選擇ov4689，然后點(diǎn)擊"Generate IQ File"，保存IQ參數(shù)文件。

圖 32

圖 33

（8）保存IQ參數(shù)文件至當(dāng)前目錄下，命名為："ov4689_RK-CMK-8M-2-v1_CK8401.json"，如下圖所示。

圖 34

圖 35

（9）命名關(guān)聯(lián)說明

由于rkaiq_tool_server會(huì)先查詢?cè)O(shè)備樹的命名，并在特定"/etc/iqfiles/"目錄下尋找IQ參數(shù)文件，因此IQ參數(shù)文件命名需與設(shè)備樹對(duì)應(yīng)一致，如ov4689_RK-CMK-8M-2-v1_CK8401.json。

命名解析：

ov4689：sensor名稱

RK-CMK-8M-2-v1：sensor模塊的名稱

CK8401：sensor的模塊的鏡頭名稱

圖 36?tl3588-evm-ov4689.dts設(shè)備樹文件

（10）拷貝IQ參數(shù)文件

請(qǐng)將創(chuàng)建的ov4689_RK-CMK-8M-2-v1_CK8401.json文件拷貝至評(píng)估板文件系統(tǒng)"/etc/iqfiles/"目錄下。

圖 37

若ov4689_RK-CMK-8M-2-v1_CK8401.json文件代碼中出現(xiàn)冗余字符，如下圖所示。可執(zhí)行如下命令進(jìn)行消除。

Target# dos2unix /etc/iqfiles/ov4689_RK-CMK-8M-2-v1_CK8401.json

圖 38

圖 39

圖像獲取

（1）在RKISP Tuner v2.11 for RK3588 w5.0x1.3工具主界面中，依次選擇"Tools -> CaptureTool"，打開RKISP Capture Tool v2.2圖像抓取工具界面，如下圖所示。

圖 40

圖 41

（2）在彈出界面中，確認(rèn)設(shè)備IP地址為評(píng)估板IP地址，然后點(diǎn)擊"DeviceStatus"，若連接正常則會(huì)在打印"Device is Ready!"信息，如下圖所示。

圖 42

（3）在Sensor項(xiàng)中選擇"ov4689"，確認(rèn)分辨率為"2688x1520"，然后點(diǎn)擊"StartManualCapture"抓取一幀RAW圖像，RAW圖像將會(huì)在"Raw Preview & Statistics"界面內(nèi)顯示，左下方界面將打印抓取相關(guān)信息，其中RAW圖像默認(rèn)存放在"RKISP_Tuner_v2.1.1_0828_Releaseraw_captureTEST"目錄下，如下圖所示。

圖 43

圖 44

由于篇幅過長等原因，部分內(nèi)容均不逐一展示，如需獲取完整版詳細(xì)資料，請(qǐng)關(guān)注創(chuàng)龍科技微信公眾號(hào)或官網(wǎng)，或者評(píng)論區(qū)留言，感謝您的支持！

審核編輯 黃宇