開發(fā)專欄
NEW
裝載了圖像處理器的電子設備必須使用負責處理圖像等的圖像單處理器（ISP）。這就需要面臨ISP用固件的開發(fā)這一課題。本篇連載的第一期在介紹了ISP用固件開發(fā)現(xiàn)狀的同時，也闡述了為了解決這一開發(fā)上的問題THine Electronics的對策。使用本公司提供的「相機開發(fā)套件（CDK：Camera Development Kit）」，就能解決這一課題。本次連載的第二期，將詳細說明組成相機開發(fā)套件的要素之一的GUI工具--「THine Tuning Tool」（簡稱「3T」）。使用這一工具，只要有一定相機和圖像處理相關知識，即便沒有固件開發(fā)的經(jīng)驗，也能開發(fā)出ISP用固件。
CDK有很大的好處
THine Electronics提供的「相機開發(fā)套件（CDK）」適用于開發(fā)本公司的ISP芯片「THP7312」的固件。是在框架操縱板、裝載了ISP芯片的基板、裝載了圖像傳感器的前板等硬件的基礎上，加入了固件程序庫和源代碼構成的軟件開發(fā)套件（SDK）、可定制SDK的GUI工具「THine Tuning Tools（3T）」構成的（圖1）。也就是說，用硬件開發(fā)套件、軟件開發(fā)套件和GUI工具這3個構成要素，來開發(fā)ISP用固件。開發(fā)負責人說：「雖然有提供軟件開發(fā)套件的ISP芯片供貨商，但目前并沒有在此基礎上能連帶提供硬件和GUI工具的3件套的供貨商。（*指截止我司開始開發(fā)為止）
這3件套中，對客戶好處最多的是GUI工具。在安裝了GUI工具的PC商，只要輸入數(shù)值并在下拉菜單中選擇項目就可以自動生成固件。在大幅削減固件開發(fā)費用的同時，還能縮短開發(fā)周期。此外，只要具有一定相機（光學系）和圖像處理相關知識，就無需再安排安裝固件的專業(yè)工程師。
除此之外還有別的好處。因此能簡單并快速地生成固件，就可以將開發(fā)時間更多地運用于對畫質的反復實驗/測試；測試各種性能各異的相機模組；替換光學鏡頭；確認阻隔/過濾紅外線（IR）效果等相繼開發(fā)的基本操作上。
配備10個配置程序
接下來讓我們具體看一下GUI工具「3T」（圖2）。
這個GUI工具最大的作用是優(yōu)化畫質。連載第1期里也提及過：圖像傳感器拍攝的圖像數(shù)據(jù)本身并不完整。因此需要對其進行一系列的處理。要實現(xiàn)這些處理就需要用到配置程序。一般ISP用固件的編程碼必須直接記述；但使用GUI工具就可在PC上通過簡單的操作自動生成ISP用固件。
總共有10個配置程序。我們簡單地來一個個看一下。
第1個是「AE: Register Configurator」。這個固件負責調整自動曝光（自動擴展）?？稍O定使圖像更明亮或者更暗及閃屏對抗等基本參數(shù)。
第2個是「AE: Threshold Configurator」（圖3）。
這也是關于自動曝光的?？稍O定為對抗電機振動的AE追從性等。
第3個是「AE: Window Configurator」；也是關于自動曝光的?？蓪嵭薪M合了５種測光范圍的AE（圖4）。
具體來說就是可以將一幅圖像切割成8x6的范圍后設定附帶重量；以及在任意的范圍內(nèi)測光。比如人物照的話就可將其設定為更重視中央部分的明亮度。
第4個就是「AE: Diagram Configurator」。這是對被攝體的明亮度通過方框圖（圖表）來設定增益與快門速度（實際指倒數(shù)的曝光時間）的一種配置程序。增益與曝光時間是互相調整的關系。曝光時間越短就越不容易受抖動影響，但需要將增益提高所以噪點就會變大。但如果為了降低噪點而將曝光時間延長，則對抖動的耐力就會變?nèi)?。因此，根?jù)用途不同，很難單選1個圖表。而這個配置程序可同時記錄3種模式。即降噪并畫質優(yōu)先的模式以及拍攝高速運動中的被攝體的防抖動模式等。
第5個就是「AWB/IQ: Register Configurator」。負責噪點修正與銳度相關的設定。噪點修正功能可為ISP芯片提供硬件過濾和選擇自動設定或手動設定。在銳度調整上則可對拍攝圖像的輪廓進行強化調整。雖然在人物照時無法使輪廓更清晰，但在設定文字較多的圖像時可其更清晰。此外，也可對白平衡、Tone Map、OB（光學黑體）、缺陷修正等進行調整。
總共有10個配置程序。我們簡單地來一個個看一下。
第1個是「AE: Register Configurator」。這個固件負責調整自動曝光（自動擴展）?？稍O定使圖像更明亮或者更暗及閃屏對抗等基本參數(shù)。
第2個是「AE: Threshold Configurator」（圖3）。
第3個是「AE: Window Configurator」；也是關于自動曝光的?？蓪嵭薪M合了５種測光范圍的AE（圖4）。
第4個就是「AE: Diagram Configurator」。這是對被攝體的明亮度通過方框圖（圖表）來設定增益與快門速度（實際指倒數(shù)的曝光時間）的一種配置程序。增益與曝光時間是互相調整的關系。曝光時間越短就越不容易受抖動影響，但需要將增益提高所以噪點就會變大。但如果為了降低噪點而將曝光時間延長，則對抖動的耐力就會變?nèi)?。因此，根?jù)用途不同，很難單選1個圖表。而這個配置程序可同時記錄3種模式。即降噪并畫質優(yōu)先的模式以及拍攝高速運動中的被攝體的防抖動模式等。
第5個就是「AWB/IQ: Register Configurator」。負責噪點修正與銳度相關的設定。噪點修正功能可為ISP芯片提供硬件過濾和選擇自動設定或手動設定。在銳度調整上則可對拍攝圖像的輪廓進行強化調整。雖然在人物照時無法使輪廓更清晰，但在設定文字較多的圖像時可其更清晰。此外，也可對白平衡、Tone Map、OB（光學黑體）、缺陷修正等進行調整。
可進行細微的色彩調整
第6個是「AWB/IQ: AWB Configurator」。能在3個光源下使用EVB（Evaluation Board）對均等面（18%灰度等）拍攝RAW圖像；并自動調整白平衡等參數(shù)。
第7個是「AWB/IQ: Color Configurator」。這是與色彩相關的配置程序?？稍O定3種光源各自的色彩矩陣、鮮艷度和對每個色調進行微調（圖5）。
其特征是「可通過6軸設定，能進行細微的調整」（THine Electronics）?？舍槍ο鄼C不同的目的用來制作圖像。
第8個是「AWB/IQ: Shading Configurator」。一般光學鏡頭＋圖像傳感器的特點是從中央向兩邊其受光會越來越困難。因此不做修正的話中央就會明亮，越往外延就會越暗。鏡頭底紋配置器的原理是通過輸入AWB配置器的3種光源下均等面的RAW數(shù)據(jù)，既能自動生成適合所用的光學鏡頭的底紋參數(shù)。需要什么程度的明亮度也可由用戶自行設定。
第9個是「AWB/IQ: Tone map Configurator」。這是一個負責被稱作伽馬修正的一種調整的配置程序?？芍付▓D像等級的輸出特性；設定并區(qū)別使用復數(shù)的伽馬曲線；來實現(xiàn)客戶喜好的各種「對圖像的調整」。
第10個是「AWB/IQ: Gain Based Parameter Configurator」。這個配置程序可用于根據(jù)設定的增益值，對 NR（噪點修正）、銳度及鮮艷度和色彩的強度進行調整。比如增益高且噪點多的較暗的攝影條件下，通過提高NR強度來控制噪點；一方面在增益低時調低NR強度以保證分辨率。
第7個是「AWB/IQ: Color Configurator」。這是與色彩相關的配置程序?？稍O定3種光源各自的色彩矩陣、鮮艷度和對每個色調進行微調（圖5）。
第8個是「AWB/IQ: Shading Configurator」。一般光學鏡頭＋圖像傳感器的特點是從中央向兩邊其受光會越來越困難。因此不做修正的話中央就會明亮，越往外延就會越暗。鏡頭底紋配置器的原理是通過輸入AWB配置器的3種光源下均等面的RAW數(shù)據(jù)，既能自動生成適合所用的光學鏡頭的底紋參數(shù)。需要什么程度的明亮度也可由用戶自行設定。
第9個是「AWB/IQ: Tone map Configurator」。這是一個負責被稱作伽馬修正的一種調整的配置程序?？芍付▓D像等級的輸出特性；設定并區(qū)別使用復數(shù)的伽馬曲線；來實現(xiàn)客戶喜好的各種「對圖像的調整」。
第10個是「AWB/IQ: Gain Based Parameter Configurator」。這個配置程序可用于根據(jù)設定的增益值，對 NR（噪點修正）、銳度及鮮艷度和色彩的強度進行調整。比如增益高且噪點多的較暗的攝影條件下，通過提高NR強度來控制噪點；一方面在增益低時調低NR強度以保證分辨率。
配置程序的使用方法
通過這10個配置程序能進行怎樣的設定呢？我們來根據(jù)不同用途列舉2個例子。
1個是產(chǎn)業(yè)用機器視覺的案例。以在控制面板上裝載了左上和右下的LSI的狀態(tài)下測試時為例，2個LSI材質不同時，其中一個調試為適應曝光度，另一個就會出現(xiàn)黑斑或跳白。這里就需要用到第3個介紹的配置程序「AE: Window Configurator」。先用左上的LSI實裝部分調試曝光度拍攝；再用右下的LSI實裝部分來調試曝光度并拍攝。這樣就能在需要的部位得到鮮明的圖像，進行正確的調試。
另1個就以數(shù)字化鏡臺和美顏相機為例。拍攝臉部照片時對膚色等不同國家地區(qū)都會有不同愛好。這就需要用到第7個介紹的「Color Configurator」，來調整出個人喜好的色調。通過這樣的「圖像制作」，能提高數(shù)字相機的商品價值。
1個是產(chǎn)業(yè)用機器視覺的案例。以在控制面板上裝載了左上和右下的LSI的狀態(tài)下測試時為例，2個LSI材質不同時，其中一個調試為適應曝光度，另一個就會出現(xiàn)黑斑或跳白。這里就需要用到第3個介紹的配置程序「AE: Window Configurator」。先用左上的LSI實裝部分調試曝光度拍攝；再用右下的LSI實裝部分來調試曝光度并拍攝。這樣就能在需要的部位得到鮮明的圖像，進行正確的調試。
另1個就以數(shù)字化鏡臺和美顏相機為例。拍攝臉部照片時對膚色等不同國家地區(qū)都會有不同愛好。這就需要用到第7個介紹的「Color Configurator」，來調整出個人喜好的色調。通過這樣的「圖像制作」，能提高數(shù)字相機的商品價值。
還具有I/O設定等方便的功能
GUI工具除了這10個畫質調整用配置程序外，還具有I/O配置程序與驅動模式程序等方便的功能。
I/O配置程序與ISP芯片的輸入輸出信號相關（圖6）。
SP芯片中輸入I/F分為2種：MIPI CSI-2信號和并聯(lián)信號。而輸出I/F分為3種：MIPI CSI-2信號、8bit的并聯(lián)信號和16bit的并聯(lián)信號。因此需要根據(jù)前段和后段的裝置來設定與所選信號形式相符的輸入/輸出端機能。使用這次準備的I/O配置程序就能在PC上簡單地進行設定。
驅動模式配置程序是一種自動設定圖像傳感器的圖像尺寸和匹配其幀率的ISP芯片內(nèi)部的時鐘頻率以及I/F的比特率等的功能?！窽HP7312」最大可對應1600萬像素（16M像素）。幀率根據(jù)圖像尺寸最大可對應30幀/秒（4K2K）、120幀/秒（1080p）和240幀/秒（720p）。選擇像素尺寸和幀率即可自動設定ISP芯片內(nèi)部的時鐘頻率。此外它還具有記錄復數(shù)的驅動模式的功能?？捎涗洝?K2K、30fps模式」和「Full HD、30fps模式」等。
這次我們對GUI工具、3T即THine Tuning Tool上裝載的配置程序進行了詳細解說。無論哪種配置程序，都能在裝載了圖像傳感器的機器視覺和監(jiān)控攝像、數(shù)碼相機等用途上發(fā)揮重要的效果。但是GUI工具「3T」可應用的用途還不僅僅是這些。目前已經(jīng)在「XR對應設備」的功能上實際裝載了。下一期（第三期）我們將在詳細說明這一機能的同時，為大家介紹相機開發(fā)套件的次時代戰(zhàn)略。
（待續(xù)）
I/O配置程序與ISP芯片的輸入輸出信號相關（圖6）。
驅動模式配置程序是一種自動設定圖像傳感器的圖像尺寸和匹配其幀率的ISP芯片內(nèi)部的時鐘頻率以及I/F的比特率等的功能?！窽HP7312」最大可對應1600萬像素（16M像素）。幀率根據(jù)圖像尺寸最大可對應30幀/秒（4K2K）、120幀/秒（1080p）和240幀/秒（720p）。選擇像素尺寸和幀率即可自動設定ISP芯片內(nèi)部的時鐘頻率。此外它還具有記錄復數(shù)的驅動模式的功能?？捎涗洝?K2K、30fps模式」和「Full HD、30fps模式」等。
這次我們對GUI工具、3T即THine Tuning Tool上裝載的配置程序進行了詳細解說。無論哪種配置程序，都能在裝載了圖像傳感器的機器視覺和監(jiān)控攝像、數(shù)碼相機等用途上發(fā)揮重要的效果。但是GUI工具「3T」可應用的用途還不僅僅是這些。目前已經(jīng)在「XR對應設備」的功能上實際裝載了。下一期（第三期）我們將在詳細說明這一機能的同時，為大家介紹相機開發(fā)套件的次時代戰(zhàn)略。
（待續(xù)）
