基于OpenCV的雙目攝像機(jī)標(biāo)定

本文CameraCalibrator類源代碼來自于OpenCV2 計(jì)算機(jī)視覺編程手冊(cè)(Robert Laganiere 著 張靜 譯)

閱讀本文之前請(qǐng)先閱讀以下三篇博文：?
機(jī)器視覺學(xué)習(xí)筆記（4）——單目攝像機(jī)標(biāo)定參數(shù)說明?
機(jī)器視覺學(xué)習(xí)筆記（5）——基于OpenCV的單目攝像機(jī)標(biāo)定?
機(jī)器視覺學(xué)習(xí)筆記（6）——雙目攝像機(jī)標(biāo)定參數(shù)說明

1.雙目攝像機(jī)標(biāo)定目的

雙目攝像機(jī)標(biāo)定最主要的目的就是要得出左右兩個(gè)攝像機(jī)的相對(duì)位置關(guān)系，但是在OpenCV中，計(jì)算表示左右攝像機(jī)位置的矩陣R和T的同時(shí)，也可以求出每個(gè)攝像機(jī)的相機(jī)內(nèi)參數(shù)矩陣M和畸變系數(shù)矩陣D。

2.Q&A

Q1：雙目標(biāo)定之前需要單目標(biāo)定嗎？

A：推薦先進(jìn)行單目標(biāo)定，但不是必須，具體取決于精度要求以及程序?qū)崿F(xiàn)方式。OpenCV中雙目標(biāo)定的關(guān)鍵函數(shù)是double stereoCalibrate()
double stereoCalibrate(
InputArrayOfArrays objectPoints,
InputArrayOfArrays imagePoints1,
InputArrayOfArrays imagePoints2,
CV_OUT InputOutputArray cameraMatrix1,
CV_OUT InputOutputArray distCoeffs1,
CV_OUT InputOutputArray cameraMatrix2,
CV_OUT InputOutputArray distCoeffs2,
Size imageSize, OutputArray R,
OutputArray T, OutputArray E, OutputArray F,
TermCriteria criteria =
TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 1e-6),
int flags=CALIB_FIX_INTRINSIC );

該函數(shù)最后一個(gè)參數(shù)flags表示參數(shù)中標(biāo)定矩陣的一些限定：

默認(rèn)的參數(shù)是CV_CALIB_FIX_INTRINSIC，該參數(shù)表示cameraMatrix1，distCoeffs1，cameraMatrix2，distCoeffs2這4個(gè)矩陣已經(jīng)是準(zhǔn)確值了，不需要再計(jì)算了。即單獨(dú)對(duì)兩個(gè)攝像機(jī)標(biāo)定后，選擇默認(rèn)參數(shù)即可

其它的參數(shù)表示在某種限定情況下計(jì)算cameraMatrix1，distCoeffs1，cameraMatrix2，distCoeffs2這4個(gè)矩陣。例如官方文檔推薦的CV_CALIB_SAME_FOCAL_LENGTH | CV_CALIB_ZERO_TANGENT_DIST，表示強(qiáng)制左右攝像機(jī)的fx和fy相等，左右攝相機(jī)切向畸變系數(shù)為零

雖然在別的博客和官方文檔中看到直接使用double stereoCalibrate()一次標(biāo)定所有的參數(shù)會(huì)有較大的誤差，但是根據(jù)博主的實(shí)驗(yàn)，效果相差也不是很大。實(shí)際Tx是62mm，先單目后雙目結(jié)果為62.2mm，雙目一次標(biāo)定結(jié)果為62.3mm

由于標(biāo)定攝像機(jī)還需要提取角點(diǎn)，記錄標(biāo)定點(diǎn)在{world}坐標(biāo)系下的坐標(biāo)等輔助操作，而封裝好單目標(biāo)定類的話，單目標(biāo)定雙目標(biāo)定都好用，所以博主采取的方法是先單目分別標(biāo)定，再雙目標(biāo)定

Q2：雙目標(biāo)定幾張圖像合適？

A：博主從10+到40+都試了，感覺圖像張數(shù)對(duì)于精度的影響沒有想象中的大，一般左右相機(jī)的圖像加起來一共30張左右就差不多了。最重要的是圖像中標(biāo)定板與相機(jī)的相對(duì)位姿，一般要讓標(biāo)定板占據(jù)整張圖像一半左右的面積，并且標(biāo)定板相對(duì)于相機(jī)要有正視，俯視，仰視，左斜視和右斜視等姿態(tài)

Q3：標(biāo)定板的黑白格大小與程序有什么關(guān)系？

A：因?yàn)閱文肯鄼C(jī)無法檢測(cè)物體的深度信息，所以單目相機(jī)的標(biāo)定板黑白格大小可以隨意指定卻不影響單目標(biāo)定的結(jié)果，每一個(gè){world}點(diǎn)的坐標(biāo)以黑白格的邊長為x，y方向的單位向量。但是雙目系統(tǒng)需要檢測(cè)物體的深度信息，而深度信息的單位就是{world}坐標(biāo)系下的坐標(biāo)單位，所以在輸入{world}的點(diǎn)時(shí)，需要說明其在{world}下的具體坐標(biāo)，我們把{world}原點(diǎn)定在標(biāo)定板的左上角（此時(shí)所有點(diǎn)的Z坐標(biāo)為0），標(biāo)定板的黑白格邊長為squareSize
const double squareSize = 20.64;//mm
for (int i=0; i