立体视觉入门指南（5）：双相机标定【再不收藏我收费了~】

亲爱的同学们&＃xff0c;我们的世界是3D世界&＃xff0c;我们的双眼能够观测三维信息&＃xff0c;帮助我们感知距离&＃xff0c;导航避障&＃xff0c;从而翱翔于天地之间。而当今世界是智能化的世界&＃xff0c;我们的科学家们探索各种机器智能技术&＃xff0c;让机器能够拥有人类的三维感知能力&＃xff0c;并希望在速度和精度上超越人类&＃xff0c;比如自动驾驶导航中的定位导航&＃xff0c;无人机的自动避障&＃xff0c;测量仪中的三维扫描等&＃xff0c;都是高智机器智能技术在3D视觉上的具体实现。

立体视觉是三维重建领域的重要方向&＃xff0c;它模拟人眼结构用双相机模拟双目&＃xff0c;以透视投影、三角测量为基础&＃xff0c;通过逻辑复杂的同名点搜索算法&＃xff0c;恢复场景中的三维信息。它的应用十分之广泛&＃xff0c;自动驾驶、导航避障、文物重建、人脸识别等诸多高科技应用都有它关键的身影。

本课程将带大家由浅入深的了解立体视觉的理论与实践知识。我们会从坐标系讲到相机标定&＃xff0c;从被动式立体讲到主动式立体&＃xff0c;甚至可能从深度恢复讲到网格构建与处理&＃xff0c;感兴趣的同学们&＃xff0c;来和我一起探索立体视觉的魅力吧&＃xff01;

本课程是电子资源&＃xff0c;所以行文并不会有太多条条框框的约束&＃xff0c;但会以逻辑清晰、浅显易懂为目标&＃xff0c;水平有限&＃xff0c;若有不足之处&＃xff0c;还请不吝赐教&＃xff01;
个人微信&＃xff1a;EthanYs6&＃xff0c;加我申请进技术交流群 StereoV3D&＃xff0c;一起技术畅聊。
CSDN搜索 &＃xff1a;Ethan Li 李迎松&＃xff0c;查看网页版课程。
随课代码&＃xff0c;将上传至github上&＃xff0c;地址&＃xff1a;StereoV3DCode&＃xff1a;https://github.com/ethan-li-coding/StereoV3DCode

前两篇博主介绍了两种单相机标定方法&＃xff0c;有同学一定会有所疑惑&＃xff0c;本系列明明是立体视觉&＃xff0c;为什么要介绍单相机标定而不是双相机标定呢&＃xff1f;原因很简单&＃xff0c;那就是单相机标定是双相机标定的基础&＃xff0c;具体来说&＃xff0c;双相机标定正是先分别完成两个单相机的标定&＃xff0c;再进行整体标定的。且听我娓娓道来~

双视立体

有一个常识性认知&＃xff0c;即立体视觉一般而言是指双相机组成的立体系统&＃xff0c;就像人眼一样。当两个相机拍摄的视图之间存在重叠区&＃xff0c;它们便形成了基本的双视立体。

双视图通过极线校正和立体匹配&＃xff0c;可以通过三角关系得到三维点&＃xff0c;

但这一切实现的前提&＃xff1a;

1. 要准确的知道双相机之间的位置关系&＃xff0c;即其中一个相机对于另一个相机的旋转$R$和平移$t$&＃xff0c;即相机的外参数
2. 要准确的知道双相机内部的设备参数&＃xff0c;比如像主点(x0,y0)(x_0,y_0)(x0​,y0​)、焦距$f$、畸变参数等&＃xff0c;即相机的内参数

关于内外参数的介绍&＃xff0c;请看前篇&＃xff1a;立体视觉入门指南&＃xff08;1&＃xff09;&＃xff1a;坐标系与相机参数

双相机标定

一般情况下&＃xff0c;我们所见到的最多的双视立体&＃xff0c;由两个不同的相机固定在刚性的结构上&＃xff0c;构成稳定的双目立体系统。在使用过程中&＃xff0c;相机之间不会有明显的相互移动&＃xff0c;稳定的双视结构可以在任意时刻完成单帧深度信息的获取。下图为一些示例&＃xff1a;

前面我们说到&＃xff0c;单相机可以得到相机内参矩阵$K$、外参矩阵$R,t$&＃xff0c;而双相机标定相比单相机标定来说

1. 多了一个相对外参&＃xff0c;即右相机相对于左相机的旋转矩阵 $R$ 和平移向量 $t$。
2. 少了两个绝对外参&＃xff0c;即单相机自身标定出来的外参矩阵不再需要了&＃xff0c;即只保留1得到的相对外参&＃xff0c;称之为立体视觉系统的外参。&＃xff08;实际上单相机标定一般也不需要绝对外参&＃xff0c;只是作为标定的输出自然产出&＃xff0c;在双相机标定中&＃xff0c;绝对外参可以作为中间变量计算相对外参&＃xff09;

我们在文章开头说到&＃xff0c;双相机标定是基于单相机标定做的&＃xff0c;我想聪明的同学已经想到了一部分思路&＃xff0c;首先我们采用同样的拍摄方法采集标定标定图案&＃xff0c;大部分操作方式和注意点都是一样的&＃xff0c;详见立体视觉入门指南&＃xff08;3&＃xff09;&＃xff1a;相机标定之张式标定法【超详细值得收藏】

不同的地方在于&＃xff1a;

1. 每一次拍摄时&＃xff0c;要注意两个相机的重叠区是否足够&＃xff0c;一般超过1/2的图像区域就可以了&＃xff0c;当然越大越好&＃xff0c;在一些偏的较大的角度下&＃xff0c;可以牺牲一定的重叠度。
2. 注意两个相机尽量保持在统一的距离下采集&＃xff0c;这样是为了保证两个视图的尺度和清晰度一致&＃xff0c;减小不一致带来的误差。

示意图&＃xff1a;

算法部分

图像采集后&＃xff0c;进入算法部分&＃xff0c;如前所述&＃xff0c;第一步我们对两个相机单独做单相机标定&＃xff0c;得到两个相机各自的内参矩阵K、绝对外参$R,t$&＃xff08;即每次采集时相机相对于标定板的外参&＃xff09;&＃xff0c;和畸变系数$d$&＃xff08;这里的$d$是所有畸变系数的集合&＃xff09;
1. 对两个相机单独做单相机标定&＃xff0c;得到两个相机各自的内参矩阵K、绝对外参$R,t$&＃xff0c;和畸变系数$d$

然后有的同学可能想到了&＃xff0c;根据每次采集的绝对外参&＃xff0c;即可以计算出相对外参&＃xff0c;但是显然我们会生成N个相对外参&＃xff08;N是采集的像对数量&＃xff0c;也就是采集位置数&＃xff09;&＃xff0c;取哪一个好呢&＃xff1f;取均值&＃xff1f;还是取中值&＃xff1f;

有经验的同学会发现&＃xff0c;这两种都不太可靠&＃xff0c;首先取均值就对显著性异常值毫无鲁棒性&＃xff0c;只要某一对的绝对外参求错了&＃xff0c;均值就影响很大&＃xff1b;其次取中值由于只取某一对&＃xff0c;又没有利用到多次测量的误差平均特性。

所以比较可靠的做法是&＃xff0c;计算每次采集的相对外参&＃xff0c;并取中值作为初值&＃xff0c;再基于最小化重投影误差&＃xff0c;非线性迭代优化得到最优解。在此方案下&＃xff0c;相机的内参可以做为固定值&＃xff0c;未知数为N组左相机的绝对外参(Ri,ti),i&＃61;1,..n(R_i,t_i),i&＃61;1,..n(Ri​,ti​),i&＃61;1,..n、1组右相对相对于左相机的相对外参R′,t′R&＃39;,t&＃39;R′,t′。最小重投影误差方程和单相机标定一样&＃xff0c;只是右相机的绝对外参通过左相机的绝对外参和相对外参计算得到。

2. 计算每次采集的相对外参&＃xff0c;并取中值作为初值&＃xff0c;再基于最小化重投影误差&＃xff0c;非线性迭代优化得到最优解

由于第二次迭代优化时&＃xff0c;相机内参是固定的&＃xff0c;外参个数也减少了且有较为准确的初值&＃xff0c;所以迭代会相对更容易收敛且更精确。

总结

立体视觉通过立体匹配计算深度的前提&＃xff1a;

1. 要准确的知道相机之间的位置关系&＃xff0c;即其中一个相机对于另一个相机的旋转$R$和平移$t$&＃xff0c;即相机的外参数
2. 要准确的知道相机内部的设备参数&＃xff0c;比如像主点(x0,y0)(x_0,y_0)(x0​,y0​)、焦距$f$、畸变参数等&＃xff0c;即相机的内参数

双相机标定相比单相机标定来说&＃xff1a;

1. 多了一个相对外参&＃xff0c;即右相机相对于左相机的旋转矩阵 $R$ 和平移向量 $t$。
2. 少了两个绝对外参&＃xff0c;即单相机自身标定出来的外参矩阵不再需要了&＃xff0c;即只保留1得到的相对外参&＃xff0c;称之为立体视觉系统的外参。

双相机图像采集的相比单相机图像采集不同的地方在于&＃xff1a;

1. 每一次拍摄时&＃xff0c;要注意两个相机的重叠区是否足够&＃xff0c;一般超过1/2的图像区域就可以了&＃xff0c;当然越大越好&＃xff0c;在一些偏的较大的角度下&＃xff0c;可以牺牲一定的重叠度。
2. 注意两个相机尽量保持在统一的距离下采集&＃xff0c;这样是为了保证两个视图的尺度和清晰度一致&＃xff0c;减小不一致带来的误差。

双相机标定算法步骤&＃xff1a;

1. 对两个相机单独做单相机标定&＃xff0c;得到两个相机各自的内参矩阵K、绝对外参$R,t$&＃xff0c;和畸变系数$d$
2. 计算每次采集的相对外参&＃xff0c;并取中值作为初值&＃xff0c;再基于最小化重投影误差&＃xff0c;非线性迭代优化得到最优解

所以你

作业

这里为大家准备了一些练习题&＃xff0c;可以通过实践加深理解&＃xff1a;

1 通过opencv开源库提供的接口完成双相机标定。
2 更高阶的是&＃xff0c;你能够自己不依赖opencv库写一套双相机标定算法吗&＃xff1f;或者只使用opencv来检测角点坐标&＃xff0c;其他步骤自己来实现。

参考答案地址&＃xff1a;https://github.com/ethan-li-coding/StereoV3DCode [不好意思放了&＃xff0c;代码其实很久没更新了&＃xff0c;但是你相信我有一天会更的对吗&＃xff1f;]