(10分钟感受)对极几何PnPICP的用法

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

以上是2d-2d 2d-3d 3d-3d的匹配的一个简略的介绍，其中最为重要的还是本质矩阵 基础矩阵的推导和计算。 针对2d-3d的情况，这个使用pnp或者ba都是常见的方法。 3d-3d的话一般就会非常容易想起ICP方法，这个方法对于点云的匹配是十分常见的，但是其计算效率不高。

思考：这一部分叫做视觉里程计，其主要采用了特征匹配的方法，使用2d2d 2d3d 3d3d的方式进行匹配，然后通过匹配过程中求解优化问题最终得到了位姿变换，即得到了转换矩阵T。这里特征匹配问题也是数据关联问题的一个部分。数据关联问题在SLAM中作为一个比较重要的部分，是需要掌握的部分。

博客：https://blog.csdn.net/zhengbq_seu/article/details/81702070

编辑切换为居中

添加图片注释，不超过 140 字（可选）

第一段不晓得在说啥。。。 然后最后一句可能有点作用，BA在前端里程计时只需要几帧图像，而在后端优化的时候，需要的图像数量会明显增多。 前端可以理解成local optimization 后端的话就理解成global optimization就可以了。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

奇异值分解 其和特征值分解存在一定的联系。 还有特征值分解是针对方阵而言的，而奇异值分解则可用于任意的M * N矩阵，因此奇异值分解的使用范围更广。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这个上三角符号不知道是啥，主要这个上三角表示的内容太多了，待查。然后在视觉slam14讲里面简单说明了E矩阵和F矩阵的关系，两者只差一个内参矩阵，然后就没啥。感觉这幅图片表达的信息不多。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

在计算F矩阵的时候需要选取8个点，那么这8个点可以先用RANSAC算法进行筛选，使最后得到的结果更加稳定。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

对pnp的简单介绍。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这里激光slam的特征点信息不够丰富只能通过距离来进行判断。而视觉slam中的特征点由detector 和 descriptor两部分构成，这里的特征点信息丰富，因此可以充分知道他们之间的匹配关系。然后ICP常用于激光slam中，在视觉里程计的3d-3d的情况下也非常常用。

总结：这篇博客只是一个概念介绍性质的博客。没有推到，学到的内容不多。

博客：https://blog.csdn.net/zxnzjccmily/article/details/124196877

编辑切换为居中

添加图片注释，不超过 140 字（可选）

3种类型的矩阵要弄清楚，本质矩阵、基础矩阵和单应矩阵。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这里公式指定不太对。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

E和F矩阵现在知道怎么得到了，然后两个矩阵之间差一个相机的内参矩阵，一般假定相机的内参矩阵是已知的。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

关于本质矩阵和基础矩阵的小知识点。其中第三条，当E矩阵的旋转部分是由旋转向量构成时，那么其需要5个点来解决，如果E矩阵的旋转部分是由旋转矩阵构成的时候，需要8个点来进行求解。因此被称为5点法和8点法。这里有一个自由度可观，举个例子，针对旋转矩阵，一般选取第三行第三列元素，把矩阵的每一个元素同时除以第三行第三列的元素，那么第三行第三列位置的值为1，此时便有了8个未知量，就可认为是8自由度的求解问题，需要8个点来进行解决。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

看的一脸懵，不过感觉公式还挺简单，就是利用平面方程与数字1之间的关系，然后在平移向量后面乘1，然后进行化简求解。最后那两行的P转换成了K p1之间的关系貌似没看明白。感觉这个突然冒出来公式，太突然了。。。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

一些简单公式的求解。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这个好像是r2live里面使用的。

看了一下Epnp 貌似不是很重要 先放一放。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

对称转移误差，感觉是从平面的角度来描述BA的。最下面这两个公式貌似没看懂，但大体描述的就是讲匹配的点对通过单应变换转换到原来的平面上，并与之前的测量值进行差值比较。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑

添加图片注释，不超过 140 字（可选）

编辑

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

重投影误差，在3d空间上进行最优计算。

总结：这篇博客公式很多，但是有些地方存在错误。对2d-2d 2d-3d 3d-3d之间的理解还不是很到位。感觉就是泛泛而谈。

博客：https://zhuanlan.zhihu.com/p/538017402

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这些内容是在特征匹配之后进行的。用于求解位姿估计的，属于visual odometry的内容，简单来说就是求解转换矩阵T的。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

本质矩阵的分解存在四种情况。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

上面这个图对基础矩阵F 本质矩阵E 和单应矩阵H进行了一个小总结。展示了他们的计算公式。

总结：学到了一些公式，但感觉还是要看一下视觉slam14讲。。。 不知道为啥这些博客看起来感觉水平好似就是不怎么高。。。 无语了。接着下一篇博客。

博客：https://www.cxyzjd.com/article/WaitingfoDreams/101101950

编辑切换为居中

添加图片注释，不超过 140 字（可选）

上三角号在这里表示的是外积操作，得到一个垂直的向量，然后在与x2做内积运算，自然为0。好了，这部分解决了我的疑惑。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

上面是对 对极几何进行的一个小总结。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这里的话 要知道在视觉slam中 先做了2d-2d的求解 然后再进行2d-3d的求解，来获得相机位姿。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

这个总结我觉得很好。首先针对单目情况，首先2d-2d对极几何 然后三角测量得到3d点，然后对于第三帧及以后的数据，便可以使用2d-3d的方法得到R和t这样以此类推即可。 针对双目或者RGB-D相机，因为它们可以得到深度信息，因此可以直接使用2d-3d进行R和t的获取。或者可以使用3d-3d的ICP方法来求解位姿。由于一个像素的深度数据可能测量不到，我们有：对于深度已知的特征点，使用3d-3d来求解位姿，对于深度未知的特征点，使用3d-2d的方法来求解位姿即可。

这篇博客最后的总结写的很好。

博客：https://www.guyuehome.com/35452

编辑切换为居中

添加图片注释，不超过 140 字（可选）

特征点 = 关键点 加 描述子，这里的关键点我们一般选择角点作为关键点，其中角点的提取方法有hurris fast 等提取方法。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

上三角符号表示反对称矩阵，相当于两侧同时与t做外积，这个根据外积的运算即可推导出来。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

后端优化--从混乱中寻找真理，也即如果利用不准确的数据来得到准确的结果。瞬间对自己硕士期间的工作有了一个更高层次的认识。Hhh

博客：https://www.cnblogs.com/long5683/p/11992551.html

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

求完对极几何以后第一件事情就是三角化，来恢复特征点的深度信息。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

上面是一个求导的过程，在视觉slam14讲里面也有提到。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

博客：https://www.jianshu.com/p/ba7e5b85fd7f

编辑切换为居中

添加图片注释，不超过 140 字（可选）

以上是视觉里程计的步骤，2d-2d 2d-3d是放在一起使用的 3d-3d适用在双目相机以及RGB-D相机上面。

编辑切换为居中

添加图片注释，不超过 140 字（可选）

编辑切换为居中

添加图片注释，不超过 140 字（可选）

光束法平差：平差是指摆平误差。光束是指相机拍照时三维空间点投影到二维图像的连线集合，合起来就是利用三维到二维投影的光束，消除误差。

到这里就学完了视觉里程计的相关内容，同时又对BA的中文翻译有了一个新的认识。然后这一部分的话 可能等到4 5月份还是得再看看 ，好了 这篇博客就写到这里 23秋招加油。