4.相机标定——张氏标定原理（无畸变）

4.相机标定——张氏标定原理（无畸变）

1.相机标定：坐标系转换学习

2.相机的畸变介绍

3.相机标定原理(不考虑径向畸变)

A Flexible New Technique for Camera Calibration 张氏标定论文原文

在第一篇博客中已经对坐标系转换做了详细介绍。在张氏标定原理中便不再介绍，直接使用其结论。请配合论文原文进行食用。

4.1坐标系转换回顾

$$\left[\begin{array}{c}{P}_{x_i}\ast Z_c\\ P_{y_i}\ast Z_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}M\ast f& -M\ast f\ast cot\theta & M\ast P_x\\ 0& N\ast f/sin\theta & N\ast P_y\\ 0& 0& 1\end{array}\right]\ast (R|-RC)\ast \left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$$

如上式是第一篇博客中得出来的结论。为了和张氏标定论文中的符号能对照起来，这里做如下变换。

令$\tilde{m}=[P_{x_i},P_{y_i},1{]}^T=[u,v,1{]}^T$​​

令$s=Z_c$​​​

令$\tilde{M}=[x_w,y_w,z_w,1{]}^T=[X,Y,Z,1{]}^T$​​​。

令内参矩阵$K$转换成如下矩阵：
$$A=K=\left[\begin{array}{ccc}M\ast f& -M\ast f\ast cot\theta & M\ast P_x\\ 0& N\ast f/sin\theta & N\ast P_y\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right]$$
令平移矩阵$-RC=t$。

则整个坐标转换公式转化如下：​​
$$\begin{gathered} s\ast \tilde{m}=A\ast [R|t]\ast \tilde{M} \\ s\ast \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right][R|t]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right] \end{gathered}$$
这里称呼$s$​​为一个尺度因子，$A$​​为内参矩阵，$[R|t]$​​为外参矩阵；$\tilde{m}$​​为2D点的齐次坐标，$\tilde{M}$​​​为3D点的齐次坐标。

这里需要指出的是：

$s$​​ 作为尺度因子相对于一个定点是一个定值，而并非任意值。

4.2张氏标定原理推导

张氏标定法是目前求解相机内、外参数和畸变系数的常用方法。

我们在3.相机标定原理(不考虑径向畸变)中讲到的标定方法，需要一个比较复杂的标定装置，要求三个面互相垂直。而张氏标定法的优点就在于，使用一个打印的图片就可以完成相机的内参数和畸变系数的标定。

张氏标定是基于一个假设而进行的，即假设3D点$[X,Y,Z{]}^T$​​的$Z$​​​坐标为0。

至于这个假设是否会影响到标定得出来的真实结果(显然不会，因为在大量实验的基础上已经证实了张氏标定的准确性)，抑或是为什么这个假设不会影响到标定的真实结果？暂且按下不表，这是后话。

这个冗长乏味的推导，将分为如下几个简短的部分，以方便大家观看。

4.2.1基于假设做的几个基础代换

于是在这个假设之下，坐标转化公式就变成了如下形式，$r_1,r_2,r_3,t$​均为三维列向量：
$$s\ast \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]$$
很容易知道，$r_3$由于$Z=0$的影响，在计算中起不到任何作用，于是对上述公式进行简化：
$$s\ast \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$
更新$\tilde{M}=[X,Y,1{]}^T$​​。

不妨令：
$$H=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]$$
易知$H$​​​为3×3的矩阵，令$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]$​​​，称为单应性矩阵，我更愿意称之为映射变换矩阵。其反映了一个点到另外一个点之间的映射关系。

对照原文的时候我们会发现，在这里多出了一个任意标量$\lambda$。而且在论文的后文中$\lambda$出现的位置又不对，总之挺费解的​，目前尚未搞清楚这个$\lambda$的作用，因此在本文中，默认$\lambda =1$，这并不影响我们对张氏标定方法的理解。​

4.2.2基于旋转矩阵性质做的两个基础计算

已知我们的旋转矩阵$R$​是一个单位正交矩阵，即其行与行(列与列)之间互相正交即点乘为0，且每行(列)的模为1。用数学公式表达如下：
$$\begin{gathered} r_1^T\cdot r_2=0 \\ {r}_1^T.r_1=||r_1||=1 \end{gathered}$$
在做$H$的代换的时候我们得到如下的一个方程：
$$A\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]$$
应用旋转矩阵的两个性质，我们做如下计算：
$$\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]=A^{-1}\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]=\left[\begin{array}{ccc}{A}^{-1}{h}_1& A^{-1}{h}_2& A^{-1}{h}_3\end{array}\right]$$
则：
$$\begin{gathered} r_1^T\cdot r_2=(A^{-1}{h}_1{)}^T{A}^{-1}{h}_2=h_1^T{A}^{-T}{A}^{-1}{h}_2=0 \\ {r}_1^T.r_1=||r_1||=h_1^T{A}^{-T}{A}^{-1}{h}_1=1 \\ {r}_2^T.r_2=||r_2||=h_2^T{A}^{-T}{A}^{-1}{h}_2=1 \end{gathered}$$

4.2.3一个基础代换和求逆运算

令$B=A^{-T}{A}^{-1}$​，则$h_1^{T}B{h}_2=0,h_1^{T}B{h}_1=h_2^{T}B{h}_2$​。

接下来我们要计算$A^{-1}$。

求取矩阵的逆通常有三种方法，第一种待定系数法，第二种伴随矩阵法，第三种初等变换法。由于我们的$A$​中含有多个未知量，使用待定系数法和初等变换法都不是很方便，无奈之下选择伴随矩阵法来进行计算。

这里就不再介绍伴随矩阵的求法了，直接给出结果！
$$A^{\ast }=\left[\begin{array}{ccc}\beta & -\gamma & \gamma v_0-\beta u_0\\ 0& \alpha & -\alpha v_0\\ 0& 0& \alpha \beta \end{array}\right]$$
伴随矩阵法求逆还需要求$||A||$。容易求得$||A||=\alpha \beta$​。

于是乎：
$$A^{-1}=\left[\begin{array}{ccc}\frac{1}{\alpha }& -\frac{\gamma }{\alpha \beta }& \frac{\gamma v_0-\beta u_0}{\alpha \beta }\\ 0& \frac{1}{\beta }& -\frac{v_0}{\beta }\\ 0& 0& 1\end{array}\right]，A^{-T}=\left[\begin{array}{ccc}\frac{1}{\alpha }& 0& 0\\ -\frac{\gamma }{\alpha \beta }& \frac{1}{\beta }& 0\\ \frac{\gamma v_0-\beta u_0}{\alpha \beta }& -\frac{v_0}{\beta }& 1\end{array}\right]$$
于是乎：
$$B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}\frac{1}{{\alpha }^2}& -\frac{\gamma }{{\alpha }^2\beta }& \frac{\gamma v_0-\beta u_0}{{\alpha }^2\beta }\\ -\frac{\gamma }{{\alpha }^2\beta }& \frac{{\gamma }^2}{{\alpha }^2{\beta }^2}+\frac{1}{{\beta }^2}& -\frac{\gamma (\gamma v_0-\beta u_0)}{{\alpha }^2{\beta }^2}-\frac{v_0}{{\beta }^2}\\ \frac{\gamma v_0-\beta u_0}{{\alpha }^2\beta }& -\frac{\gamma (\gamma v_0-\beta u_0)}{{\alpha }^2{\beta }^2}-\frac{v_0}{{\beta }^2}& \frac{(\gamma v_0-\beta u_0{)}^2}{(\alpha \beta {)}^2}+\frac{v_0^2}{{\beta }^2}+1\end{array}\right]=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{21}& B_{22}& B_{23}\\ B_{31}& B_{32}& B_{33}\end{array}\right]$$
对比上述式子，我们容易发现，$B$是一个对称矩阵，即$B_{12}=B_{21},B_{13}=B_{31},B_{23}=B_{32}$

4.2.4一个基础代换和一个方程组计算

已知$B$​​是一个对称矩阵，其未知量共有6个，为$B_{11},B_{21},B_{22},B_{31},B_{32},B_{33}$​​​。而这6个未知量又是使用5个参数表示的，因此准确说来，未知量的个数为5个。

我们做如下的代换，用向量$b$来表示矩阵$B$的未知量，同样的向量$b$的自由度为5。：
$$b=\left[\begin{array}{c}{B}_{11}\\ B_{21}\\ B_{22}\\ B_{31}\\ B_{32}\\ B_{33}\end{array}\right]$$
我们在4.2.3中已知$h_1^{T}B{h}_2=0,h_1^{T}B{h}_1=h_2^{T}B{h}_2$​​。

令$h_1=\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\end{array}\right]$​，$h_2=\left[\begin{array}{c}{h}_{21}\\ h_{22}\\ h_{23}\end{array}\right]$​

带入计算，结果用向量$b$来表示：
$$\begin{gathered} h_1^{T}B{h}_2=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\end{array}\right]\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{21}& B_{22}& B_{23}\\ B_{31}& B_{32}& B_{33}\end{array}\right]\left[\begin{array}{c}{h}_{21}\\ h_{22}\\ h_{23}\end{array}\right] \\ {h}_1^{T}B{h}_2=\left[\begin{array}{cccccc}{h}_{11}{h}_{21}& h_{12}{h}_{21}+h_{11}{h}_{22}& h_{12}{h}_{22}& h_{13}{h}_{21}+h_{11}{h}_{23}& h_{13}{h}_{23}+h_{12}{h}_{23}& h_{13}{h}_{23}\end{array}\right]\left[\begin{array}{c}{B}_{11}\\ B_{21}\\ B_{22}\\ B_{31}\\ B_{32}\\ B_{33}\end{array}\right] \end{gathered}$$
将上述公式简记为：
$$\begin{gathered} h_1^{T}B{h}_2=v_{12}^{T}b \\ {v}_{12}^T=\left[\begin{array}{cccccc}{h}_{11}{h}_{21}& h_{12}{h}_{21}+h_{11}{h}_{22}& h_{12}{h}_{22}& h_{13}{h}_{21}+h_{11}{h}_{23}& h_{13}{h}_{23}+h_{12}{h}_{23}& h_{13}{h}_{23}\end{array}\right] \end{gathered}$$
同理，可计算得到：
$$h_1^{T}B{h}_1-h_1^{T}B{h}_1=(v_{11}^T-v_{22}^T)b=0$$
我们可以将上述二式列为矩阵的形式，我们姑且称该矩阵中的前项为二矩阵，该二矩阵是2×6维矩阵：
$$\left[\begin{array}{c}{v}_{12}^T\\ (v_{11}-v_{22}{)}^T\end{array}\right]b=0$$

4.2.5从一张图推广到n张图

我们从推导中可以知道，上述的齐次矩阵方程所包含的未知量，就是相机的内参数和外参数。相对于一张图片上的不同点，相机的内参数和外参数是不发生变化的，因此，一张图片上我们只能够得到一组上述的齐次矩阵方程。但是这远远不足以让我们求出所有的未知量，于是我们将该公式推广到n张图中，以期获得n组上述的齐次矩阵方程。

现在我们将其推广到n张图中，于是我们得到一个如下的矩阵：
$$Vb=0$$式中的$V$是由每张图中的二矩阵组成的，因此$V$​的维数是2n×6维的矩阵。

在上述的公式中，我们假设$V$​是已知的，我们的未知量是包含有5个自由度的向量$b$​​，而一张图可提供两个方程。因此我们需要针对n的个数进行一个讨论。

• 当n≥3时，我们有5个自由度，等于或多于6个方程，可能出现超定方程组问题。

• 当n=2时，我们有5个自由度，4个方程，求不出解，因此我们额外施加一个约束：$\gamma =0$​。

  在第一篇的坐标转换中我们讲到 ”由于制作工艺等的误差，可能会使像素坐标系的x轴和y轴之间的夹角θ并非一定是90°“，这里我们施加的约束为夹角$\theta =90°$，则$cos\theta =0，\gamma =0$​​。因此该约束被称为：不倾斜约束。​于是我们就得到$B_{21}=0$​，未知量个数减1，可求解。

• 当n=1时，我们无法求解所有的未知量，当知道相机内参中的3个参数时，可求解剩余的两个。

4.2.6当n≥3时求解b和内参数

关于超定方程求解的问题，我们在第三篇文章中已经提起过，我们将任务转化为求解一个$b$使得$||Vb||$​​的值最小且$||b||=1$​。求解方法就是对$V$进行奇异值分解，$b$的解就是$V$​​​的最小奇异值所对应的右奇异向量。

于是乎，我们求解得到了$b$​​，我们可以根据$b$​​的值来获得矩阵$B$​​。在得知矩阵$B$​后，我们可以根据其和内参数之间的对应关系获得内参数的值。
$$B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}\frac{1}{{\alpha }^2}& -\frac{\gamma }{{\alpha }^2\beta }& \frac{\gamma v_0-\beta u_0}{{\alpha }^2\beta }\\ -\frac{\gamma }{{\alpha }^2\beta }& \frac{{\gamma }^2}{{\alpha }^2{\beta }^2}+\frac{1}{{\beta }^2}& -\frac{\gamma (\gamma v_0-\beta u_0)}{{\alpha }^2{\beta }^2}-\frac{v_0}{{\beta }^2}\\ \frac{\gamma v_0-\beta u_0}{{\alpha }^2\beta }& -\frac{\gamma (\gamma v_0-\beta u_0)}{{\alpha }^2{\beta }^2}-\frac{v_0}{{\beta }^2}& \frac{(\gamma v_0-\beta u_0{)}^2}{(\alpha \beta {)}^2}+\frac{v_0^2}{{\beta }^2}+1\end{array}\right]=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{21}& B_{22}& B_{23}\\ B_{31}& B_{32}& B_{33}\end{array}\right]$$
由上述的对应关系可以求得：
$$\begin{gathered} \alpha =\sqrt{\frac{1}{B_{11}}} \\ \beta =\sqrt{\frac{B_{11}}{B_{11}{B}_{22}-B_{12}^2}} \\ \gamma =-\frac{B_{12}\beta }{B_{11}} \\ {v}_0=\frac{B_{12}{B}_{13}-B_{11}{B}_{23}}{B_{11}{B}_{22}-B_{12}^2} \\ {u}_0=\frac{B_{12}^2{B}_{13}-B_{11}{B}_{12}{B}_{23}}{B_{11}^2{B}_{22}-B_{11}{B}_{12}^2}-\frac{B_{13}}{B_{11}} \end{gathered}$$

如下是论文原文中的结果：

但需要注意的是，论文原文中的$u_0=\gamma v_0/\alpha -B_{13}{\alpha }^2/\lambda$​有误，正确的结果应当是$u_0=\gamma v_0/\beta -B_{13}{\alpha }^2/\lambda$​​

本文在这里并没有考虑$\lambda$​的取值问题，默认其值为1，但这里也着实没办法从矩阵$B$中推断出$\lambda$​​的取值。

如果我们得到了向量$b$，我们就可以得到相机的内参数，进而得到矩阵$A$​，我们就可以求得$A^{-1}$

通过在求导过程中得到的如下公式，我们可以求得旋转和平移矩阵：
$$\begin{gathered} r_1^T\cdot r_2=(A^{-1}{h}_1{)}^T{A}^{-1}{h}_2=h_1^T{A}^{-T}{A}^{-1}{h}_2=0 \\ {r}_1^T.r_1=||r_1||=h_1^T{A}^{-T}{A}^{-1}{h}_1=1 \\ {r}_2^T.r_2=||r_2||=h_2^T{A}^{-T}{A}^{-1}{h}_2=1 \end{gathered}$$
我们可以得到：
$$r_1=A^{-1}{h}_1，r_2=A^{-1}{h}_2，r_3=r_1\times r_2，t=A^{-1}{h}_3$$

4.2.7 两个假设问题

到目前为止，我们已经求得了相机的内参矩阵和旋转矩阵与平移矩阵。但是，我们目前所得到的结果准确来说其实是基于两个假设而得到：

• 假设3D点$[X,Y,Z{]}^T$的$Z$坐标为0。
• 假设$V$​是已知的。

第一个假设其实很好理解，我们来讨论为什么假设$Z=0$对标定结果没有影响。我们在3.相机标定原理(不考虑径向畸变)中已经对相机标定原理做了一个简单的介绍。我们在通用相机标定原理里特别指出了，选取的6个点不应在同一个平面上，不然会出现退化解的情况。而张氏标定法假设$Z=0$其实就是做了如下的一件事，假设我选取的点就是在一个平面上。那么张氏标定法为什么没有出现退化解的情况？（在写上一篇文章的时候，我以为我可以避开这个问题o(╥﹏╥)o天道好轮回啊，如下的介绍请配合3.相机标定原理(不考虑径向畸变)食用，当然其实你也可以跳过去）

我们来介绍一下退化解的概念：
百度百科：退化解是在进行线性规划问题时，其基本可行解出现一个或多个基变量等于零时，或者按最小比值来确定换出基的变量时，存在两个以上相同最小比值的线性规划问题，出现的原因是模型中存在多余的约束，使多个基本可行解对应同一顶点。
(⊙o⊙)…看懂了吗？我是不太懂的。
但是我在知乎上找到了一个比较通俗的解释，我们大概可以这么理解：
退化类似“降维”，在$Pm=0$的求解过程中，由于存在过多的约束，我们看似要求解$m$中的11个自由度，其实我们真正需要求解的自由度可能只有10或者8个甚至更少。
那么我们来看，如果将所有的点都选在一个平面上，其带来的一个约束是什么，要么这些点的坐标$Z=0$，要么这些点的坐标$X=0$，要么这些点的坐标$Y=0$。如若如此，那么我们就到了张氏标定法，因此我们的$m$中的自由度其中的一个或多个其实已经确定，例如我们求解的单应性矩阵$H$的自由度只有8（下文会讲到）。
而张氏标定法，按照我的个人理解，其实就是对退化解的一个应对策略，其假设$Z=0$，也可响应的假设$X=0$或$Y=0$都是一样的。

我们重点来讨论第二个假设"假设$V$​是已知的"。

我们在4.2.5节中讨论，为了求解方程组$Vb=0$,假设$V$是已知的。且我们在求解旋转矩阵和平移矩阵的时候认为$h_1,h_2,h_3$是已知的。然而这些值真的是已知的吗？我们来看$V$​是由什么组成的。
$$v_{12}^T=\left[\begin{array}{cccccc}{h}_{11}{h}_{21}& h_{12}{h}_{21}+h_{11}{h}_{22}& h_{12}{h}_{22}& h_{13}{h}_{21}+h_{11}{h}_{23}& h_{13}{h}_{23}+h_{12}{h}_{23}& h_{13}{h}_{23}\end{array}\right]$$
$V$是由众多的形如$v_{12}^T$的式子组成的，更深一层可以认为$V$是由众多的$h_1,h_2,h_3$组成的，再深一层可以认为$V$​​是由相机内参数和多种外参数(每一张图片都会对应一个旋转和平移矩阵)组成的。于是就有了一个疑惑，这不就形成了“我证明我自己”的问题了？很显然，这样是不能够解决问题的。那么在这个过程中，肯定有某种办法可以是可以求解得到单应性矩阵$H$的。

4.2.7.1单应性矩阵$H$​

关于求解单应性矩阵$H$​原理的讲解，个人觉得相机标定之张正友标定法数学原理详解（含python源码）这篇文章讲的还是比较清楚的。单应性矩阵Homography计算和优化以及SLAM入门之视觉里程计(5)：单应矩阵两篇文章中关于单应性矩阵的计算也给了详尽的解释，不过这两篇文章是通过两张图像之间的对应点来求解单应性矩阵的，原理是相似的。

我们最初获得的单应性矩阵如下，(为了与上文中的$h_1,h_2$对应，请读者留意矩阵$H$各行各列的编码变化)：
$$\begin{gathered} H=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{21}& h_{31}\\ h_{12}& h_{22}& h_{32}\\ h_{13}& h_{23}& h_{33}\end{array}\right] \\ s\tilde{m}=H\tilde{M} \end{gathered}$$

4.2.7.2 求解思路

通过上式，我们已知图像上的已知2D点 $\tilde{m}$​​ 和世界坐标系下的3D点 $\tilde{M}$​​ 之间存在一个$H$​​的变换，接下来，我们需要思考如下的问题：

• 能否通过图像上的多个点和世界坐标系下的多个点之间的相对关系求解单应性矩阵？

  根据这些对应关系，我们如果已知2D点$\tilde{m}$和3D点$\tilde{M}$，我们可以列出如下的足够多的方程来求解：
  $$\begin{gathered} s_1\widetilde{m_1}=H\widetilde{M_1} \\ {s}_2\widetilde{m_2}=H\widetilde{M_2} \\ \dots \dots \\ {s}_n\widetilde{m_n}=H\widetilde{M_n} \end{gathered}$$
  2D点$\tilde{m}$​我们可以在图像上找到，那么3D点$\tilde{M}$​呢？

  我们在进行标定时，所打印的图片是一个2维的平面，由于不考虑$Z$​轴的影响(我们已经假设其为0了)，那么该2维平面上我们可以设置一个坐标原点，作为世界坐标系的原点，该平面则为x-y平面，这样我们就可以得到该平面上的所有点的坐标了 ，于是我们就知道了$\tilde{M}$​​​的坐标。利用上述方程，我们就可以求解得到单应性矩阵$H$​。

4.2.7.3 单应性矩阵$H$的自由度

• 我们需要多少个点才能够求解单应性矩阵$H$呢？

  在考虑这个问题之前，我们还需要考虑一个问题，$H$的自由度是多少？确定了自由度，我们就可以确定方程的个数，进而确定所需要点的个数。

  $H$​是一个3×3的矩阵，理论上来说其自由度应该是9。

  我们来做一个简单的推导。
  $$s\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{21}& h_{31}\\ h_{12}& h_{22}& h_{32}\\ h_{13}& h_{23}& h_{33}\end{array}\right]\left[\begin{array}{c}{X}_1\\ Y_1\\ 1\end{array}\right]$$
  将上述式子展开：
  $$\begin{gathered} s{u}_1=h_{11}{X}_1+h_{21}{Y}_1+h_{31} \\ s{v}_1=h_{12}{X}_1+h_{22}{Y}_1+h_{32} \\ s=h_{13}{X}_1+h_{23}{Y}_1+h_{33} \end{gathered}$$
  我们可以得到：
  $$\begin{gathered} u_1=\frac{h_{11}{X}_1+h_{21}{Y}_1+h_{31}}{h_{13}{X}_1+h_{23}{Y}_1+h_{33}} \\ {v}_1=\frac{h_{12}{X}_1+h_{22}{Y}_1+h_{32}}{h_{13}{X}_1+h_{23}{Y}_1+h_{33}} \end{gathered}$$
  展开：
  $$\begin{gathered} (h_{13}{X}_1+h_{23}{Y}_1+h_{33})u_1-(h_{11}{X}_1+h_{21}{Y}_1+h_{31})=0 \\ (h_{13}{X}_1+h_{23}{Y}_1+h_{33})v_1-(h_{12}{X}_1+h_{22}{Y}_1+h_{32})=0 \end{gathered}$$
  已知$h_{ij}$是我们待求的未知量，将上式转换成矩阵形式：
  $$\left[\begin{array}{ccccccccc}-X_1& -Y_1& -1& 0& 0& 0& X_1{u}_1& Y_1{u}_1& u_1\\ 0& 0& 0& -X_1& -Y_1& -1& X_1{v}_1& Y_1{v}_1& v_1\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{21}\\ h_{31}\\ h_{12}\\ h_{22}\\ h_{32}\\ h_{13}\\ h_{23}\\ h_{33}\end{array}\right]=0$$
  我们不难发现这是一个齐次方程组。

  举个例子，已知一个齐次方程 $x+y=0$​ 我们需要知道几个约束条件来求解得到 $x,y$​​​ 呢？很显然我们只需要再知道一个约束方程就可以求解到 $x,y$ 。这是因为该齐次方程本身就已经是一个约束条件了。

  同理，我们也可以发现，我们只需要知道$H$矩阵中的8个未知量，带入到上述的齐次方程组中，就可以求得第9个未知量。

  因此，我们可以得出结论：$H$的自由度是8。也就是说我们至少需要8个方程才可以求解得到$H$。

  而且，从上述推导中，我们可以发现，每找到图像上的一个点，我们就可以得到两个方程。

  于是，我们可以得出结果，我们至少需要在图像上找到四个点，这样我们就可以求解$H$​。得到了$H$​之后，我们就可以$V$​，之后就可以求解向量$b$​，继而得到矩阵$B$​，再求解得到内参和外参。

4.2.7.4 具体求解单应性矩阵$H$

• 求解单应性矩阵$H$

  在实际的标定过程中，使用的点数通常多于四个点了，借此增加标定结果的鲁棒性。

  于是我们得到这样一个方程组 $Nh=0$：
  $$\left[\begin{array}{ccccccccc}-X_1& -Y_1& -1& 0& 0& 0& X_1{u}_1& Y_1{u}_1& u_1\\ 0& 0& 0& -X_1& -Y_1& -1& X_1{v}_1& Y_1{v}_1& v_1\\ -X_2& -Y_2& -1& 0& 0& 0& X_2{u}_2& Y_2{u}_2& u_2\\ 0& 0& 0& -X_2& -Y_2& -1& X_2{v}_2& Y_2{v}_2& v_2\\ \dots \dots & \dots \dots & & & & & & & \\ -X_n& -Y_n& -1& 0& 0& 0& X_n{u}_n& Y_n{u}_n& u_n\\ 0& 0& 0& -X_n& -Y_n& -1& X_n{v}_n& Y_n{v}_n& v_n\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{21}\\ h_{31}\\ h_{12}\\ h_{22}\\ h_{32}\\ h_{13}\\ h_{23}\\ h_{33}\end{array}\right]=0$$
  这是就出现了上文4.2.6节曾经出现过的一个问题：超定方程组的问题。

  将任务转化为求解一个$h$​​​​​使得$||Nh||$​​​​​的值最小且$||h||=1$​​​​​。求解方法就是对$N$​​​​​进行奇异值分解，$h$​​​​​的解就是$N$​​​​​的最小奇异值所对应的右奇异向量。

  自此我们已经解出了单应性矩阵$H$。​

4.3优化问题

由于求解精度的问题，我们得到旋转矩阵和内参矩阵是存在一定误差的，我们认为，误差自然是越小越好。

于是我们定义一个新的约束条件，称为最大似然估计(说人话就是，我们通过多次计算，得到多个内参和外参，然后我们用这些内参和外参计算世界坐标下的点在图像上的投影位置，挑选出来计算结果和真实结果最相近的那一组内参和外参作为标定的结果)：
$$E=\sum _{i=1}^n\sum _{j=1}^m||m_{ij}-\hat{m}(A,R_i,t_i,M_j)|{|}^2$$
该方程中$m_{ij}$​表示第 $i$​ 张图片中的第 $j$​ 个点，是在图像中真实得到的。$\hat{m}$​则表示我们在已知世界坐标、内参矩阵、外参矩阵的情况下，计算得到的第 $i$​ 张图像中的第 $j$​ 个点。$A$​表示相机的内参数，$R_i,t_i$​表示第 $i$​ 个世界坐标系(标定板的图片)相对于相机的外参矩阵，$M_j$​则表示第 $i$​ 个世界坐标系中的第 $j$​​ 个点。

该方程的实际意义就是，计算每张图片中每个点的真实值和计算值之间的误差的平方和。

最大似然估计就是说，要让方程中 $E$​ 的值最小，即误差平方和最小，那么对应的内参矩阵和外参矩阵就是误差最小，精度最高的。

而这种最小化的实现通常采用的是列文伯格—马夸尔特优化算法或者是牛顿优化算法。(这里不做介绍)

4.4 总结

我们来进行一个对照，将通用的标定方法和张氏标定法进行一个对比：
通用标定方法：

• 准备标定装置
• 拍照，可多张
• 根据世界坐标系中的点和像素坐标系中的点之间的关系，列方程组，求解$m$
• 通过$m$，得到投影矩阵$M$，通过矩阵$M$求得相机的内参数和外参数。

张氏标定法的标定过程：

• 准备棋盘格
• 拍摄$n\ge 3$张以棋盘格为主体照片-------4.2.5
• 根据世界坐标系中的点和像素坐标系中的点之间的关系，列方程组，求解单应性矩阵$H$(其实相当于投影矩阵$M$)​--------4.2.7
• 计算求解向量 $b$​ ，得到矩阵 $B$​ ，通过矩阵 $B$​ 求得相机的内参数$\alpha ,\beta ,\gamma ,u_0,v_0$，通过单应性矩阵的分量和内参数求解得到外参数（每张标定照片所对应的外参数是不同的）(这一步类似通过矩阵$M$求得相机的内参数和外参数的推导)​--------4.2.6
• 最大似然估计进行结果优化

整体来看，通用标定方法和张氏标定方法是大体上是一致的，二者之间的区别就在于，前者从三个平面上取点，后者从一个平面上取点。这就更验证了我的猜测：张氏标定是对通用标定法将所有点取在一个平面上时出现的退化问题的一个应对策略，这反而简化了标定的过程。