对极几何与极点极线推导梳理

1. 对极几何约束（Epipolar Constraint）推导

1.1 符号定义

符号	含义
$P$	世界坐标系下的三维点
$p_1,p_2$	像素坐标 (2D)
$x_1,x_2$	归一化平面坐标 (Normalized coords)
$K$	相机内参矩阵
$R,t$	相机2相对于相机1的旋转与平移
$E$	本质矩阵 (Essential Matrix)
$F$	基础矩阵 (Fundamental Matrix)

1.2 推导过程

1. 投影方程：

   $$d_1{p}_1=KP(1)$$

   $$d_2{p}_2=K(RP+t)(2)$$

2. 归一化坐标：

   消除内参 $K$，得到归一化坐标 $x=K^{-1}p$：

   $$d_1{x}_1=P(3)$$

   $$d_2{x}_2=RP+t(4)$$

3. 消元与叉积：

   将 (3) 代入 (4) 消去 $P$：

   $$d_2{x}_2=d_{1}R{x}_1+t$$

   两边左乘 $t^{\wedge }$（反对称矩阵，表示叉乘 $t\times$）：

   $$t^{\wedge }{d}_2{x}_2=t^{\wedge }{d}_{1}R{x}_1+t^{\wedge }t$$

   由于 $t^{\wedge }t=0$，简化为：

   $$d_2(t\times x_2)=d_1(t\times R{x}_1)$$

4. 点积归零：

   两边左乘 $x_2^T$：

   $$d_2{x}_2^T(t\times x_2)=d_1{x}_2^T(t\times R{x}_1)$$

   左边 $x_2^T(t\times x_2)=0$（叉乘结果垂直于原向量，点积为0），故：

   $$x_2^T(t^{\wedge }R)x_1=0$$

5. 最终形式：

   • 本质矩阵：$E=t^{\wedge }R$，满足 $x_2^{T}E{x}_1=0$。
   • 基础矩阵：$F=K^{-T}E{K}^{-1}$，满足 $p_2^{T}F{p}_1=0$。

---

2. 极点（Epipole）与极线（Epipolar Line）求解

2.1 几何定义

• 极点 (e)：另一个相机光心在当前图像上的投影。
• 极线 (l)：空间点所在的射线投影在图像上形成的直线。

2.2 极线求解

给定基础矩阵 $F_{21}$（从图1到图2的映射）：

• 图像1中的点 $p_1$ 在 图像2 中对应的极线 $l_2$：

  $$l_2=F_{21}{p}_1$$

• 图像2中的点 $p_2$ 在 图像1 中对应的极线 $l_1$：

  $$l_1=F_{21}^T{p}_2$$

2.3 极点求解（核心）

极点满足：极点在其对应图像的极线上永远成立。

求解图像1的极点 $e_1$

• $e_1$ 是相机2的光心投影。当图像1的点取 $e_1$ 时，对应的极线在图像2中退化（过原点），即 $F_{21}{e}_1=0$。

• 计算：$e_1$ 是 $F_{21}$ 的右零空间（Null Space）。

  $$F_{21}{e}_1=0$$

求解图像2的极点 $e_2$

• $e_2$ 是相机1的光心投影。对于图像2中的任意极线 $l_2$，都有 $e_2^T{l}_2=0$。
  代入 $l_2=F_{21}{p}_1$，得 $e_2^T{F}_{21}{p}_1=0\Rightarrow (F_{21}^T{e}_2{)}^T{p}_1=0$。

• 计算：$e_2$ 是 $F_{21}$ 的左零空间。

  $$F_{21}^T{e}_2=0$$

数值解法（SVD）

对 $F$ 进行奇异值分解 $F=U\Sigma V^T$：

• $e_1$ 对应 $V$ 的最后一列（对应最小奇异值0）。
• $e_2$ 对应 $U$ 的最后一列（对应最小奇异值0）。

---

3. 区分 $e_1,e_2,l_1,l_2$ 与 $F$ 的对应关系

这是最容易混淆的部分，关键在于明确 $F$ 的下标定义。

3.1 核心原则

$F_{AB}$ 表示将图像 $B$ 中的点映射到图像 $A$ 中的极线。

极点 $e_A$ 是“另一个相机（$B$）”在“图像 $A$”上的投影。

下标约定：$F_{AB}$ 的下标 $A$ 表示目标图像（极线所在图像），$B$ 表示源图像（特征点所在图像）。因此 $F_{21}$ 将图像1（源）中的点映射到图像2（目标）中的极线。

3.2 对照表

假设我们定义 $F_{21}$（即方程 $p_2^T{F}_{21}{p}_1=0$）：

对象	物理意义	数学表达	求解方程
$p_1$	图像1中的特征点	已知	–
$p_2$	图像2中的特征点	未知/已知	–
$l_2$	图像2中的极线	$l_2=F_{21}{p}_1$	–
$l_1$	图像1中的极线	$l_1=F_{21}^T{p}_2$	–
$e_1$	相机2光心在图像1上的投影	图像1的极点	$F_{21}{e}_1=0$
$e_2$	相机1光心在图像2上的投影	图像2的极点	$F_{21}^T{e}_2=0$

3.3 方向反转的情况

如果定义 $F_{12}$（即方程 $p_1^T{F}_{12}{p}_2=0$），则所有关系反转：

对象	求解方程 (针对 $F_{12}$)
$e_1$ (图像1极点)	$F_{12}^T{e}_1=0$
$e_2$ (图像2极点)	$F_{12}{e}_2=0$

3.4 记忆口诀

1. “点在矩阵右边”：如果 $F$ 乘以 $p_1$ 得到 $l_2$，那么 $F$ 就是从1到2的映射（即 $F_{21}$）。

2. “极点找零空间”（通用规则）：

   • 对于基础矩阵 $F_{ij}$（从图像 $j$ 到图像 $i$）：
     • 图像 $j$ 的极点 $e_j$ 满足 $F_{ij}{e}_j=0$（右零空间）
     • 图像 $i$ 的极点 $e_i$ 满足 $F_{ij}^T{e}_i=0$（左零空间）
   • 具体地（当使用 $F_{21}$ 时）：
     • 求 图像1的极点 $e_1$：解 $F_{21}{e}_1=0$
     • 求 图像2的极点 $e_2$：解 $F_{21}^T{e}_2=0$

3. 物理验证：极点一定是另一个相机光心的位置。如果你算出来的 $e_1$ 不在图像1上，或者位置不对，立刻检查 $F$ 的定义方向。