本文对MEI模型进行鱼眼相机标定的原理进行了介绍
MEI模型
MEI模型实际上是Omnidirectional相机模型+Radtan畸变模型（Radial-tangential）。由于Omnidirectional模型涵盖了Pinhole模型,（Pinhole模型是Omni模型的⼀种特殊情况），MEI模型实际上可以表示鱼眼和⾮鱼眼相机。MEI模型只用棋盘格即可完成标定。
MEI模型提出Scaramuzza模型在边界处映射不准，映射模型的参数初始值也难以获得。在畸变模型的参数选择上，MEI模型认为过多参数会导致过多的局部最优，从而使得最小化比较困难。因此，MEI模型只建模下图中Fig2所示的畸变
Unified Projection Model
通过引入${\xi}$，将原点拉到$C_p$，入射光线与Z轴的夹角变小，从而可以映射更大的fov。
像素重映射
像素重映射是建立虚拟的针孔相机上的每个像素与鱼眼相机的每个像素的映射关系，即可直接用OpenCV的remap函数双线性插值得到针孔相机的图像。其具体步骤为：
- 先确定虚拟针孔相机的内参$(fx, fy, cx, cy)$与相对于鱼眼相机的外参
- 对于虚拟相机的每个像素点${p_{pinhole}}$，将像素点反投影到归一化平面，得到三维点${p_{3d} (z=1)}$
- 将三维点根据鱼眼相机模型，投影到鱼眼相机上，得到鱼眼相机上的像素点$p_{fisheye}$。
如此，便建立了针孔相机的像素点与鱼眼相机的像素点的映射关系，根据映射关系取鱼眼相机的像素即可。
参考
Single View Point Omnidirectional Camera Calibration from Planar Grids
