文章目录一、针孔模型和透镜1.1 针孔摄像机1.2 近轴折射模型1.3 透镜问题二、摄像机几何2.1 像平面和像素平面2.2 齐次坐标下的投影变换2.3 摄像机倾斜2.4 规范化摄像机2.5 世界坐标系2.6 Faugeras定理2.7 投影变换性质三、其他投影摄像机模型3.1 弱透视投影摄像机3.2 正交投影摄像机一、针孔模型和透镜1.1 针孔摄像机1. 当我们设计摄像机记录世界时我们首先会想到将胶片直接放到物体的前方但是此时胶片上某点处的图像信息可能来自物体的多个位置图像模糊使得我们无法分辨。2. 最早提出小孔成像的是中国的墨子。那如果我们在胶片和物体之间放一个有针孔的隔板那么就可以实现物体的光线与胶片上的像素点一对一对应。3. 如下图是一个简单的针孔摄像机模型。物体经过针孔呈现在像平面的像是倒立的。为了研究方便我们人为定义了一个虚拟像平面上面的图像是正立的。4. 如下图所示通过数学模型建立三维坐标到二维坐标的映射我们可以确定出摄像机坐标系与像平面坐标系相对应点处的位置关系。6. 光圈的大小会对成像有影响当缩小光圈时成像会越来越清晰但也会越来越暗。思考那如何应对到达胶片的光线变少我们可以增加透镜来解决。1.2 近轴折射模型1. 焦点和焦距的概念图如下2. 我们仍然可以建立数学模型来表示胶片上像素点与物体发射光线处的对应关系。1.3 透镜问题1. 使用透镜带来的第一个问题是会造成失焦。透镜问题中的 “失焦” 主要指的是在拍摄过程中由于焦距调整不当导致拍摄主体在胶片或传感器上未能形成清晰的图像。具体来说当物体上离相机较远的点P在胶片上成像时如果物体上较近的点在胶片上映射到多个位置那么就无法形成清晰的焦点从而产生虚像。2. 失焦的原因可以归结为焦距设置的不准确。每个透镜都有一个特定的 “聚焦” 距离只有在该距离上的物体才能被清晰地成像。此外景深也是一个重要的因素。景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的所成影像的景物空间范围。在一定景深范围内物体能够形成清晰的像而超出这个范围物体则可能形成虚像。3. 使用透镜带来的第二个问题是会造成径向畸变。透镜问题中的径向畸变是一种常见的光学现象它主要沿着透镜的半径方向分布。当光线经过透镜时由于透镜的制造精度或组装工艺的偏差光线在远离透镜中心的地方比靠近中心的地方更加弯曲从而导致图像的失真。这种失真在普通廉价的镜头中尤为明显。4. 径向畸变的产生与透镜的曲率半径、折射率以及光线入射角等因素有关。当光线经过透镜时由于不同位置的光线受到不同程度的折射导致它们在成像平面上无法准确聚焦从而产生径向偏移。这种偏移随着离透镜中心距离的增加而变得更加明显。径向畸变主要分为两种类型桶形畸变和枕形畸变。桶形畸变通常表现为图像边缘向中心收缩使得图像呈现出一种 “桶状” 的效果而枕形畸变则表现为图像边缘向外扩张形成一种 “枕状” 的效果。二、摄像机几何2.1 像平面和像素平面1. 首先像平面是一个连续的平面通常用于描述光线通过透镜后在成像介质如胶片或图像传感器上形成的图像。在像平面上每个点都对应着一定的光线强度和颜色信息从而构成了我们所看到的图像。这个平面的坐标原点一般设定在图像的中心即主光轴与图像传感器的交点以便更准确地描述图像的物理位置和关系常常使用物理单位如毫米来描述像素在图像中的位置。而像素平面则是与图像的存储和显示方式紧密相关的离散平面。在数字图像处理中图像被表示为一个由多个像素组成的矩阵每个像素都对应着像素平面上的一个点。这些像素点按照一定的规律排列共同构成了我们看到的数字图像。像素平面的坐标原点通常设定在图像的左上角顶点这与计算机图像处理中的常见坐标系统相一致。2. 我们需要对小孔成像模型进行修正。由于在像平面和像素平面中坐标系的原点选择位置和物理单位不同所以我们只需要在像平面下加上偏置和乘上系数就可以了。第二幅图中α αα和β ββ一般是由摄像机自身决定的。3.思考P PP到P ′ PP′的变换是线性的吗 答不是线性的由于x xx、y yy变化时z zz也有可能变化z zz并不是一个恒定的常数所以并不是线性的。2.2 齐次坐标下的投影变换1. 齐次坐标Homogeneous Coordinate是一个用于投影几何里的坐标系统。齐次坐标表示法将一个原本是 n 维的向量用一个 n1 维向量来表示从而能够表达更多的信息。2. 下面表达式中P h P_hPh代表物体齐次坐标形式三维P h ′ P_hPh′代表像的齐次坐标形式像素平面P h P_hPh与P h ′ P_hPh′之间通过一个三行四列的矩阵M MM进行变换。2.3 摄像机倾斜1. 摄像机倾斜是指摄像机向一侧或者上下方倾斜拍摄的一种摄像技术主要是由于工艺制作不好的原因。当摄像机发生倾斜时拍摄到的图像会相应地发生旋转或倾斜。这种旋转或倾斜会导致图像中的物体和背景之间的相对位置发生变化从而在像素平面上形成新的几何布局。这种几何变换可能会使得原本水平或垂直的线条变得倾斜或者使得物体的形状和比例发生扭曲。2. 摄像机倾斜情况下变换矩阵M MM也要做出相应的改变。3. 综上所示最终得到的摄像机坐标系下的摄像机模型如下图所示。反映了摄像机坐标系下的物体某处坐标到像素平面的映射。内参数矩阵K KK有α 、 β 、 θ 、 c x 、 c y α、β、θ、c_x、c_yα、β、θ、cx、cy五个参数。2.4 规范化摄像机规范化摄像机通常指的是将摄像机的参数和设置调整到一种标准或基准状态以确保拍摄出的图像具有一致性、准确性和可预测性。注此时物体所取的位置应该是与摄像机坐标系的中心相对应。2.5 世界坐标系1. 世界坐标系是系统的绝对坐标系用于描述物体在三维空间中的位置。在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。世界坐标系通常由三个轴表示分别是x xx轴、y yy轴和z zz轴其中x xx轴表示东西方向y yy轴表示南北方向z zz轴表示高度或海拔。每个点在这个坐标系中都有一个独特的坐标值可以用( x , y , z ) (x, y, z)(x,y,z)的形式表示。2. 假设世界坐标系P w P_wPw做一个旋转与平移后转换到摄像机坐标系P PP齐次坐标那么存在旋转矩阵R RR三行三列平移矩阵T TT三行一列对于旋转矩阵有三个自由度平移矩阵有三个自由度那么外参数总共有六个自由度。3. 世界坐标系下的摄像机模型如下所示P w P_wPw表示世界坐标系P ′ PP′表示像素平面的齐次坐标系。4. 对于旋转矩阵有三个自由度平移矩阵有三个自由度那么外参数总共有六个自由度。 同时考虑外参数和内参数情况下投影矩阵M MM有11个自由度。旋转矩阵R RR三行三列平移矩阵T TT三行一列。2.6 Faugeras定理1. Faugeras定理是一个关于计算机视觉和摄影几何的重要定理它主要关注于如何从多视图几何中提取场景的三维结构信息。Faugeras定理通常表述为在给定足够多的视图和相应的摄像机参数的情况下我们可以唯一地重建出场景的三维结构。这意味着通过拍摄同一场景的多张照片并知道每张照片的摄像机参数如位置、方向、焦距等我们可以利用这些信息和Faugeras定理来恢复出场景的三维模型。2. Faugeras定理介绍如下2.7 投影变换性质1. 在计算机视觉中投影变换是一个关键概念它涉及将三维物体或场景投影到二维图像平面的过程。这种变换模拟了光线如何通过摄像机的镜头并在图像传感器上形成图像的过程。2. 投影变化的性质如下所示共有五条可对应右边的图来理解。三、其他投影摄像机模型3.1 弱透视投影摄像机1. 弱透射投影摄像机是一种特殊的摄像机模型它在投影过程中采用了弱透视投影的原理。在弱透视投影中像素坐标与三维坐标之间的关系相对简单通常只需要一个放大系数就可以进行转换。2. 当观察的场景或物体与摄像机很远时此时观察的场景或物体近似于平面。比如摄像机照一个人当之间的距离很远时人的脸可以看成一个平面那么应用弱透射投影摄像机可以提供相对准确的投影结果。3.2 正交投影摄像机正交投影摄像机是一种特殊的摄像机其投影方式遵循正交投影的原理。正交投影是一种投影变换其中物体在三维空间中的平行线在投影到二维平面上时仍保持平行。这种投影方式在制图、建模等领域中特别常见因为它能够保持物体的尺寸和形状不变不产生透视效果。
计算机视觉之三维重建（1）---摄像机几何
文章目录一、针孔模型和透镜1.1 针孔摄像机1.2 近轴折射模型1.3 透镜问题二、摄像机几何2.1 像平面和像素平面2.2 齐次坐标下的投影变换2.3 摄像机倾斜2.4 规范化摄像机2.5 世界坐标系2.6 Faugeras定理2.7 投影变换性质三、其他投影摄像机模型3.1 弱透视投影摄像机3.2 正交投影摄像机一、针孔模型和透镜1.1 针孔摄像机1. 当我们设计摄像机记录世界时我们首先会想到将胶片直接放到物体的前方但是此时胶片上某点处的图像信息可能来自物体的多个位置图像模糊使得我们无法分辨。2. 最早提出小孔成像的是中国的墨子。那如果我们在胶片和物体之间放一个有针孔的隔板那么就可以实现物体的光线与胶片上的像素点一对一对应。3. 如下图是一个简单的针孔摄像机模型。物体经过针孔呈现在像平面的像是倒立的。为了研究方便我们人为定义了一个虚拟像平面上面的图像是正立的。4. 如下图所示通过数学模型建立三维坐标到二维坐标的映射我们可以确定出摄像机坐标系与像平面坐标系相对应点处的位置关系。6. 光圈的大小会对成像有影响当缩小光圈时成像会越来越清晰但也会越来越暗。思考那如何应对到达胶片的光线变少我们可以增加透镜来解决。1.2 近轴折射模型1. 焦点和焦距的概念图如下2. 我们仍然可以建立数学模型来表示胶片上像素点与物体发射光线处的对应关系。1.3 透镜问题1. 使用透镜带来的第一个问题是会造成失焦。透镜问题中的 “失焦” 主要指的是在拍摄过程中由于焦距调整不当导致拍摄主体在胶片或传感器上未能形成清晰的图像。具体来说当物体上离相机较远的点P在胶片上成像时如果物体上较近的点在胶片上映射到多个位置那么就无法形成清晰的焦点从而产生虚像。2. 失焦的原因可以归结为焦距设置的不准确。每个透镜都有一个特定的 “聚焦” 距离只有在该距离上的物体才能被清晰地成像。此外景深也是一个重要的因素。景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的所成影像的景物空间范围。在一定景深范围内物体能够形成清晰的像而超出这个范围物体则可能形成虚像。3. 使用透镜带来的第二个问题是会造成径向畸变。透镜问题中的径向畸变是一种常见的光学现象它主要沿着透镜的半径方向分布。当光线经过透镜时由于透镜的制造精度或组装工艺的偏差光线在远离透镜中心的地方比靠近中心的地方更加弯曲从而导致图像的失真。这种失真在普通廉价的镜头中尤为明显。4. 径向畸变的产生与透镜的曲率半径、折射率以及光线入射角等因素有关。当光线经过透镜时由于不同位置的光线受到不同程度的折射导致它们在成像平面上无法准确聚焦从而产生径向偏移。这种偏移随着离透镜中心距离的增加而变得更加明显。径向畸变主要分为两种类型桶形畸变和枕形畸变。桶形畸变通常表现为图像边缘向中心收缩使得图像呈现出一种 “桶状” 的效果而枕形畸变则表现为图像边缘向外扩张形成一种 “枕状” 的效果。二、摄像机几何2.1 像平面和像素平面1. 首先像平面是一个连续的平面通常用于描述光线通过透镜后在成像介质如胶片或图像传感器上形成的图像。在像平面上每个点都对应着一定的光线强度和颜色信息从而构成了我们所看到的图像。这个平面的坐标原点一般设定在图像的中心即主光轴与图像传感器的交点以便更准确地描述图像的物理位置和关系常常使用物理单位如毫米来描述像素在图像中的位置。而像素平面则是与图像的存储和显示方式紧密相关的离散平面。在数字图像处理中图像被表示为一个由多个像素组成的矩阵每个像素都对应着像素平面上的一个点。这些像素点按照一定的规律排列共同构成了我们看到的数字图像。像素平面的坐标原点通常设定在图像的左上角顶点这与计算机图像处理中的常见坐标系统相一致。2. 我们需要对小孔成像模型进行修正。由于在像平面和像素平面中坐标系的原点选择位置和物理单位不同所以我们只需要在像平面下加上偏置和乘上系数就可以了。第二幅图中α αα和β ββ一般是由摄像机自身决定的。3.思考P PP到P ′ PP′的变换是线性的吗 答不是线性的由于x xx、y yy变化时z zz也有可能变化z zz并不是一个恒定的常数所以并不是线性的。2.2 齐次坐标下的投影变换1. 齐次坐标Homogeneous Coordinate是一个用于投影几何里的坐标系统。齐次坐标表示法将一个原本是 n 维的向量用一个 n1 维向量来表示从而能够表达更多的信息。2. 下面表达式中P h P_hPh代表物体齐次坐标形式三维P h ′ P_hPh′代表像的齐次坐标形式像素平面P h P_hPh与P h ′ P_hPh′之间通过一个三行四列的矩阵M MM进行变换。2.3 摄像机倾斜1. 摄像机倾斜是指摄像机向一侧或者上下方倾斜拍摄的一种摄像技术主要是由于工艺制作不好的原因。当摄像机发生倾斜时拍摄到的图像会相应地发生旋转或倾斜。这种旋转或倾斜会导致图像中的物体和背景之间的相对位置发生变化从而在像素平面上形成新的几何布局。这种几何变换可能会使得原本水平或垂直的线条变得倾斜或者使得物体的形状和比例发生扭曲。2. 摄像机倾斜情况下变换矩阵M MM也要做出相应的改变。3. 综上所示最终得到的摄像机坐标系下的摄像机模型如下图所示。反映了摄像机坐标系下的物体某处坐标到像素平面的映射。内参数矩阵K KK有α 、 β 、 θ 、 c x 、 c y α、β、θ、c_x、c_yα、β、θ、cx、cy五个参数。2.4 规范化摄像机规范化摄像机通常指的是将摄像机的参数和设置调整到一种标准或基准状态以确保拍摄出的图像具有一致性、准确性和可预测性。注此时物体所取的位置应该是与摄像机坐标系的中心相对应。2.5 世界坐标系1. 世界坐标系是系统的绝对坐标系用于描述物体在三维空间中的位置。在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。世界坐标系通常由三个轴表示分别是x xx轴、y yy轴和z zz轴其中x xx轴表示东西方向y yy轴表示南北方向z zz轴表示高度或海拔。每个点在这个坐标系中都有一个独特的坐标值可以用( x , y , z ) (x, y, z)(x,y,z)的形式表示。2. 假设世界坐标系P w P_wPw做一个旋转与平移后转换到摄像机坐标系P PP齐次坐标那么存在旋转矩阵R RR三行三列平移矩阵T TT三行一列对于旋转矩阵有三个自由度平移矩阵有三个自由度那么外参数总共有六个自由度。3. 世界坐标系下的摄像机模型如下所示P w P_wPw表示世界坐标系P ′ PP′表示像素平面的齐次坐标系。4. 对于旋转矩阵有三个自由度平移矩阵有三个自由度那么外参数总共有六个自由度。 同时考虑外参数和内参数情况下投影矩阵M MM有11个自由度。旋转矩阵R RR三行三列平移矩阵T TT三行一列。2.6 Faugeras定理1. Faugeras定理是一个关于计算机视觉和摄影几何的重要定理它主要关注于如何从多视图几何中提取场景的三维结构信息。Faugeras定理通常表述为在给定足够多的视图和相应的摄像机参数的情况下我们可以唯一地重建出场景的三维结构。这意味着通过拍摄同一场景的多张照片并知道每张照片的摄像机参数如位置、方向、焦距等我们可以利用这些信息和Faugeras定理来恢复出场景的三维模型。2. Faugeras定理介绍如下2.7 投影变换性质1. 在计算机视觉中投影变换是一个关键概念它涉及将三维物体或场景投影到二维图像平面的过程。这种变换模拟了光线如何通过摄像机的镜头并在图像传感器上形成图像的过程。2. 投影变化的性质如下所示共有五条可对应右边的图来理解。三、其他投影摄像机模型3.1 弱透视投影摄像机1. 弱透射投影摄像机是一种特殊的摄像机模型它在投影过程中采用了弱透视投影的原理。在弱透视投影中像素坐标与三维坐标之间的关系相对简单通常只需要一个放大系数就可以进行转换。2. 当观察的场景或物体与摄像机很远时此时观察的场景或物体近似于平面。比如摄像机照一个人当之间的距离很远时人的脸可以看成一个平面那么应用弱透射投影摄像机可以提供相对准确的投影结果。3.2 正交投影摄像机正交投影摄像机是一种特殊的摄像机其投影方式遵循正交投影的原理。正交投影是一种投影变换其中物体在三维空间中的平行线在投影到二维平面上时仍保持平行。这种投影方式在制图、建模等领域中特别常见因为它能够保持物体的尺寸和形状不变不产生透视效果。