请选择 进入手机版 | 继续访问电脑版

逆透视变换详解 及 代码实现

[复制链接]
冰宇 发表于 2020-12-31 19:00:19 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
逆透视变更详解 及 代码实现(一) 中主要是原理的说明:



一、世界坐标轴和摄像机坐标轴
从下图中可以看到,世界坐标为(X,Y,Z)  相机坐标为(Xc,Yc,Zc)
而世界坐标变更到相机坐标存在一个旋转矩阵变更R以及一个位移变更T。




根据上图可以得到世界坐标到相机坐标的公式变更!!
              
         世界坐标到相机坐标的公式



如果假设没有坐标的平移存在即t在这里不起作用,可以简化公式为:




接下来我们来说下差别坐标轴变更的旋转矩阵
从二维图像入手,坐标变更如下图所示

如果假设不存在位移变更,那么x0 和y0 将变为0。


现在从二维图像变到三维图像上的变更,假设固定一个(X,Y,Z)轴 旋转其他两个轴组成的平面。
1、绕X轴旋转 theta 
                                


2、绕Y轴旋转
                             

3、绕Z轴旋转
                              


-------------------------------------------------------------------------------------------------------------------
-------------------------------------------------------------------------------------------------------------------
下面为相机坐标平静面坐标系(成像投影关系)


根据上述的关系我们可以推得:
      
    矩阵形式为:  
  




---------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------
3、从平面坐标得到的我们看到的(照片)图像坐标系
数字图像在盘算机内为MXN数组,M行N列的图像中每一个元素(pixel)数值就是图像点的亮度(灰度)。
如图,在图像上界说直角坐标系U,V,每一个像素为单元的图像坐标系坐标,

由于(u,v)只能表示像素位于数组中的列数与行数,并没有使用物理单元表示该像素在图像中位置,
所以需要再创建以物理单元(mm)表示的图像坐标系,该图像坐标系以图像内某一点uv(0,0)为原点,x轴和y轴分别平行于u、v。




如图中,(u、v)表示以像素为单元的图像坐标系的坐标,(X、Y)表示以mm为单元的图像坐标系的坐标。

假设每一个像素在X轴与Y轴方向上的物理尺寸为dx、dy,则图像任意一个像素在两个坐标系下的坐标有如下关系,

 此中(u0 ,v0) = xy(0,0)

进而得到如下的矩阵表达:


---------------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------------------
到此 逆透视变更就全部完成了!!!!


下面要说下 逆透视变更需要注意的问题,   因为有消失点的存在,也就是说当我们看火车轨道的时候总在某个距离上看到两条轨道重合到一起后消失。

对于空间中任一点(XW,YW,ZW)T,投影之后的对应像点为(u,v,1)T,写成矩阵形式:

此中AR为变更矩阵,假设M = AR


将矩阵展开,这里去Zc = 1 可以得到如下关系式。




消失点可以认为是空间直线上无穷远处的点投影在图像上所成的像点。对于空间中某一直线L,方向为(dx,dy,dz),给定直线上坐标(ax,ay,az),所以直线上任一点A可以表示为:




 

当趋于无穷时可以得到




从而得到消失点的坐标。


注:逆透视变更的范围不能到达消失点,否则不能还原。

整体变更的示意图:


根据上述原理,团结应用场景,列出代码的实现!!




根据 逆透视变更详解 及 代码实现(一)的原理

下面我用车上拍摄的车道图像,采用逆透视变更得到的图像,给出代码前我们先看下处置处罚效果。


首先是原始图像:


下图为逆透视变更图像:




下面说详细的实现吧!!
一、参数设置:
1、需要知道相机的内部参数(这个详细步骤可以找相关文档,这里就不详细展开说)。
我们这里假设已经获取内部参数:
相机焦距,相机光学中心, 相机高度, 相机的俯仰角, 相机的偏航角, 相机拍摄出的图像尺寸。
参数说明:  此中偏航角 俯仰角 就是在(一)中所说的世界坐标颠末旋转矩阵得到相应的相机坐标。  而偏航角和俯仰角将决定这个旋转矩阵。  而相机焦距  和相机光学中心 是可以从相机标定后得出 ,相机高度需要自己丈量。
图像尺寸,是拍出图像的尺寸。
2、 设定逆透视变更的参数:
逆透视图像的尺寸,需要举行逆透视变更的区域,逆透视变更的差值算法。
逆透视变更的区域:原始图像中需要变更的区域(固然这个区域不能超过消失点区域,背面会说到)

逆透视图像的尺寸: 就是需要将逆透视变更区域映射到这个逆透视图像上。

差值算法:因为需要映射,所以某些数值需要估计出,这里用双线性差值。



二、
根据相机的内部参数盘算消失点:
因为图像是二维的,所以消失点是是一个二维坐标。
code:
  1. function [ vp ] = GetVanishingPoint( cameraInfo )%GetVanishingPoint Summary of this function goes here%   Detailed explanation goes here vpp = [ sin(cameraInfo.yaw*pi/180)/cos(cameraInfo.pitch*pi/180);cos(cameraInfo.yaw*pi/180)/cos(cameraInfo.pitch*pi/180);0];tyawp = [cos(cameraInfo.yawpi/180), -sin(cameraInfo.yawpi/180), 0;sin(cameraInfo.yawpi/180), cos(cameraInfo.yawpi/180), 0;0, 0, 1];tpitchp = [1, 0, 0;0, -sin(cameraInfo.pitchpi/180), -cos(cameraInfo.pitchpi/180);0, cos(cameraInfo.pitchpi/180), -sin(cameraInfo.pitchpi/180)];transform = tyawp*tpitchp;t1p = [cameraInfo.focalLengthX, 0, cameraInfo.opticalCenterX;0, cameraInfo.focalLengthY, cameraInfo.opticalCenterY;0, 0, 1];transform = t1p*transform;vp = transform*vpp;end
复制代码
三、使用消失点可以得到uv平面中的图像范围和对应的xy平面的范围

code:
  1. uvLimitsp = [ vp.x,         ipmInfo.ipmRight, ipmInfo.ipmLeft,  vp.x;              ipmInfo.ipmTop, ipmInfo.ipmTop, ipmInfo.ipmTop,   ipmInfo.ipmBottom];xyLimits = TransformImage2Ground(uvLimitsp,cameraInfo);function [ xyLimits ] = TransformImage2Ground( uvLimits,cameraInfo )%TransformImage2Ground Summary of this function goes here%   Detailed explanation goes here[row , col ] = size(uvLimits);inPoints4 = zeros(row+2,col);inPoints4(1:2? = uvLimits;inPoints4(3? = 1;inPoints3 = inPoints4(1:3?;c1 = cos(cameraInfo.pitchpi/180);s1 = sin(cameraInfo.pitchpi/180);c2 = cos(cameraInfo.yawpi/180);s2 = sin(cameraInfo.yawpi/180);matp= [-cameraInfo.cameraHeightc2/cameraInfo.focalLengthX,cameraInfo.cameraHeights1s2/cameraInfo.focalLengthY,(cameraInfo.cameraHeightc2cameraInfo.opticalCenterX/cameraInfo.focalLengthX)- (cameraInfo.cameraHeight s1s2 cameraInfo.opticalCenterY/ cameraInfo.focalLengthY) - cameraInfo.cameraHeight c1s2;cameraInfo.cameraHeight *s2/cameraInfo.focalLengthX, ...cameraInfo.cameraHeight *s1*c2/cameraInfo.focalLengthY, ...(-cameraInfo.cameraHeight *s2* cameraInfo.opticalCenterX ....  /cameraInfo.focalLengthX)-(cameraInfo.cameraHeight *s1*c2* ....  cameraInfo.opticalCenterY /cameraInfo.focalLengthY) -  ...  cameraInfo.cameraHeight *c1*c2;0, cameraInfo.cameraHeight *c1/cameraInfo.focalLengthY, (-cameraInfo.cameraHeight *c1* cameraInfo.opticalCenterY/cameraInfo.focalLengthY)+cameraInfo.cameraHeight*s1;0, -c1 /cameraInfo.focalLengthY,(c1* cameraInfo.opticalCenterY /cameraInfo.focalLengthY) - s1];inPoints4 = matp*inPoints3;inPointsr4 = inPoints4(4?;div = inPointsr4;inPoints4(1? = inPoints4(1?./div;inPoints4(2? = inPoints4(2?./div;inPoints2 = inPoints4(1:2?;xyLimits = inPoints2;end
复制代码
四、根据得到的范围盘算xy平面的一一对应的映射

  1. row1 = xyLimits(1,:);row2 = xyLimits(2,:);xfMin = min(row1); xfMax = max(row1);yfMin = min(row2); yfMax = max(row2);[outRow outCol] = size(outImage);stepRow = (yfMax - yfMin)/outRow;stepCol = (xfMax - xfMin)/outCol;xyGrid = zeros(2,outRow*outCol);y = yfMax-0.5*stepRow;for i = 1:outRowx = xfMin+0.5*stepCol;for j = 1:outColxyGrid(1,(i-1)*outCol+j) = x;xyGrid(2,(i-1)*outCol+j) = y;x = x + stepCol;endy = y - stepRow;end
复制代码
五、将xy平面的映射转换到uv平面,并画出这个映射
  1. %TransformGround2ImageuvGrid = TransformGround2Image(xyGrid,cameraInfo);% Image mean means = mean(R(:))/255;RR = double(R)/255;for i=1:outRow    for j = 1:outCol;        ui = uvGrid(1,(i-1)*outCol+j);        vi = uvGrid(2,(i-1)*outCol+j);         if (uiipmInfo.ipmRight || viipmInfo.ipmBottom)           outImage(i,j) = means;         else             x1 = int32(ui); x2 = int32(ui+1);             y1 = int32(vi); y2 = int32(vi+1);              x = ui-double(x1) ;  y = vi-double(y1);             val = double(RR(y1,x1))*(1-x)*(1-y)+double(RR(y1,x2))*x*(1-y)+double(RR(y2,x1))*(1-x)*y+double(RR(y2,x2))*x*y;              outImage(i,j) = val;         end    endend
复制代码
最终可以显示这个图像:如上面的逆透视厘革图像!

详细的code,可以在这里下载。如果问题可以留言互换!!




别的,如果需要标定相机的可以参考这篇博文:
http://blog.csdn.net/yeyang911/article/details/52382722




来源:https://blog.csdn.net/ZXOO00/article/details/85947689
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )