打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
基础矩阵估计综合算法的几何意义及分析

基础矩阵估计综合算法的几何意义及分析*

沈沛意 王 伟 吴成柯 Long Quan Roger Mohr

摘要 研究了基础矩阵参数的几何意义,提出了新的估计基础矩阵的约束条件. 首先用给出的约束求出F阵的4个参数,而这2个参数正好是2个对极点的仿射坐标. 然后通过解线性方程组获得其余4个参数,而这4个参数表示了对极线束间的对应关系. 最后,经过对真实图像和合成数据的测试表明本方法有明显的几何意义,可获得几何特性稳定的F阵. 
关键词 基础矩阵 双对极点约束 综合算法
  
  利用对极几何研究图像间的约束关系,是近年来利用几何不变量解决透视投影问题的比较突出的研究成果之一[1]. 由于对极几何的关键技术是对基础矩阵(F阵)的精确估计,所以精确估计基础矩阵成为人们研究的一个重要方向[2~4]. 对Hartley提出的改进八点算法而言,虽然在基础矩阵的稳定性方面做了较大的改进[4],但所获得的对极点的位置均不稳定,甚至偏差较大. Luong的研究表明,基础矩阵的不稳定性主要由对极点的偏差决定[5]. 因此,我们利用一个对极点的约束,结合线性算法和非线性算法,提出过一种估计基础矩阵的方法[6]. 该算法利用单对极点约束来估计基础矩阵,虽然可使利用约束的对极点的稳定性得到提高,但未用约束的对极点的稳定性并未得到较大改善. 为进一步提高对极点的稳定性及改善F阵的性能和精度,本文提出了利用双对极点约束的方法来估计基础矩阵,并详细分析了在双对极点约束下基础矩阵参数的几何意义,从而为基础矩阵的求解提出了另一种途径. 

1 F阵的估计
1.1 引出新约束
  由对极几何原理知F阵满足

m′TF12m=0,   mTF21m′=0, (1)
Rank(F12)=2,  Rank(F21)=2,(2)
Det(F12)=0,   Det(F21)=0,(3)
F12e=F21e′=0,(4)
 F12=
, 
(5)

其中m和m′是三维点M的投影,其齐次坐标分别为(x y 1)T和(x′ y′ 1)\+T,而e(α,β)和e′(

)是图像1和图像2的对极点,基础矩阵F12是一个3×3 矩阵,其作用是将图像1中的点m映射到图像2中的对极线F12m. 基础矩阵F12可由对极点e(α,β)表示为[6]
      
     (6)

  由对极几何的对称性,将F21也用另1个对极点表示. 由(2)和(3)式知F21阵的3个列向量b1, b2,和b3是线性相关的. 也就是说其中1个可以由另外2个向量线性表出,不失一般性,假设 
               b3=-α′b1-β′b2,         (7)
成立,其中α′, β′是待定常量,而负号的引用是为了方便以后的推导. 则F21可用参数表示为
    

      (8)
将上式代入(4)式得到以下方程:
        
      (9)

简化后为
         (e′1 -α′)b1+(e′2-β′)b2=0.        (10)
由于向量b1和b2线性无关,从而有
             

               (11)
所以当基础矩阵F21用参数α′, β′表示为(8)式时,这2个参数是对极点e′的仿射坐标.  即(8)式是基础矩阵关于对极点e′的一个约束条件. 在以上2个单对极点约束条件的基础上,下面引入一个新的双对极点的约束条件. 
  根据(5)式可得
      
     (12)

将F21的列向量代入(8)式,则得

  (13)

因此基础矩阵可由2个对极点的4个参数表示. 
1.2 基础矩阵参数的几何意义
  由上节可知,基础矩阵可由4个参数α, β, α′, β′表示,这4个参数具有明显的几何意义,它们就是2个对极点的仿射坐标. 下面用仿射几何中无穷远线的特性来推导基础矩阵中参数f1,f2, f4,f5的几何意义. 
  令m和m′是图像1和图像2中的匹配点,其齐次坐标分别为(x y 1)T和(x′ y′ 1)T,而e(α,β)和e′(e1, e2)是图像1和图像2的对极点,则过点m和e(α,β)的直线方向为τ1,过点m′和e′(e1, e2)的直线方向为τ2[5],其中
       

          (14)
则这2条直线和无穷远线的2个交点为
      y=(1,τ1,0)T, y′=(1,τ2,0)T.           (15)

由于y,y′同在无穷远线上,则其坐标分量τ1,τ可表示为[5]
          

                 (16)
其中参数a,b,c,d反映了无穷远线上匹配点之间的一一对应关系. 
  由于y和y′为一对匹配点,所以将其代入(2)式可得
  
  (17)
展开得
      f1c(y-e)+d(x-e1)(x-e1)+fa(y-e)+b(x-e1)(x-e1)+
     fc(y-e)+d(x-e1)(y-e)+fa(y-e)+b(x-e1)(y-e)=0.  (18)
求此不定方程的解集,可得其中一组解为
           f1=b, f=-d, f=a, f=-c.         (19)
由此得出,基础矩阵中剩余的4个参数f1,f,f,f有非常明确的几何意义,它就是过对极点e和e′的2个对极线束间的映射关系
            
              (20)
将(18)式写成矩阵形式,则得
                Ef=0,                (21)
其中

E=[ee1 ee2 ee3 ee4],
ee1=[c(y-e2)+d(x-e1)](x-e1)
ee3=[c(y-e2)+d(x-e1)](y-e2)
f=[f1 f2 f4f5]T
ee2=[a(y-e2)+b(x-e1)](x-e1)
ee4=[a(y-e2)+b(x-e1)](y-e2),

  鉴于对极点的多解性,就可以利用推导出的2个对极线束间映射关系参数的约束关系(21)式作为基础矩阵求解的一个约束条件.
1.3 双对极点约束
  对基础矩阵估计的单对极点约束而言[6],虽然在基础矩阵估计的稳定性方面有所提高,但在实际应用中,由基础矩阵求出的对极点仍然存在不稳定现象. 因此,在此推导出一个新的双对极点约束. 
  将(13)式代入(1)式,可得一组线性方程
                   Bf=0            (22)
其中 f=[f1 f2 f4 f5],

(23)

这里N是匹配点数,N应不小于4,这里不妨先取N=4,则B为4×4的矩阵,由(2)式知f1 f2 f4 f5不全为零,因此,要使方程 (22) 有非零解,则其系数矩阵的行列式必为零,即
            Det(B)=0.                (24)

将(24)式展开,即有一个关于α,β,α′,β′的函数,并有形式
     

=1Ki(a1iα2+a2iα+a3i)(b1iβ2+b2iβ+b3i)(c1iα′2+c2iα′+c3i).
(d1iβ′2+d2iβ′+d3i)=0,(25)

其中Ki, aji, bji, cji, dji, j=1,2,3,是一些与点坐标有关的标量. 
  由此得到了一个关于参数α,β,α′,β′的约束(25)式,即为基础矩阵的双对极点约束. 
1.4 估计对极点
  上面已给出了关于双对极点的坐标的几何约束,现在就利用它来估计对极点e, e′的位置,即利用它先求出F阵的4个参数α, β, α′, β′. 首先将(23)式中B矩阵的行向量定义为

Bi(α,β,α′,β′)=
[(xi-α)(xi -α′)(xi-α)(y′i-β′)(yi-β)(x′i-α′)(yi-β)(y′i-β′)],
                 i=1,2,...,N,                (26)
                 B=[B1 B2...BN]T.
由(22)式,上式中的参数α,β,α′,β′应满足下列方程组:
             Bijkl=Det([Bi Bj Bk Bl]T=0             (27)

其中[ijkl]是整数序列的[1 2...N]的一个线性组合,并且共有

个组合数. 因此,可以通过求解如下的一个非线性最小化问题来估计对极点:
             
          (28)1.5 F阵的估计的全局最优解
  由于对应于对极点的参数(α,β),(α′,β′)在上节已获得,现在只需求出F阵的其余4个参数f1,f2,f4,f5就完成了F阵的估计. 
  由(21)和(22)式,要求这2个线性方程组的最小二乘解,即
                
                  (29)
需对其(N+i)×4的系数矩阵作奇异值分解,即令
             
              (30)

则方程组(29)的解就是矩阵D中对应于矩阵V的最小奇异值的那个列向量. 其中i为E阵的行数,即实际计算中采用的约束方程的个数,i=1,...,N. 至此得到了F阵的估计,由于非线性问题(25)式的多解性,导致了F阵的解不唯一,因此我们定义一个余差rest为最优准则,并认为对应于最小的rest值的F阵即为全局最优解[6]. 

2 实验结果
  在第1部分的基础上,我们用双对极点约束完成了对基础矩阵的估计,并与改进的8点算法、6点综合算法做了比较. 在上述算法中对二维图像点坐标均做了规一化处理(normalization),但都未采用分层策略(outlier strategy). 在实验中利用了许多真实图像对本方法进行了测试和比较,下面给出实验结果. 
  实验中采用真实图像的38个原始匹配点对的坐标[6]、人工合成数据、以及噪声数据为幅度为[-5,5]之间的均匀分布的加噪合成数据. 图1为改进8点算法用真实图像数据的计算结果. 图2为6点综合算法用真实图像数据的计算结果. 图3为双对极点约束法用真实图像数

图1 改进8点算法,真实图像数据
1为平均距离,2为平均余差


图2 6点综合算法,真实图像数据
说明同图1

据计算出的结果. 图4~6为上述3种算法分别用人工合成数据计算出的结果. 图7~9为上述3种算法分别用加噪人工合成数据计算出的结果. 其中图(a)为计算出的平均余差和平均距离. 图(b)为38个左对极点,图(c)为38个右对极点. 平均余差rest(ave)代表

的绝对值,平均距离distance(ave)代表由当前计算出的基础阵计算出匹配点到其对应的对极线间的距离

图3 双对极点约束综合算法,真实图像数据
说明同图1

图4 改进8点算法,无噪合成数据
说明同图1

图5 6点综合算法,无噪合成数据
(a)为平均余差

图6 双对极点约束综合算法,无噪合成数据
说明同图1

图7 改进8点算法,加噪合成数据
说明同图1

图8 6点综合算法,加噪合成数据
说明同图1


图9 双对极点约束综合算法,加噪合成数据
说明同图1

  从平均余差的大小来看,6点综合算法略逊于8点算法,双对极点约束法略逊于6点综合算法. 究其原因是由于:(ⅰ)新约束的加入限制了可行解的范围;(ⅱ)8点算法完全是一个线性化的最小二乘过程,视最小为最优,而不管其是否满足应有的几何条件. 从平均余差和平均距离的稳定性上可以看出,利用双对极点约束算法估计出的基础矩阵有很好的稳定性. 
  从对极点的稳定性上看,双对极点约束法优于6点综合算法和8点算法,尤其从人工合成数据和加噪合成数据的计算结果就可以看出,利用双对极点约束估计的对极点具有较好的鲁棒性. 在图9(c)中,虽然右对极点仍有略微的抖动,但其位置与利用无噪合成数据计算出的右对极点的位置(图6(c))是一致的. 

4 结论
  本文分析了基础矩阵参数的几何意义,提出了新的几何约束:双对极点约束. 利用新约束提高了基础矩阵估计中对极点的精度和稳定性,从而为基础矩阵的高精度求解提出了一个新的思路. 考虑到我们给出的双对极点约束是非线性的,因此如何提高对极点的估计精度和稳定性仍然是我们需进一步研究的课题. 从实验结果可以看出(见图1~9的(b)和(c)),改进8点算法和6点综合算法的对极点的摆动范围均在数千个象素单位,但6点综合算法的右对极点(图2(c),图8(c))已有明显收敛区域. 而双对极点约束综合算法的对极点的摆动范围仅为2个象素单位(图3(c),图9(c)). 因此利用双对极点约束的综合算法估计的基础矩阵的对极点的稳定性已远远高于通常意义上的8点算法和利用单对极点约束的6点综合算法,从而为该领域的一些问题提供了比较好的数学模型. 

  致谢 感谢法国LIFIA提供的真实场景数据. 

*国家自然科学基金资助项目(批准号:69605002)和中法先进研究计划资助项目

作者单位:沈沛意 王 伟 吴成柯 西安电子科技大学信息工程系,综合业务网国家重点实验室,西安710071;Long Quan Roger Mohr Lifia-CNRS-INRIA, 46Avenue Felix Viallet, 38031 Grenoble Cedex, France

参考文献

 [1] Faugeras O D. Three-Dimensional Computer Vision: A Geometric Viewpoint. Beckeley: MIT Press, 1993
 [2] Faugeras O D. What can be seen in three dimensions with an uncalibrated stereo rig?. In: Computer Vision-ECCV'92, LNCS-Series Vol 588. New York: Springer-Verlag, 1992. 563578
 [3] Torr P H S, Zisserman A, Maybank S J. Robust detection of degenerate configurations for the fundamental matrix. Proceedings of the 5th ICCV. Cambridge IEEE Computer Society Press. 1995. 1 0371 042
 [4] Hartley R. In defence of the 8-point algorithm. Proceedings of the 5th ICCV. Cambridge: IEEE Computer Society Press. 1995. 1 0641 070
 [5] Luong Q T, Faugeras O D. A stability analysis of the fundamental matrix. In: Jan-Olof, ed. Lecture Notes in Computer Vision, Vol 800. Computer vision-ECCV'94
 [6] 王 伟,吴成柯估计基础矩阵的六点综合算法中国科学, E辑,1997, 27(2): 165170

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
计算机视觉基础4——对极几何(Epipolar Geometry)
多视角几何6-相机矩阵的计算-受限相机的估计
论文推荐 | 胡川, 方兴, 赵立都:融合正交几何信息的非线性等式约束整体最小二乘平差及迭代算法
二视图从运动到结构
机器视觉——双目视觉的基础知识(视差深度、标定、立体匹配)
基于聚类优化的非负矩阵分解方法及其应用
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服