스테레오 정합의 개요

 

        1.스테레오 정합의 정의
 

 

   인간의 시각 체계는 서로 다른 위치에서 획득된 두 영상을 적절히 정합함으로써 거리 정보를 얻는 것으로 알려져 있다. 스테레오 정합은 인간 시각 체계의 거리 추출 능력을 자동화하기 위한 컴퓨터 시각 분야 중 하나이다. 이 방법은 초음파와 레이저를 광원으로 사용하여 빛의 비행 시간과 속도의 함수로써 거리를 측정하는 것 보다 효과적이고 실제 응용 환경의 제약을 적게 받는다는 장점 때문에 의료 영상, 공장 자동화 및 지도 제작에 널리 이용되어 오고 있다.
 거리 정보를 얻기 위한 기본 단계는 영상 획득, 특징 추출, 스테레오 정합, 변위 추정, 변위로 부터의 거리계산 등으로 이루어지는데 여기에서 가장 중요한 인자는 특징으로 사용될 정합요소의 선택과 그 요소에 적절한 정합 전략을 구하는 것이라 할 수 있다.

 

        2. 기존의스테레오 정합방법
 

 

   스테레오 정합은 정합 요소에 따라 크게 특징 기반(feature-based)법과 영역
 기반(area-based)법으로 나눌 수 있다. 특징 기반에 사용되는 정합 요소(matching primitive)는 영 교차점, 경계선, 모서리, 마루, 골, 원추 곡선 등이 있다. 이들은 정합 점이 정확하고 잡음에 강한 특징을 가지나, 정합 되어지는 점들이 적으므로 전체 영상의 변위값을 구하기 위해서는 폐색 모델링(occlusion modeling)과 변위연속성(disparity continuity) 등을 포함하는 어려운 내삽(interpolation) 과정을 필요로 하게 된다. 반면에, 영역 기반법에서의 정합 요소는 밝기 정보의 변화가 평탄하거나 동일한 영역의 모양, 평균 밝기 및 면적 등을 이용한다. 이 정합 요소는 밝기 정보에 많이 의존하기 때문에 잡음에 약한 면이 있지만 영상의 전체 거리 정보를 얻을 수 있다는 장점이 있다.  최근에는 계층적인 정합법, 여러 가지 정합 요소를 이용하는 복합적인 정합법, 색정보를 이용하는 정합법, 여러 장의 스테레오 영상을 이용하는 정합법, 그리고 위상을 이용하는 정합법, 신경회로망을 이용하는 방법, 유전자 알고리듬을 이용하는 방법등이 제안되고 있다.

 

 

       3. 스테레오 카메라의 기하학적 구조
 

 

  일반적으로 스테레오 카메라의 기하학적인 모델은 두 대의 카메라가 하나의 물체를 바라보고 있는 구조를 가지며 응용분야에 따라 다양한 형태를 나타낸다. 아래는 두 카메라가 평행하게 배치되어있는 구조이다.

 

 

               

                            그림 1.  스테레오 카메라의 기하학적구조
 
 

         4. 거리 계산

 

 

 스테레오영상으로부터 실제적 거리인 x를 얻는 방법은 triangulation에 의 구해지며 결과식은 아래와 같고, 각각의 parameter는 그림1에서의 값을 나타낸다.

 

              
 
   
 

       5.스테레오 정합을 위한 제한사항
 
 

 

스테레오 정합을 수행하기 위해서는 스테레오 영상이 가지는 고유의 특성을 이용함으로써 좋은 결과를 얻을 수 있는데, 그 제한 사항으로 정합된 값은 서로 유사성을 갖게 되는 유사성의 성질과,변위값이 급격하게 변하지 않게 되는 완만함의 성질,각 영상의 pixel은 동일한 3차원상의 지점을 가르키는 유일성의 성질을 이용한다.


 
 
 

        6.스테레오 정합 과정

               
 
 

       7.스테레오  정합시 발생하는 문제점

            (1)영상에 적절한 특징 추출

            (2)추출된 특징에 따른 정합 전략

            (3)정합 창틀의 크기 결정

            (4)폐색(occlusion)과 변이 경계선 영역 처리

            (5)오정합을 줄이고 일관성 있는 결과를 얻기 위한 이완처리

            (6)복잡한 내삽 및 외삽 과정(특징 기반)
  
  

       8. 스테레오 영상 예

        위 카메라의 기하학적인 구조로부터 얻은 영상은 변위를 가지는 아래의 결과와 같다.

                 

                          좌영상                                    우영상



 
 

         스테레오 정합 알고리듬들
  
  

       Ⅰ. 신경망 알고리즘
  
 
 

 

    스테레오 정합의 제한 조건을 이용하여 신경망의 노드값을 반복 수행에 의해  갱신하여 정합 결과를 얻는 방법이다.

               실험영상(pentagon)

                           
 
 

                 결과영상

                        
 
 
 

        Ⅱ. Wavelet을 이용한 스테레오 정합 알고리듬

 

]                            

                             원 영상                                      wavelet transform된 영상
 
 

            III. 소형 유전자 알고리즘을 이용한 스테레오 정합

 

                          
 
 
 
 

                결과영상