3D sequence coding

 

 

    정보화가 가속화됨에 따라 문자뿐만 아니라 오디오 및 비디오를 포함하는 멀티미디어정보에 대한 수요가 급증하게 되었고 이런 복합정보의 효율적인 저장과 전송을 위해 활발한 연구가 진행되고 있다. 특히 실시간 영상통신(visual communication)에 관계된 JPEG, MPEG1 MPEG2 그리고 H.263에 기반한 2-D 디지털 영상통신기술들이 급속한 발전을 거듭하여 현재 여러 제품에 상용화되고 있다. 그러나 이 기술들은 가상현실의 도래로 인해 수반된 3차원적 현실감을 다루기에는 불충분하다고 할 수 있다. 그래서 표준화가 완료될 예정인 MPEG4에서는 SNHC, multi-view 영상 등과 같은 3차원 입체영상을 다루는 내용이 포함되어 있다. 현재 정보통신의 발전 방향을 볼 때, 향후 가상현실과 입체영상에 대한 사용자의 수요증가로 인해 스테레오 시각에 기초한 3차원 영상압축기술과 3차원 영상표현시스템이 요구될 것이며 이들이 미래 영상매체의 핵심기술이 될 전망이다. 지금까지 다해상도 기반의 변이와 움직임 정보를 이용한 블록정합기법에 기반한 부호화기와, MPEG2 MVP(Multi View Profile) 이용한 부호화기에 대해 연구가 되어, 구조적으로 간단하면서 압축률을 높일 있는 부호화기가 소프트웨어적으로 구현되어 있으며 현재 객체기반의 부호화기에 대한 연구가 진행 중이다. 첫번째 단계로, 2차원의 움직임 정보와 변이 정보를 이용하여 영상분할을 수행하고 분할영상에 대하여 움직임 정보에 의해 영상을 재구성하여 부호화를 수행하는 방법이 연구되었고, 3차원 움직임정보와 변이정보를 이용한 부호화에 대한 연구가 진행중이다.


 

1. MPEG2 MVP 스테레오 동영상 부호화기

 

     다음은 본연구실에서 제안한 MPEG2 MVP기반의 스테레오 동영상 부호화기이다. 하위 계층에서는 좌영상을 일반적인 MPEG2방식으로 부호화하고 상위계층에서는 하위계층의 정보와 우영상의 정보를 이용하는 compatible부호화방식을 이용하였다. 상위 계층에서는 움직임 정보와 변이 정보를 이용하여 부호화 함으로써 공간적인 중복성과 시간적인 중복성을 제거할 있다. 그러나 가지의 중복성을 모두 제거하기 위해서는 스테레오영상간의 블록정합과 시간적으로 연속적인 영상간의 블록정합을 수행하기 위해 두개의 블록정합 예측기가 상위계층에서 필요하고 전체적으로 하위 계층에서 필요한 움직임 예측기를 포함하면 3 개의 블록정합 예측기가 필요하다. 블록정합 예측은 MPEG2 동영상부호화기에서 가장 복잡하고  연산량이 많은 부분이므로 이를 간단히 하거나 개수를 줄이는 것은 시스템의 구현시 매우 중요하다. 연구실에서 제안한 부호화가는 움직임과 변이정보간의 상관성을 이용하여 상위 계층에서는 움직임 예측을 수행하지 않고 하위 계층의 움직임 정보와 변이 정보를 이용하여 상위계층의 움직임정보를 유도해내어 상위계층에서 필요한 블록정합기의 수를 1개로 줄일 있었으며 실험 결과에서 2개를 사용할 때와 비슷한 결과를 얻을 있었다.


              MPEG2 MVP기반 스테레오 동영상 부호화기 구조

 

1. 객체기반 스테레오 동영상 부호화기

 

     다음은 본연구실에서 제안한 객체기반 스테레오 동영상 부호화기법에 대한 설명이다. 객체기반 스테레오 동영상 부호화는 움직임, 변이, 밝기값이 유사한 영역을 객체로 분할하여 이 객체 단위로 움직임과 변이를 추정함으로서 다음 프레임을 생성한다. 객체 영상열인 우영상열에 대해서는 움직임 보상만으로 다음 프레임을 예측할 수 있다. 그러나 좌영상열에 대해서는 스테레오 영상의 시·공간적 상관관계를 이용하여 좌영상에 대한 움직임을 예측한 후 그 움직임으로부터 다음 프레임을 예측할 수 있다. 프레임이 지남에 따른 누적오차를 줄이기 위해서 폐색영역으로부터 발생하는 새로운 영역에 대해서는 새로운 객체를 추출하고, 움직임과 변이가 동일해지는 두 객체들에 대해서는 병합하는 객체갱신 과정을 거친다.


 

 

                            객체기반 스테레오 동영상 부호화기 구조