이머시브 비디오

1. 이머시브 비디오의 개요

가. 이머시브 비디오의 정의

-시청자가 공간상에서 완전한 6DoF(Degree of Freedom) 자유도의 움직일 때 보여져야 할 영상을 재현함으로써 사실감과 몰입감을 동시에 제공할 수 있는 비디오 기술

 

나. 이머시브 비디오의 특징

-(MPEG-I 프로젝트)

-(메타버스) 메타버스에 현실 공간을 표현 하기 위한 기술

-(현실감과 몰입감) 동시에 지원할 수 있는 이머시브 비디오 기술의 활용도가 지속적으로 증대

 

2. 이머시브 비디오의 구현 단계 및 비디오 기술

가. 이머시브 비디오의 구현 단계 (MPEG-I 프로젝트)

단계	자유도	설명
Phase 1a	3DoF	고정된 중심을 기준으로 3축 회전 운동을 지원 -운동시차가 지원되지 않아 사실감, 몰입감 한계
Phase 1b	3DoF+	전방위 장면을 포함한 복수 개의 영상과 이를 기반으로 합성한 다수의 가상 영상을 기반으로 약간의 머리 움직임과 같이 매우 제한된 운동을 지원
Phase 2	6DoF	실제 생활하는 것과 같이 미디어 환경 내에서 자유롭게 이동 지원 -완전한 운동시차 지원

나. 이머시브 비디오 기술

구분	기술	설명
이머시브 비디오 표준화	MIV 3DoF+ windowed 6DoF 비디오	-몰입감과 사실감을 부여하는데 필수적인 운동 시차의 지원이 가능한 이머시브 비디오 부호화 표준화를 진행 -전방위로 확장된 시청 공간을 구성하는데 필요한 다수 시점영상의 부호화 -전방위 카메라를 통해 획득되는 다수의 텍스처(texture) 및 기하정보(geometry)를 이용하여 공간상의 중복성을 제거한 후 아틀라스(atlas)라고 불리워지는 새로운 인코딩 포맷을 생성하는 TMIV 인코더를 추가 -적은 수의 비디오 코덱을 통해 압축 처리 가능
이머시브 비디오 부호화	아틀라스 패치 점유 지도 랜더러 MIV 표준 프로파일	-푸루닝(pruning)과 패치 패킹 (patch packing) 과정을 통해 입력되는 다중시점 형태의 전방위 비디오로부터 3D 공간상에 대응되는 픽셀 중복성 체크 -아틀라스 패치 점유 지도(Atlas Patch Occupancy Map)는 패치가 서로 겹쳤을 때 디코딩된 아틀라스 영상으로부터 픽셀별로 시점영상을 분리하는데 이용 -렌더러(renderer)는 디코딩되어 분리된 패치들로부터 시청자가 바라보는 방향에 해당하는 중간시점의 영상을 합성하며, 시청자가 선택한 시청경로에 해당하는 포즈트레이스(posetrace)에 따라 연속적으로 뷰포트 영상을 제공