[VR] VR video format

 

2016년에는 2D 기반의 360 영상(Monoscopic)이 주로 쓰였다. 이후 카메라 등 장비들의 발전으로 3D 기반의 Stereoscopic 형태의 영상이 늘어났다.

 

주로 쓰이는 영상 포맷으로는

 

• Monoscopic 360 equirectangular projection
• Top bottom stereoscopic 360 equirectangular projection
• Left right stereoscopic 360 equirectangular projection
• Top bottom stereoscopic 3D 180
• Left right stereoscopic 3D 180

등이 있다.

 

Monoscopic 360 equirectangular projection

기존에 쓰던 2D 촬영물을 이용한 360 영상 포맷이다. 가장 흔히 사용된다. 

일반적으로 2:1 가로 세로 비율의 비디오 컨테이너이다. 

일반적인 해상도: 3840x1920, 4096x2048, 5760x2880, 7680x3840

 

출처: https://360labs.net/blog/vr-video-formats-explained

이러한 2D 이미지를 구 모양에 덮는다고 생각하면 편하다.

 

Top bottom stereoscopic 360 equirectangular projection

3D는 인간의 양안 간격의 차이로 물건의 깊이를 재는 것을 이용했다. 때문에 2D와는 다르게 이미지가 두 장 필요한 것이다. (인간의 왼쪽 눈 오른쪽 눈) Top bottom stereoscopic 360 equirectangular projection은 말 그대로 Top 과 Bottom 에 각각의 촬영물이 배치된 것이다.

출처: https://code.blender.org/2015/03/1451/

Left right stereoscopic 360 equirectangular projection

Side by Side 라고도 많이 부르는 포맷이다. Top and Bottom과 달리 촬영물을 양옆으로 이어붙인다.

출처: https://www.youtube.com/watch?v=q8cM1MzfnW4

 

 

Top bottom stereoscopic 3D 180

Top and Bottom 기법으로 3D 영상을 만드는 방법은 같으나, 360도가 아니라 180도이다. 

360 영상을 굳이 180 영상으로 만든 이유는 다음과 같다.

360 영상은 최소 4K지만 실제 콘텐츠를 접할 때 여전히 흐리게 보이는 경우가 많다. 시청자가 360 콘텐츠를 볼 때 자신의 시야에서 360 촬영물을 일부만 볼 수 있다. 사람이 전면과 후면을 동시에 볼 수 없기 때문이다. 

때문에 우리가 3840x1920의 360 영상을 볼 때 사실은 대략 1280x720만큼을 볼 수 있는 것이다.

 

뿐만 아니라 3D의 경우는 같은 컨테이너지만 2개의 비디오 채널이 이에 들어간다. 위 사진처럼 하나의 컨테이너에 두 개의 촬영물이 들어간다는 의미이다. 때문에 해상도가 최종으로 보여지는 것의 반으로 떨어진다. 

 

위와 같은 해상도의 문제로 3D 360 영상이 겪어오던 어려움을 180 영상으로 바꾸며 어느정도 완화할 수 있었다.

VR 이용자가 뒤를 돌아보는 경우가 드문 콘텐츠 (공연, 성인 콘텐츠) 등을 중심으로 먼저 적용되기 시작했다. 

 

Left right stereoscopic 3D 180

위와 같은 3D 180 영상 포맷이나 side by side 방식을 취하고 있다.

 

 

그렇다면 Top and Bottom 과 Side by Side는 어떻게 다를까?

Top and Bottom - Side by Side

Top and Bottom 방식과 Side by Side 방식은 모두 두 개의 영상을 하나의 비디오 컨테이너에 넣는 방식이기 때문에 해상도가 떨어질 수밖에 없다. 각각의 사양에 대해 조금 더 자세히 알아보겠다. 

 

우선 interlaced 포맷과 progressive 포맷에 대해 알아야 한다.

 

1) interlaced 방식

인터레이스 방식은 위 사진과 같이 한줄 한줄 번갈아가며 사진을 반으로 나누어 저장한다. 홀수 필드, 짝수 필드를 합쳐야 하나의 프레임이 된다.

 

2) progressive 방식

프로그레시브 방식은 사진을 있는 그대로 저장한다.

 

인터레이스 방식은 프로그레시브 방식보다 용량이 적게 필요하다는 장점이 있다. 그러나 프로그레시브보다 화질이 떨어져 보이는 단점이 있다.

프로그레시브 방식은 용량이 많이 필요하고 깜빡거리는 현상이 발생하지만 고화질 영상 전송에 좋다는 장점이 있다.

 

 

보통 SBS(Side By Side)에 인터레이스 방식을 이용하고 TAB(Top And Bottom)에 프로그레시브 방식을 이용한다. 왜 이렇게 제한되어 있을까?

 

TAB에서 인터레이스 방식을 이용한다고 가정하자. 이 때 두 가지 방법이 있다. 

1) 인코딩 시 각 필드(짝수, 홀수)를 가져가고 나머지 모든 라인은 버린다.  (즉 한 번 받아들일 때 하나의 필드 값만 받아들이는 것이다.) TAB는 비디오 컨테이너를 상하로 나누기 때문에 이미 높이 해상도가 반으로 줄어든 상태이다. 이 상황에서 또 1/2의 프레임만을 입력받아 주사한다면 체감상 해상도는 다시 반으로 줄어드는 것이다.

 

2) 인코딩 시 top or bottom 중 하나의 뷰만을 받아 다른 쪽에 포장한다. 

이는 해상도는 보존할 수 있을지 몰라도 움직임의 부자연스러움을 낳는다. (양안 간격의 차이를 무시하기 때문에)

 

그러나 SBS를 인터레이스 방식에 사용했을 시 위와 같은 희생을 할 필요가 없는 것이다.

 

 

 

출처: https://post.naver.com/viewer/postView.nhn?volumeNo=16974162&memberNo=29481007

중급자, VR 영상 알아보기 1부 (트렌드)

https://m.post.naver.com/viewer/postView.nhn?volumeNo=17019181&memberNo=29481007

중급자, VR 영상 알아보기 2부 (포맷)

https://360labs.net/blog/vr-video-formats-explained

VR Video Formats Explained

https://opticalflow.wordpress.com/2010/09/19/side-by-side-versus-top-and-bottom-3d-formats/

Side-by-Side versus Top-and-Bottom 3D Formats

http://blog.daum.net/everylook/48

인터레이스(interlaced Scan)와 프로그레시브(Progressive Scan)

https://bwessay.tistory.com/201

해상도 그리고 인터레이스(Interlaced)와 프로그레시브(Progressive)