2D에서 3D 변환

2D to 3D conversion
2D에서 3D 변환
공정종류디지털 및 인쇄
산업 부문영화 및 텔레비전, 인쇄물 제작
주요 기술 또는 하위 프로세스컴퓨터 소프트웨어
제품(들)영화, 텔레비전 쇼, 소셜 미디어, 인쇄된 이미지

2D에서 3D 비디오 변환(2D to 3D conversion 및 스테레오 변환이라고도 함)은 2D(평판) 필름을 3D 형태로 변환하는 과정으로, 거의 대부분의 경우 스테레오이므로 하나의 2D 이미지에서 각 눈에 대한 이미지를 생성하는 과정입니다.

개요

2D-3D 변환은 뇌가 인지하는 디지털 영상에 양안 시차 깊이 큐를 추가하여 적절히 처리하면 2D 영상에 비해 스테레오 영상을 시청하면서 몰입도를 크게 향상시킵니다.그러나 성공하기 위해서는 변환이 충분한 정확성과 정확성을 가지고 이루어져야 합니다. 원본 2D 이미지의 품질이 저하되지 않아야 하며 도입된 디스패리티 큐는 깊이 인식을 위해 뇌가 사용하는 다른 큐와 모순되지 않아야 합니다.적절하고 철저하게 작업이 이루어지면,[1] 이 변환 작업은 스테레오로 촬영되고 포스트 프로덕션에서 정확하게 조정되고 정렬되는 "원본" 스테레오 비디오와 유사한 품질의 스테레오 비디오를 생성합니다.

스테레오 변환에 대한 두 가지 접근법은 대략적으로 정의될 수 있습니다: 시네마와 고품질 3DTV를 위한 고품질 반자동 변환과 저렴한 3DTV, VOD 및 유사한 애플리케이션을 위한 저품질 자동 변환.

컴퓨터 애니메이션 영화 재렌더링

3D 모델로 제작된 컴퓨터 애니메이션 2D 영화는 원본 데이터가 남아 있는 경우 두 번째 가상 카메라를 추가하여 입체 3D로 다시 렌더링할 수 있습니다.이것은 엄밀히 말하면 전환이 아닙니다. 따라서 이러한 재렌더링된 필름은 원래 입체 3D로 제작된 필름과 동일한 품질을 갖습니다.이 기법의 예로는 토이 스토리와 토이 스토리 2의 재발매가 있습니다.두 영화의 원본 컴퓨터 데이터를 다시 확인하는 데는 4개월이 걸렸고,[2] 3D를 추가하는 데는 6개월이 더 걸렸습니다.그러나 비용, 시간 소요, 숙련된 리소스 부족 또는 컴퓨터 데이터 누락 등의 이유로 모든 CGI 필름이 3D 재개봉을 위해 다시 렌더링되는 것은 아닙니다.

중요도 및 적용가능성

3D로 개봉하는 영화의 증가와 함께 2D에서 3D로 전환하는 것이 일반화되었습니다.대부분의 비 CGI 스테레오 3D 블록버스터는 2D 영상에서 완전히 또는 적어도 부분적으로 변환됩니다.심지어 아바타는 2D로 촬영된 여러 장면을 포함하고 있으며,[3] 포스트 프로덕션에서 스테레오로 변환되었습니다.스테레오 대신 2D로 촬영하는 이유는 재정적, 기술적, 때로는 [1][4]예술적인 것들입니다.

  • 스테레오 포스트 프로덕션 워크플로우는 2D 워크플로우만큼 훨씬 복잡하고 잘 정립되지 않아 더 많은 작업과 렌더링이 필요합니다.
  • 전문적인 입체 장비는 일반적인 단안 카메라보다 훨씬 비싸고 부피가 큽니다.일부 촬영, 특히 액션 장면은 비교적 작은 2D 카메라로만 촬영할 수 있습니다.
  • 스테레오 카메라는 스테레오 이미지에 다양한 미스매치(수직 시차, 기울기, 색상 이동, 반사 및 다른 위치의 눈부심 등)를 발생시킬 수 있는데, 이는 3D 효과를 망치기 때문에 어쨌든 포스트 프로덕션에서 수정해야 합니다.이 보정은 때때로 스테레오 변환에 버금가는 복잡성을 가질 수 있습니다.
  • 스테레오 카메라는 촬영 중에 사용되는 실제 효과를 저버릴 수 있습니다.예를 들어, 반지의 제왕 영화 3부작의 일부 장면은 두 배우가 서로 다른 신체적 크기로 보일 수 있도록 강제적인 원근법을 사용하여 촬영되었습니다.스테레오로 촬영된 동일한 장면은 배우들이 카메라와의 거리가 같지 않다는 것을 드러낼 것입니다.
  • 스테레오 카메라는 그 특성상 카메라가 촬영된 피사체로부터 얼마나 멀리 떨어져 있을 수 있는지에 대한 제한이 있고 여전히 허용 가능한 스테레오 분리를 제공합니다.예를 들어, 건물의 측면에 설정된 장면을 촬영하는 가장 간단한 방법은 줌 렌즈를 사용하여 이웃 건물의 건너편에서 카메라 장비를 사용하는 것일 수 있습니다.그러나 줌 렌즈가 허용 가능한 화질을 제공하는 반면, 스테레오 분리는 그러한 거리에서 사실상 제로가 될 것입니다.

스테레오 촬영의 경우에도 변환이 종종 필요할 수 있습니다.상술한 촬영하기 어려운 장면 외에도, 스테레오 뷰의 미스매치가 너무 커서 조정할 수 없는 경우가 있고, 뷰 중 하나를 원래의 2D 소스로 취급하여 2D에서 스테레오 변환을 수행하는 것이 더 간단합니다.

일반문제

특정 알고리즘과 관련 없이 모든 변환 워크플로우는 다음 [4][5]작업을 해결해야 합니다.

  1. "깊이 예산"의 할당 – 허용된 시차 또는 깊이의 범위, 스크린 위치에 해당하는 깊이 값(이른바 "수렴점" 위치), 스크린 밖 효과 및 스크린 뒤 배경 객체에 대한 허용 거리 범위를 정의합니다.스테레오 쌍에 있는 물체가 두 눈에 정확히 같은 위치에 있으면 화면 표면에 나타나고 시차는 0이 됩니다.화면 앞의 물체는 마이너스 시차, 화면 뒤의 배경 이미지는 플러스 시차라고 합니다.좌안 영상과 우안 영상에는 개체 위치에 해당하는 음 또는 양의 오프셋이 있습니다.
  2. 장면 유형 및 움직임에 따라 편안한 시차 조절 – 너무 많은 시차 또는 상반된 깊이 신호로 인해 눈의 피로 및 메스꺼움 효과가 발생할 수 있음
  3. 가려지지 않은 영역 채우기 – 왼쪽 또는 오른쪽 보기 영상은 다른 각도의 장면을 보여주며, 원래 2D 영상에서 전경으로 가려진 물체 또는 전체 물체의 일부가 스테레오 쌍으로 표시되어야 합니다.때로는 배경 표면이 알려져 있거나 추정할 수 있으므로 가려지지 않은 영역을 채우는 데 사용해야 합니다.그렇지 않으면 정확한 재구성이 불가능하기 때문에 알려지지 않은 영역을 화가가 채우거나 그림으로 그려야 합니다.

고품질 변환 방법은 또한 다음과 같은 많은 일반적인 문제를 처리해야 합니다.

  • 반투명 물체
  • 리플렉션
  • 퍼지 반투명 객체 경계 - 머리카락, 털, 전경 초점이 맞지 않는 객체, 얇은 객체
  • 필름 입자(실제 또는 인공) 및 이와 유사한 소음 효과
  • 급격한 불규칙한 움직임을 보이는 장면
  • 작은 입자 – 비, 눈, 폭발 등.

품질반자동전환

깊이 기반 변환

스테레오 변환의 대부분의 반자동 방법은 깊이 맵과 깊이 영상 기반 렌더링을 사용합니다.기반 렌더링([4][5]depth image-based rendering)을 사용합니다.

각각의 프레임 또는 일련의 동질적인 프레임에 대해 "깊이 맵"이라고 하는 별도의 보조 영상을 생성하여 장면에 존재하는 객체들의 깊이를 나타내는 것이 그 개념입니다.깊이 맵은 프레임의 모든 부분의 깊이를 나타내기 위해 다양한 음영의 회색을 사용하여 원래 2D 이미지와 동일한 차원을 가진 별도의 그레이스케일 이미지입니다.깊이 매핑은 비디오에서 3D 객체에 대한 상당히 강력한 환상을 생성할 수 있지만, 본질적으로 반투명 객체나 영역을 지원하지 않으며, 가려진 표면을 표현하지도 않습니다. 이러한 한계를 강조하기 위해 깊이 기반 3D 표현은 종종 2.[6][7]5D로 명시적으로 언급됩니다.이러한 문제와 기타 유사한 문제는 별도의 방법을 통해 처리해야 합니다.

깊이 맵의 예
단일 또는 다중 뷰 깊이 맵 또는 실루엣에서 3D 모양 생성 및 재구성

깊이 기반 변환 방법의 주요 단계는 다음과 같습니다.

  1. 깊이 예산 할당 – 장면의 전체 깊이와 화면 평면의 위치.
  2. 영상 분할, 매트 또는 마스크 생성, 일반적으로 로토스코핑에 의한 것입니다.각 중요한 표면은 분리되어야 합니다.세부사항의 수준은 필요한 전환 품질과 예산에 따라 달라집니다.
  3. 깊이 지도 작성.각 분리된 표면에는 깊이 맵이 할당되어야 합니다.별도의 깊이 맵을 씬(scene) 깊이 맵으로 구성해야 합니다.이것은 물체, 모양, 깊이를 조정하고 스테레오에서 중간 결과를 시각화해야 하는 반복적인 과정입니다.깊이 마이크로 릴리프, 3D 모양이 가장 중요한 표면에 추가되어 스테레오 이미지가 다양한 깊이로 설정된 평면 이미지의 조합처럼 보일 때 "카드보드" 효과를 방지할 수 있습니다.
  4. 깨끗한 플레이트, 복원된 배경, 투명도 맵 등의 보충 정보를 포함한 2D+Depth 기반 스테레오 생성프로세스가 완료되면 왼쪽 및 오른쪽 이미지가 생성됩니다.일반적으로 원본 2D 영상은 가운데 영상으로 처리되므로 두 개의 스테레오 뷰가 생성됩니다.그러나 일부 방법에서는 변환 [4]비용을 최소화하기 위해 원본 이미지를 한 눈의 이미지로 사용하고 다른 눈의 이미지만 생성할 것을 제안합니다.스테레오 생성 중에는 깊이 맵, 최대 선택 시차 및 화면 표면 위치에 따라 원본 영상의 픽셀이 왼쪽 또는 오른쪽으로 이동합니다.
  5. 스테레오 제너레이터에 의해 채워지지 않은 가려지지 않은 부분의 재구성 및 도색.

스테레오는 아날로그를 포함하여 미리보기 목적으로 어떤 형식으로도 제공될 수 있습니다.

시간이 많이 걸리는 단계는 이미지 분할/로토스코핑(Rotoscoping), 깊이 지도 작성(Depth Map) 및 탐지되지 않은 영역 채우기입니다.후자는 최고 품질의 변환을 위해 특히 중요합니다.

깊이 지도 작성 및 배경 재구성을 위한 다양한 자동화 기법이 있습니다.예를 들어, 자동 깊이 추정은 특정 프레임 및 [11]샷에 대한 초기 깊이 맵을 생성하는 데 사용될 수 있습니다.

그런 일에 종사하는 사람들을 깊이 [12]예술가라고 부를 수 있습니다.

다층구조

깊이 매핑, 다중 계층화에 대한 개발은 제한된 반투명성을 구현하기 위해 그레이스케일 깊이 마스크의 여러 층을 도입함으로써 깊이 매핑의 한계를 해결합니다.단순한 [13]기술과 유사하게 다중 계층화는 평면 이미지의 둘 이상의 "슬라이스"에 깊이 맵을 적용하여 깊이와 돌출부의 근사치를 훨씬 향상시킵니다.프레임당 레이어를 따로 처리할수록 3D 착시의 품질이 높아지는 경향이 있습니다.

기타접근방법

스테레오 변환을 위해 3D 재구성 및 재투영이 사용될 수 있습니다.장면 3D 모델 생성, 3D 객체에 대한 텍스처로 원본 이미지 표면 추출, 마지막으로 두 대의 가상 카메라에서 3D 장면을 렌더링하여 스테레오 비디오를 획득합니다.이 접근 방식은 건물이 있는 도심 촬영, 내부 촬영과 같은 정적 강성 물체가 있는 장면의 경우 충분히 효과적이지만 강성이 없는 몸체와 부드러운 퍼지 [3]에지의 문제가 있습니다.

또 다른 방법은 왼쪽 및 오른쪽 가상 카메라를 모두 설정하는 것입니다. 둘 다 원래 카메라와 오프셋 차이를 분할한 다음 분리된 개체 및 문자의 폐색 가장자리를 도색하는 것입니다.기본적으로 여러 배경, 중간 및 전면 요소를 깨끗하게 도금합니다.

양안 시차는 또한 [14]단순한 기하학으로부터 유도될 수 있습니다.

자동변환

움직임으로부터의 깊이

다양한 종류의 움직임을 이용하여 자동으로 깊이를 추정할 수 있습니다.카메라 모션의 경우 전체 장면의 깊이 맵을 계산할 수 있습니다.또한 객체 움직임을 감지할 수 있으며 이동 영역은 배경보다 작은 깊이 값으로 지정할 수 있습니다.교합은 움직이는 [15][16]표면의 상대적 위치에 대한 정보를 제공합니다.

초점으로부터의 깊이

이러한 유형의 접근 방식은 "디포커스로부터의 깊이" 및 [15][17]"흐림으로부터의 깊이"라고도 불립니다."depth from defocus"(DFD) 접근법에서 깊이 정보는 고려된 객체의 블러 양을 기반으로 추정되는 반면, "depth from focus"(DFF) 접근법은 카메라와의 거리를 알아보기 위해 다른 초점 거리로 촬영된 이미지 범위에 걸쳐 객체의 선명도를 비교하는 경향이 있습니다.DFD는 제대로 작동하기 위해 서로 다른 초점에서 2~3개만 필요한 반면, DFF는 최소 10~15개의 이미지가 필요하지만 이전 방법보다 정확합니다.

가공된 영상에서 하늘이 감지되면, 짙은 [17]공기층 때문에 흐릿함 외에 더 먼 물체들이 더 포화되고 더 푸르게 될 것이라는 점도 고려할 수 있습니다.

원근법의 깊이

그 방법의 아이디어는 철로와 도로변과 같은 평행선들이 거리에 따라 수렴하는 것처럼 보이고, 결국 지평선에서 사라지는 지점에 이른다는 것에 기반을 두고 있습니다.이 소실점을 찾으면 전체 [15][17]이미지에서 가장 먼 지점을 얻을 수 있습니다.

선들이 더 많이 모일수록 더 멀리 있는 것처럼 보입니다.따라서 깊이 맵의 경우 인접한 두 소멸 선 사이의 영역을 구배 평면으로 근사화할 수 있습니다.

변환 아티팩트

  • 골판지 효과는 서로 다른 깊이에 위치한 3D 물체가 마치 골판지로 만들어진 것처럼 관객들에게 평평하게 보이는 반면, 물체 사이의 상대적인 깊이는 그대로 유지되는 현상입니다.
  • 가장자리 선명도 불일치 - 객체 경계의 깊이 맵이 흐려서 이 아티팩트가 나타날 수 있습니다.한 보기에서는 경계가 정밀해지고 다른 보기에서는 흐릿해집니다.에지 선명도 불일치 아티팩트는 일반적으로 다음과 같은 원인으로 발생합니다.
    • 명시적인 폐색 충전을 피하기 위해 폐색 영역을 둘러싼 픽셀을 뒤틀게 하는 것으로 정의되는 "고무 시트" 기술의 사용합니다.이 경우 변위 지도의 가장자리가 흐려지고 전경 영역과 배경 영역 간의 전환이 원활해집니다.객체 변위 방향에 따라 에지/모션 블러가 차지하는 영역은 "스트레칭"되거나 "턱"됩니다.당연히 이러한 접근 방식은 보기 간의 모서리 선예도 불일치로 이어집니다.
    • 반투명 에지에 대한 적절한 처리 부족으로 에지 더블링 또는 고스트가 발생할 가능성이 있습니다.
    • 객체 가장자리 근처에서 아티팩트를 늘이는 간단한 폐색 채우기 기술.
  • 백그라운드 객체에 고착됨 - 이 오류로 인해 전경 객체가 백그라운드에 "붙임"됨

3D 품질 측정 기준

PQM

PQM은[18] 주관적 테스트에서 얻은 평균 의견 점수(MOS)와 매우 밀접하게 일치하기 때문에 HVS를 모방합니다.PQM은 영상의 왜곡을 얻기 위해 각 픽셀 블록의 평균으로 가중된 근사치(분산)를 사용하여 휘도의 왜곡과 대비 왜곡을 정량화합니다.이 왜곡을 1에서 빼서 목표 품질 점수를 얻습니다.

HV3D

HV3D[19] 품질 측정법은 인간의 시각적 3D 인식을 염두에 두고 설계되었습니다.개별 좌우 뷰의 품질, 사이클로페안 뷰(오른쪽 뷰와 왼쪽 뷰의 융합, 보는 사람이 인식하는 것)의 품질, 깊이 정보의 품질을 고려합니다.

VQMT3D

VQMT3D 프로젝트는 2D에서 3D 변환의 품질을 평가하기 위한 몇 가지 개발된 메트릭을 포함합니다.

미터법 학급 유형 해당
판지효과 고급. 질적 2D-3D 변환
모서리-선도 불일치 독특한 질적 2D-3D 변환
백그라운드로 고착된 개체 독특한 질적 2D-3D 변환
2D 버전과의 비교 독특한 질적 2D-3D 변환

참고 항목

참고문헌

  1. ^ a b 배리 샌드루."2D – 3D 변환이 네이티브 3D보다 나을 수 있음"
  2. ^ Murphy, Mekado (October 1, 2009). "Buzz and Woody Add a Dimension". The New York Times. Retrieved February 18, 2010.
  3. ^ a b 마이크 시모어.스테레오 변환 기술: 2D에서 3D로의 변환
  4. ^ a b c d 스캇 스콰이어스, 2차원에서 3차원으로 변환
  5. ^ a b 존 카라핀.Wayback Machine International 3D Society University의 2012-04-26 최신 2D to 3D 변환 및 스테레오 VFX 아카이브 2011년 10월 21일 도쿄에서 열린 3DU-Japan 행사 발표.
  6. ^ a b Wu, Jiajun; et al. (2017). MarrNet: 3D Shape Reconstruction via 2.5D Sketches (PDF). Conference on Neural Information Processing Systems (NeurIPS). pp. 540–550.
  7. ^ Tateno, Keisuke; et al. (2016). When 2.5D is not enough: Simultaneous reconstruction, segmentation and recognition on dense SLAM (PDF). IEEE International Conference on Robotics and Automation (ICRA). pp. 2295–2302.
  8. ^ Rock, Jason; et al. (2015). Completing 3D Object Shape from One Depth Image (PDF). IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2484–2493.
  9. ^ Shin, Daeyun; et al. (2019). 3D Scene Reconstruction with Multi-layer Depth and Epipolar Transformers (PDF). IEEE International Conference on Computer Vision (ICCV). pp. 2172–2182.
  10. ^ "Soltani, A. A., Huang, H., Wu, J., Kulkarni, T. D., & Tenenbaum, J. B. Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes With Deep Generative Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 1511-1519)". GitHub. 2019-07-11.
  11. ^ YUV soft. 2D-stereo 3D 변환 과정
  12. ^ Mike Eisenberg (31 October 2011). "Interview with 3D Artist Adam Hlavac". Screen Rant. Retrieved 28 December 2015.
  13. ^ Cutler, James. "Masking Multiple Layers in Adobe Photoshop". Archived from the original on January 18, 2012.
  14. ^ 2D 사진을 3D Lenticular Print로 변환
  15. ^ a b c 닥터 라이만 포.홍콩 시티대학 전자공학부 3DTV 자동 2D-3D 비디오 변환 기법2010년4월13일
  16. ^ 카메라 모션 장면에 대한 자동 2D - 2D - + Depth 변환 샘플
  17. ^ a b c Qingqing We. "Converting 2D to 3D: A Survey" (PDF). Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology. Archived from the original (PDF) on 2012-04-15.
  18. ^ Joveluro, P.; Malekmohamadi, H.; Fernando, W. A. C; Kondoz, A. M. (2010). "Perceptual Video Quality Metric for 3D video quality assessment". 2010 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video. IEEE. pp. 1–4. doi:10.1109/3dtv.2010.5506331. ISBN 978-1-4244-6377-0.
  19. ^ Banitalebi-Dehkordi, Amin; Pourazad, Mahsa T.; Nasiopoulos, Panos (2013). "3D video quality metric for 3D video compression". Ivmsp 2013. IEEE. pp. 1–4. arXiv:1803.04629. doi:10.1109/ivmspw.2013.6611930. ISBN 978-1-4673-5858-3.
  20. ^ VQMT3D
  • Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2014). Kinect-Variety Fusion: A Novel Hybrid Approach for Artifacts-Free 3DTV Content Generation. In 22nd International Conference on Pattern Recognition (ICPR), Stockholm, 2014. doi:10.1109/ICPR.2014.395.