이미지 기반 모델링 및 렌더링: 시각적 현실주의 탐구: 컴퓨터 비전 기술

By Fouad Sabry

이미지 기반 모델링 및 렌더링이란?

컴퓨터 그래픽 및 컴퓨터 비전에서 이미지 기반 모델링 및 렌더링(IBMR) 방법은 장면의 2차원 이미지 세트를 사용하여 3차원 모델을 생성한 다음 이 장면에 대한 몇 가지 새로운 보기를 렌더링합니다.

당신이 얻을 수 있는 혜택

(I) 다음 주제에 대한 통찰력 및 검증:

1장: 이미지 기반 모델링 및 렌더링

2장: 2D 컴퓨터 그래픽

3장: 3D 투영

4장: 라이트 필드

5장: 합성 보기

6장: 오토인코더

7장: 구조 텐서

8장: 분할 기반 객체 분류

9장: 2D에서 3D로 변환

10장: 변형 오토인코더

(II) 이미지 기반 모델링 및 렌더링에 대한 대중의 주요 질문에 답합니다.

(III) 다양한 분야에서 이미지 기반 모델링 및 렌더링 사용에 대한 실제 사례.

이 책은 누구를 위한 책인가

전문가, 학부 및 대학원생, 매니아, 취미생활자 및 모든 종류의 이미지 기반 모델링 및 렌더링에 대한 기본 지식이나 정보를 넘어서고 싶은 사람들.

• Language: 한국어
• Publisher: 10 억 지식이 걸립니다 [Korean]
• Release date: May 5, 2024

Book preview

1장: 이미지 기반 모델링 및 렌더링

컴퓨터 그래픽 및 컴퓨터 비전에서 이미지 기반 모델링 및 렌더링(IBMR) 기술은 장면의 2차원 사진 모음을 사용하여 3차원 모델을 생성한 다음 이 장면의 혁신적인 보기를 렌더링합니다.

컴퓨터 그래픽의 전통적인 방법을 사용하여 3차원 기하학적 모델을 만들고 2차원 이미지에 재투영했습니다. 대조적으로, 컴퓨터 비전은 주로 주어진 이미지에서 특징(가장자리, 얼굴 등)을 인식, 그룹화 및 추출한 다음 이를 3차원 정보로 해석하려고 시도하는 것과 관련이 있습니다. 이미지 기반 모델링 및 렌더링을 통해 여러 2차원 사진을 사용하여 수동 모델링 없이 혁신적인 2차원 이미지를 생성할 수 있습니다.

솔리드의 물리적 모델만 평가하는 대신 IBMR 접근 방식은 일반적으로 조명 모델링을 더 강조합니다.

IBMR은 라이트 필드의 매개변수화인 플레노프틱 조명 기능을 기반으로 합니다.

plenoptic 함수는 특정 부피에 포함된 광선을 설명합니다.

그것은 7 가지 차원으로 표현 될 수 있습니다 : 광선은 위치 (x,y,z) , 방향, (\theta ,\phi ) 파장 (\lambda ) 및 시간에 (t) 의해 정의됩니다 P(x,y,z,\theta ,\phi ,\lambda ,t) .

IBMR 접근법은 다른 2차원 이미지 세트에서 새로운 2차원 이미지 세트를 생성하기 위해 플레노픽틱 함수를 근사하려고 시도합니다.

함수의 높은 차원을 감안할 때 실제 기술은 이 숫자를 낮추기 위해 매개변수에 제한을 가합니다(일반적으로 2에서 4로).

뷰 모핑은 그림 전환을 생성합니다.

파노라마 이미징은 별도의 스틸 사진을 모자이크로 결합하여 파노라마를 만듭니다.

Lumigraph는 장면의 조밀한 샘플링에 의존합니다.

공간 조각은 사진 일관성 분석을 기반으로 3차원 모델을 만듭니다.

{챕터 1 종료}

챕터 2: 2D 컴퓨터 그래픽

일반적으로 2차원 모델(예: 2D 기하학적 모델, 텍스트 및 디지털 이미지)에서 컴퓨터에서 디지털 이미지를 생성하고 이러한 유형의 모델에 맞게 조정된 방법을 사용하는 것을 2D 컴퓨터 그래픽이라고 합니다. 모델 자체 또는 모델을 포함하는 컴퓨터 과학 분야를 의미할 수 있습니다.

타이포그래피, 지도 제작, 기술 도면, 광고 등은 모두 2D 컴퓨터 그래픽을 기반으로 구축된 응용 프로그램의 예입니다. 이러한 경우 2차원 모델이 3차원 컴퓨터 그래픽보다 선호되는데, 이는 이미지를 보다 직접적으로 제어할 수 있기 때문입니다. 이는 2차원 이미지가 단순히 실제 물체를 표현하는 것 이상이기 때문입니다. 또한 추가적인 의미론적 가치를 가지고 있습니다(타이포그래피보다 사진에 더 가까운 접근 방식).

2D 컴퓨터 그래픽 기술을 기반으로 한 문서 설명은 전자 출판, 엔지니어링 및 비즈니스를 포함한 많은 분야에서 해당 디지털 이미지보다 훨씬 작을 수 있습니다. 이 표현은 다양한 출력 장치를 수용하기 위해 다양한 해상도로 렌더링될 수 있기 때문에 더 다재다능합니다. 이것이 2D 그래픽 파일이 일반적으로 문서와 이미지를 보관하고 전송하는 데 사용되는 이유입니다.

1950년대의 벡터 그래픽 장치는 최초의 2D 컴퓨터 그래픽을 위한 길을 열었습니다. 그 후 수십 년 동안 래스터 기반 장치가 표준이 되었습니다. 이 분야에서 가장 중요한 두 가지 혁신은 PostScript 언어와 X Window System 프로토콜입니다.

기하학적 모델(벡터 그래픽이라고도 함), 디지털 이미지(래스터 그래픽이라고도 함), 조판할 텍스트(내용, 글꼴 스타일 및 크기, 색상, 위치 및 방향으로 설명됨), 수학 함수 및 방정식 및 기타 유형의 정보를 모두 2D 그래픽 모델에서 조합할 수 있습니다. 평행 이동, 회전 및 크기 조정과 같은 2차원 기하학적 변환을 통해 이러한 부품을 쉽고 정확하게 조작할 수 있습니다. 이미지 픽셀에 색상을 임의로 할당하는 프로세스인 자체 렌더링 방법을 사용하는 개체는 개체 지향 그래픽으로 이미지를 설명합니다. 객체 지향 프로그래밍 패러다임에서 복잡한 모델은 하위 모델에서 구성됩니다.

유클리드 기하학의 원리, 기하학에서 평행 이동은 모든 점을 특정 방향으로 고정된 거리만큼 이동합니다.

강체 운동의 한 가지 유형은 변환입니다. 다른 유형으로는 회전과 반사가 있습니다.

평행 이동을 각 점에 상수 벡터를 추가하는 프로세스로 생각하거나 좌표계의 원점이 이동된 것처럼 생각할 수도 있습니다.

변환 연산자 는 다음과 같은 T_\mathbf{\delta} 연산자입니다. T_\mathbf{\delta} f(\mathbf{v}) = f(\mathbf{v}+\mathbf{\delta}).

v가 상수 벡터인 경우 변환 Tv  는 Tv(p) = p + v로 작동합니다.

이론적으로 T가 평행 이동이고 A가 부분 집합이고 T가 함수인 경우 T에 의한 A의 평행 이동은 T 아래의 A의 이미지입니다.

A by Tv 의 번역은 종종 A + v로 표기됩니다.

유클리드 공간에서의 모든 번역도 아이소메트리입니다. 모든 번역의 집합을 번역 그룹 T라고 하며, 공간 자체(n)와 동형인 유클리드 그룹 E의 일반 하위 그룹입니다. 직교 그룹 O는 T에 의한 몫 그룹 E(n)의 동형입니다.

E(n ) / T ≅ O(n ) 입니다.

선형 변환과 달리 변환은 아핀 변환이며, 변환 연산자는 일반적으로 행렬로 표현되어 동종 좌표가 사용될 때 선형으로 만듭니다.

따라서 4개의 동차 좌표 를 w = (wx, wy, wz, 1)로 사용하여 3차원 벡터 w = (wx, w, y, wz)를 씁니다.

각 동종 벡터 p(동종 좌표)는 객체가 벡터 v로 변환되는 경우 이 변환 행렬을 곱해야 합니다.

T_{\mathbf{v}} = \begin{bmatrix} 1 & 0 & 0 & v_x \\ 0 & 1 & 0 & v_y \\ 0 & 0 & 1 & v_z \\ 0 & 0 & 0 & 1 \end{bmatrix}

곱셈의 곱은 아래 표와 같습니다.

T_{\mathbf{v}} \mathbf{p} = \begin{bmatrix} 1 & 0 & 0 & v_x \\ 0 & 1 & 0 & v_y\\ 0 & 0 & 1 & v_z\\ 0 & 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} p_x \\ p_y \\ p_z \\ 1 \end{bmatrix} = \begin{bmatrix} p_x + v_x \\ p_y + v_y \\ p_z + v_z \\ 1 \end{bmatrix} = \mathbf{p} + \mathbf{v}

평행 이동 행렬의 역행렬을 찾으려면 벡터의 방향을 뒤집기만 하면 됩니다.

T^{-1}_{\mathbf{v}} = T_{-\mathbf{v}} . \!

마찬가지로, 벡터를 곱하면 두 평행 이동 행렬의