컴퓨터 스테레오 비전: 컴퓨터 비전의 깊이 인식 탐구

By Fouad Sabry

컴퓨터 스테레오 비전이란 무엇입니까

컴퓨터 스테레오 비전은 CCD 카메라로 얻은 것과 같은 디지털 이미지에서 3D 정보를 추출하는 것입니다. 두 시점에서 장면에 대한 정보를 비교함으로써 두 패널에 있는 객체의 상대적인 위치를 조사하여 3D 정보를 추출할 수 있습니다. 이는 입체시의 생물학적 과정과 유사합니다.

혜택을 받는 방법

(I) 다음 주제에 대한 통찰력 및 검증:

1장: 컴퓨터 스테레오 비전

2장: 3D 재구성

3장: 활성 윤곽 모델

4장: 해리스 아핀 영역 검출기

5장: 전경 감지

6장: 행렬 체르노프 경계

7장: 유사성

8장: 구조적 유사성

9장: 분산 함수

10장: Fréchet 시작 거리

(II) 컴퓨터 스테레오 비전에 관한 대중의 주요 질문에 답변합니다.

(III) 다양한 분야에서 컴퓨터 스테레오 비전을 사용하는 실제 사례

이 책은 누구를 위한 책인가요?

전문가, 학부 및 대학원생, 매니아, 취미생활자 및 모든 종류의 컴퓨터 스테레오 비전에 대한 기본 지식이나 정보를 넘어서고 싶은 사람들.

 

 

• Language: 한국어
• Publisher: 10 억 지식이 걸립니다 [Korean]
• Release date: Apr 28, 2024

Book preview

1 장 : 컴퓨터 스테레오 비전

컴퓨터 스테레오 비전의 목표는 예를 들어 CCD 카메라로 캡처한 디지털 이미지에서 깊이 맵을 검색하는 것입니다. 장면에서 3D 데이터를 추출하려면 두 패널의 데이터를 비교하고 항목의 상대적 위치를 확인해야 합니다. 입체시의 생물학적 과정은 이와 유사하다.

인간의 양안 시력과 마찬가지로 고전적인 스테레오 비전은 수평 거리로 분리된 두 대의 카메라를 사용하여 장면에서 두 가지 다른 관점을 캡처합니다. 두 사진을 비교함으로써, 두 이미지에서 점들의 수평 위치의 차이, 따라서 그들 사이의 상대적 깊이를 인코딩하는 디스패리티 맵이 생성될 수 있다. 이 차이 맵에는 각 개별 픽셀의 장면 깊이에 반비례하는 값이 포함되어 있습니다.

이미지는 입체 장치에 겹쳐져야 하며, 오른쪽 카메라의 이미지는 관찰자의 오른쪽 눈에 표시되고 왼쪽 카메라의 이미지는 관찰자의 왼쪽 눈에 표시되어야 비교할 수 있습니다.

각 컴퓨터 비전 시스템에는 몇 가지 예비 프로세스가 필수입니다.

이미지로 다른 작업을 수행하려면 먼저 왜곡되지 않아야 하며, 이는 배럴과 접선 왜곡이 모두 제거되었음을 의미합니다. 따라서 보이는 이미지는 완벽한 핀홀 카메라로 투사되는 것과 동일하다는 것이 보장됩니다.

이미지 수정은 나란히 비교하기 위해 이미지를 표준 평면으로 되돌리는 프로세스입니다.

두 사진 사이의 거리는 정보 측정값을 사용하여 줄입니다. 이렇게 하면 두 이미지 사이의 피처 위치를 가장 잘 추정할 수 있는 디스패리티 맵이 생성됩니다.

수신된 디스패리티 맵으로부터 3D 포인트 클라우드가 생성된다. 카메라의 투영 특성을 사용하여 포인트 클라우드를 계산하여 확장 가능한 측정값을 얻을 수 있습니다.

스테레오 매칭 문제의 복잡성을 완화하기 위해 액티브 스테레오 비전은 레이저 또는 구조광을 사용합니다. 액티브 스테레오 비전은 반의어입니다.

구조광 비전(SLV)의 전통적인 방법은 레이저 또는 구조광을 사용하여 프로젝터-카메라 대응을 설정합니다.

패시브 스테레오 비전과 마찬가지로 기존의 액티브 스테레오 비전(ASV)은 구조화 조명 또는 레이저를 사용하지만 카메라-카메라 대응에 대해서만 스테레오 매칭을 수행합니다.

카메라-카메라 및 프로젝터-카메라 대응 모두 하이브리드 방식으로 사용할 수 있습니다.

3D 스테레오 디스플레이는 미디어, 교육 및 제조 분야에서 매우 다양하게 사용됩니다. 자율 시스템 주변의 3D 객체 간의 공간 관계에 대한 정보를 추출하는 것은 로봇 공학과 같은 영역에서 스테레오 비전의 주요 사용 사례입니다. 로봇 공학은 다른 의자 앞의 의자와 같이 주변 물체에 의해 가려질 수 있는 물체를 식별하고 격리하기 위해 깊이 정보에 의존하는 물체 인식과 같은 추가적인 잠재적 용도가 있습니다.

디지털 스테레오 비전은 항공 측량에서 데이터 추출, 등고선 지도 계산, 3D 건물 매핑 및 사진 측량 위성 매핑을 위한 형상 추출 등 여러 가지 과학적 용도로 사용됩니다.

픽셀은 색상 데이터를 기록하는 데 사용되는 작은 사각형입니다. 픽셀 그리드의 좌표(x, y)와 해당 픽셀까지의 거리(z)는 해당 위치를 정의합니다.

약간 다른 각도에서 본 동일한 장면의 두 가지 관점은 입체 비전으로 제공됩니다. 광원 A는 핀홀 카메라 진입점 B와 D를 통해 다음 다이어그램의 이미지 디스플레이 E와 H에 비춥니다.

첨부된 다이어그램에서 거리 BD = BC + CD는 두 카메라 렌즈 사이의 거리입니다. ACB와 BFE의 두 삼각형은 동일하게 보입니다

ACD 및 DGH

{\begin{aligned}{\text{Therefore displacement }}d&=EF+GH\\&=BF({\frac {EF}{BF}}+{\frac {GH}{BF}})\\&=BF({\frac {EF}{BF}}+{\frac {GH}{DG}})\\&=BF({\frac {BC+CD}{AC}})\\&=BF{\frac {BD}{AC}}\\&={\frac {k}{z}}{\text{, where}}\\\end{aligned}}

k = BD BF

각도 거리 z = AC는 카메라 평면에서 피사체까지의 각도 거리를 측정합니다.

두 사진에서 동일한 픽셀 사이의 y축 변위는 카메라가 수평이고 이미지 평면이 동일한 평면에서 평평하다고 가정하면, d={\frac {k}{z}}

여기서 k는 두 카메라의 초점 거리와 렌즈와 사진 사이의 거리의 곱입니다.

두 영상의 깊이 성분은 다음과 z_{1} z_{2} 같습니다.

z_{2}(x,y)=\min \left\{v:v=z_{1}(x,y-{\frac {k}{z_{1}(x,y)}})\right\}z_{1}(x,y)=\min \left\{v:v=z_{2}(x,y+{\frac {k}{z_{2}(x,y)}})\right\}

이 공식은 한 이미지에서 복셀의 폐색을 물체의 표면에 더 가까운 두 번째 이미지의 복셀로 수용합니다.

두 이미지의 평면이 서로 평행하지 않은 경우 평행하게 만들기 위해 이미지 수정이 필요합니다. 이를 달성할 수 있는 한 가지 선형 변환은 다음과 같습니다.

각 이미지는 핀홀 카메라로 촬영하여 평평한 표면에 투사한 것처럼 보이도록 보정이 필요할 수 있습니다.

색조 간의 유사성은 부드러움으로 정량화할 수 있습니다. 비슷한 색상의 픽셀은 별개의 개체가 적은 수의 색상을 갖는다는 생각에 따라 여러 개체가 아닌 단일 개체에 속할 가능성이 더 높습니다.

정보 이론과 복셀의 색상이 점 사이의 거리에 대한 정규 분포에 따라 이웃 복셀의 색상에 영향을 미친다는 전제를 사용하여 위의 방법은 평활도를 평가합니다. 이 모델은 세계에 대한 근사치를 시작점으로 사용합니다.

자동 상관 관계는 데이터가 매끄럽다고 전제하는 또 다른 기술입니다.

부드러움은 이미지의 고유한 특성이라기보다는 세계 자체의 특성입니다. 임의의 점으로 구성된 이미지에는 매끄러움이 없으며 근접성을 기반으로 결론을 도출하는 것은 무의미합니다.

세상의 다른 속성과 마찬가지로 부드러움은 개념으로 배워야 합니다. 인간의 시각 시스템은 이런 식으로 작동하는 것 같습니다.

우리는 이것을 정상 또는 그라고 부릅니다

P(x,\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}

가능도 P는 메시지의 길이 L에 의해 전송되는 정보의 양에 비례합니다. P(x)=2^{{-L(x)}}

L(x)=-\log _{2}{P(x)}

그렇게

L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\log _{2}e

스테레오스코픽 이미지를 비교할 때 상대적인 메시지 길이만 관련이 있습니다. I 또는 차이의 제곱합(SSD)은 이 데이터에서 파생된 정보 측정값입니다. I(x,\mu ,\sigma )={\frac {(x-\mu )^{2}}{\sigma ^{2}}}

어디

L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+I(x,\mu ,\sigma ){\frac {\log _{2}e}{2}}

SSD에서 숫자를 제곱하는 데 상당한 시간이 걸리기 때문에 많은 구현에서 대신 SAD(절대 차이 합계)를 사용하여 정보 측정값을 계산합니다. 정규화된 교차 상관은 다른 접근