광학 흐름: 컴퓨터 비전의 동적 시각적 패턴 탐색

By Fouad Sabry

광 흐름이란 무엇입니까

광 흐름 또는 광학 흐름은 시각적 장면 사이의 상대적인 움직임으로 인해 발생하는 시각적 장면의 물체, 표면 및 가장자리의 명백한 움직임 패턴입니다. 관찰자와 장면. 광학 흐름은 이미지에서 밝기 패턴의 겉보기 이동 속도 분포로 정의할 수도 있습니다.

혜택을 받는 방법

(I) 통찰력 , 그리고 다음 주제에 대한 검증:

1장: 광학 흐름

2장: 최소 제곱

3장: 푸리에 광학

4장: 이미지 분할

5장: 루카스 카나데방법

6장: 혼쉔크 방법

7장: 디지털 이미지 상관 및 추적

8장: 3 치수 재구성

9장: 시각적 주행 거리 측정

10장: 해리스 코너 감지기

(II) 공개 상단에 응답 광학 흐름에 관한 질문.

(III) 여러 분야에서 광학 흐름을 사용하는 실제 사례.

이 책은 누구를 위한 책인가요?

전문가, 학부 및 대학원생, 매니아, 취미생활자 및 모든 종류의 광학 흐름에 대한 기본 지식이나 정보를 넘어서고 싶은 사람들.

• Language: 한국어
• Publisher: 10 억 지식이 걸립니다 [Korean]
• Release date: May 13, 2024

Book preview

1 장 : 광학 흐름

관찰자가 장면을 기준으로 이동할 때 관찰된 물체, 표면 및 가장자리는 광학 흐름 또는 광학 흐름이라고 하는 특정 패턴으로 움직이는 것처럼 보입니다.

1940년대에 미국의 심리학자 제임스 J. 깁슨(James J. Gibson)은 움직이는 동물에게 제공되는 시각적 자극을 설명하기 위해 광학 흐름의 개념을 도입했습니다.

정렬된 이미지 시퀀스는 연속 이미지 속도 또는 개별 이미지 변위의 형태로 모션을 추정하는 데 사용할 수 있습니다. 다양한 광학 흐름 방법의 효능을 비교하기 위해 John L. Barron, David J. Fleet 및 Steven Beauchemin은 포괄적인 분석을 제시합니다. 측정의 정밀도와 밀도가 강조됩니다.

광학 흐름 방법은 시간과 모든 복셀 위치에서 t 촬영되는 두 이미지 프레임 사이의 움직임을 계산하려고 합니다 t+\Delta t .

미분 기법은 Taylor 급수를 사용하여 로컬 함수로 이미지 신호를 근사하기 때문에 소위 불립니다. 즉, 이를 위해 공간과 시간에서 편도함수를 취합니다.

(2D + t) 차원의 경우 (3D 또는 n-D 경우가 유사함) (x,y,t) 강도가있는 I(x,y,t) 위치의 복셀은 두 이미지 프레임 사이에서 이동했으며 광 강도의 변동에 대해 다음과 같은 제한이 주어질 수 있습니다. \Delta x \Delta y \Delta t

I(x,y,t) = I(x+\Delta x, y + \Delta y, t + \Delta t)

이동이 무시할 수 있다고 가정하면 Taylor 시리즈의 이미지 제약 조건을 I(x,y,t) 개발하여 다음을 얻을 수 있습니다.

{\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}

고차 항

선형화는 고차 항을 잘라냄으로써 수행되므로 다음과 같습니다.

\frac{\partial I}{\partial x}\Delta x+\frac{\partial I}{\partial y}\Delta y+\frac{\partial I}{\partial t}\Delta t = 0

또는 로 \Delta t 나누기

{\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}

그 결과

\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial t} = 0

여기서 V_x,V_y 와 x 의 속도 또는 광학 흐름의 와 성분 y 은 이고 I(x,y,t) \tfrac{\partial I}{\partial x} \tfrac{\partial I}{\partial y} 는 해당 방향의 \tfrac{\partial I}{\partial t} 이미지 도함수입니다. (x,y,t)

I_{x} , I_y 이며 I_t 다음과 같은 파생 상품에 대해 작성할 수 있습니다.

따라서:

I_xV_x+I_yV_y=-I_t

또는

{\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}

이 방정식에서 두 개의 변수가 누락되어 있기 때문에 다루기 어렵습니다. 조리개 문제는 광학 흐름 알고리즘의 일반적인 문제입니다. 광학 흐름은 추가 제약 조건에 의해 결정되는 다른 방정식 세트로 계산할 수 있습니다. 실제 흐름의 추정은 모든 광학 흐름 방법에서 추가적인 가정을 필요로 합니다.

위상 상관 관계 - 정규화된 형태의 교차 전력 스펙트럼의 역수

차이 제곱합 또는 절대 차이의 합을 최소화하거나 정규화된 상호상관을 최적화하는 것은 모두 블록 기반 방법의 예입니다.

이미지 신호 및/또는 추구된 유동장의 편도함수와 고차 편도함수는 광학 흐름을 추정하기 위한 미분 방법에서 사용할 수 있습니다.

패치된 이미지와 유동장의 아핀 모델을 사용하는 Lucas-Kanade 접근 방식인 Horn-Schunck 기법은 밝기 불변성 제약 조건의 잔차와 유동장의 원하는 평활도를 특성화하는 특정 정규화 항을 고려하는 함수를 최대화하는 것을 포함합니다.

벅스턴-벅스턴(Buxton-Buxton) 기법은 일련의 이미지에 적용되는 에지 모션 모델을 기반으로 합니다.

Black-Jepson 방법에서와 같이 상관 관계에 의한 거친 광학 흐름

추가 데이터 항 및 평활도 항을 사용하는 Horn-Schunck의 다양한 수정 및 확장은 일반 변분 방법의 광범위한 범주를 구성합니다.

이산 최적화 기법을 사용하여 먼저 검색 공간을 정량화한 다음, 각 픽셀에 라벨을 지정하여 이미지 매칭을 처리하여 결과 변형이 소스 이미지와 대상 이미지 사이의 거리를 최소화하도록 합니다. KITTI와 Sintel은 널리 사용되는 두 가지 벤치마크 데이터 세트입니다.

광학 흐름에서 가장 중요한 연구 분야 중 하나는 모션 추정 및 비디오 압축입니다. 움직임 추정 기술에서 파생 된 조밀 한 운동 장과의 표면적 유사성에도 불구하고, 광학 흐름은 광학 흐름장의 결정뿐만 아니라 장면의 3D 특성과 구조뿐만 아니라 장면에 대한 물체와 관찰자의 3D 운동을 추정하는 데 사용되는 연구입니다.  이러한 추정의 대부분은 이미지 자체에 의존합니다. 야코비 행렬.

공이 화면의 왼쪽 하단에서 오른쪽 상단으로 이동하는 5프레임 시퀀스를 생각해 보십시오. 움직임 추정 방법을 사용하면 시퀀스의 프레임을 분석하여 공이 수직 및 측면 방향으로 이동하고 있음을 추론할 수 있습니다. 시퀀스는 비디오 압축(예: MPEG)에 필요한 만큼 철저하게 설명되었습니다. 그러나 머신 비전에서는 공이 오른쪽으로 움직이는지 관찰자가 오른쪽으로 움직이는지 아는 것이 중요하지만 알려지지 않은 정보입니다. 5개의 이미지 모두에 고정된 패턴이 있는 배경이 있더라도 패턴이 카메라에서 무한히 멀리 떨어져 있을 수 있기 때문에 공이 오른쪽 방향으로 이동하고 있다고 확신할 수 없습니다.

다양한 광학 유량 센서 설계를 사용할 수 있습니다. 광학 흐름 알고리즘을 실행하는 프로세서와 결합된 이미지 센서 칩이 가능한 설정 중 하나입니다. 비전 칩은 대체 설정입니다. 동일한 다이에 이미지 센서와 프로세서를 모두 포함하는 집적 회로입니다. 일반 광학 마우스 센서가 있는 광학 마우스는 이러한 유형의 장치를 잘 보여줍니다. 낮은 전류 소비로 빠른 광학 흐름 계산을 달성하기 위해 처리 회로는 때때로 아날로그 또는 혼합 신호 회로로 구현됩니다.

광학 유량 센서는 광학 흐름에 반응하는 회로를 만드는 데 사용되는 뉴로모픽 엔지니어링의 최근 개발의 이점을 누릴 수 있습니다. 이러한 회로에 대한 영감은 광학 흐름에도 반응하는 생물학적 신경 회로에서 찾을 수 있습니다.

표면에서 마우스의 움직임을 추적하기 위한 주요 감지 구성 요소인 광학 유량 센서는 컴퓨터 광학 마우스에 널리 사용됩니다.

로봇 공학 응용 분야에서 광학 유량 센서는 일반적으로 로봇과 인접 있는 다른 물체 사이의 시각적 움직임 또는 상대적 움직임을 측정하는 데 사용됩니다. 또 다른 활발한 연구 분야는 비행 안정성을 유지하고 장애물을 탐색하는 데 사용하기 위해 무인 항공기(UAV)에 광학 유량 센서를 통합하는 것입니다.

{챕터 1 종료}

챕터 2: 최소 제곱

최소 제곱법은 과결정 시스템(미지수보다 방정식이 더 많은 방정식 집합)의 해를 근사하는 데 사용되는 회귀 분석의 표준 접근 방식입니다. 이것은 각 개별 방정식의 결과에서 만들어진 잔차의 제곱합을 최소화하여 수행됩니다. 잔차는 관측치와 모형에서 제공하는 적합치 간의 차이입니다.

가장 중요한 용도는 데이터 피팅 분야입니다. 문제가 독립 변수(x 변수)에 상당한 불확실성을 갖는 경우 단순 회귀 분석법과 최소제곱법에 문제가 있습니다. 이러한 경우 최소 제곱에 대한 방법 대신 변수 오차 모형을 피팅하는 데 필요한 방법론을 고려할 수 있습니다. [적절한 사례:] 문제가 독립 변수(x 변수)에 상당한 불확실성을 갖는 경우 단순 회귀 및 최소제곱 방법에 문제가 있습니다.

최소제곱법에는 선형 또는 일반 최소제곱법과 비선형 최소제곱의 두 가지 유형의 문제가 있습니다. 두 유형의 구분은 잔차가 모든 미지수에서 선형인지 여부를 기반으로 합니다. 통계적 회귀 분석에서 풀어야 할 문제 중 하나는 선형 최소제곱 문제라고 하며 폐쇄형 해가 있습니다. 반복 미세 조정 방법은 종종 비선형 문제를 해결하는 데 사용됩니다. 각 반복 중에 시스템은 선형 시스템을 따라 대략적으로 모델링되며, 결과적으로 기본 계산은 두 시나리오 모두에서 동일합니다.

종속 변수의 예측에서 독립 변수의 함수로 나타나는 분산과 적합 곡선의 편차는 모두 다항식 최소 제곱으로 설명됩니다.

관측치가 동일성이 자연스러우므로 충분한 통계량과 온화한 조건이 충족되는 지수 집합에서 관측치를 추출한 경우(예: 정규 분포, 지수 분포, 포아송 분포 및 이항 분포의 경우) 표준화된 최소제곱 추정치와 최대우도 추정치가 동일합니다. 이것은 정체성을 자연스럽고 충분한 통계로 삼는 모든 기하급수적 가족의 경우입니다. 최소 제곱 기법은 모멘트 추정기 방법으로 자체적으로 개발될 수 있습니다.