모션 필드: 컴퓨터 비전의 역학 탐구: 모션 필드 공개

By Fouad Sabry

모션 필드란 무엇입니까

컴퓨터 비전에서 모션 필드는 카메라 이미지에 투영되는 3차원 공간(3 치수)의 이상적인 모션 표현입니다. . 단순화된 카메라 모델이 주어지면 각 지점은  이미지에는 3 치수 장면의 특정 지점이 투영되어 있지만 공간에서 고정된 지점의 투영 위치는 시간에 따라 달라질 수 있습니다. 모션 필드는 공식적으로 모든 이미지 포인트가 고정된 3D 포인트에 해당하는 이미지 위치의 시간 미분으로 정의될 수 있습니다. 이는 모션 필드가 이미지 좌표를 2차원 벡터에 매핑하는 함수로 표현될 수 있음을 의미합니다. 모션 필드는 공식적으로 정의할 수 있다는 점에서 투영된 3D 모션에 대한 이상적인 설명이지만 실제로는 일반적으로 이미지 데이터에서 모션 필드의 근사치를 결정하는 것만 가능합니다.

귀하가 얻을 수 있는 이점

(I) 다음 주제에 대한 통찰력 및 검증:

1장: 모션 필드

2장: 연쇄 법칙

3장: 컬(수학)

4장: 극좌표계

5장: 그린의 정리

6장: 선 요소

7장: 카메라 매트릭스

8장: 핀홀 카메라 모델

9장: 나비에-스토크스 방정식 유도

10장: 상대론적 라그랑지 역학

(II) 운동장에 관한 대중의 주요 질문에 답합니다.

(III) 다양한 분야에서 운동장 사용에 대한 실제 사례 .

이 책은 누구를 위한 책인가요?

전문가, 학부 및 대학원생, 열성팬, 취미생활자, 기본적인 지식이나 정보를 넘어서고 싶은 사람들 모든 종류의 모션 필드.

• Language: 한국어
• Publisher: 10 억 지식이 걸립니다 [Korean]
• Release date: May 12, 2024

Book preview

1 장 : 모션 필드

모션 필드는 3D 모션을 카메라 이미지에 완벽하게 투영하는 것으로, 컴퓨터 비전에서 광범위하게 사용됩니다.

최소한으로 복잡한 카메라 모델을 가정하면 이미지의 각 지점 (y_{{1}},y_{{2}}) 은 3D 장면의 일부 지점의 투영이지만 공간에서 고정된 점의 투영 위치는 시간에 따라 달라질 수 있습니다.

모든 이미지 포인트가 고정된 3D 좌표에 대응한다는 점을 감안할 때, 모션 필드는 모든 이미지 포인트의 이미지 위치의 시간 도함수로 공식적으로 정의될 수 있습니다.

그런 다음 모션 필드는 이미지 좌표를 2차원 벡터로 변환하는 함수로 표현할 수 있습니다.

형식적으로 말하자면, 모션 필드는 투사된 3D 모션에 대한 완벽한 설명이지만, 실제로는 일반적으로 이미지 데이터에서만 모션 필드를 추정할 수 있습니다.

카메라 모델은 (x_{{1}},x_{{2}},x_{{3}}) 몇 가지 매핑 기능에 따라 (y_{{1}},y_{{2}}) 3D 공간의 각 점을 2D 이미지 점에 매핑합니다 {\displaystyle m_{1},m_{2}} .

{\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\begin{pmatrix}m_{1}(x_{1},x_{2},x_{3})\\m_{2}(x_{1},x_{2},x_{3})\end{pmatrix}}}

개체가 서로에 대해 움직이고, 개체가 변형되고, 카메라 자체가 장면에 대해 움직이는 동적 장면의 경우 3D 공간의 고정점이 이미지의 다른 위치에 매핑됩니다. 이전 표현식의 시간 미분의 결과는 다음과 같습니다.

{\displaystyle {\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}(x_{1},x_{2},x_{3})}{dt}}\\[2mm]{\frac {dm_{2}(x_{1},x_{2},x_{3})}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}\,{\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}

여기

{\displaystyle \mathbf {u} ={\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}}

는 운동장이고 벡터 u는 이미지 위치 (y_{{1}},y_{{2}}) 와 시간 t에 따라 달라집니다.

마찬가지로 {\displaystyle \mathbf {x'} ={\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}

는 운동장에 대한 3D 점의 운동을 나타내고,

{\displaystyle \mathbf {u} =\mathbf {M} \,\mathbf {x} '}

여기서 {\mathbf {M}} 는 이미지 위치 종속 2\times 3 행렬입니다.

{\displaystyle \mathbf {M} ={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}}

이 연결에 따르면, 이미지의 고정된 위치에 있는 모션 필드는 의 영 공간에 있는 3D 모션에 대해 불변합니다 {\mathbf {M}} .

예를 들어, 카메라의 초점에 수직인 3D 공간의 모든 모션 구성 요소는 핀홀 카메라에서 누락됩니다.

모션 필드는 \mathbf {v} 다음과 같이 정의됩니다.

{\displaystyle \mathbf {v} =f{\frac {Z\mathbf {V} -V_{z}\mathbf {P} }{Z^{2}}}}

어디

{\displaystyle \mathbf {V} =-\mathbf {T} -\mathbf {\omega } \times \mathbf {P} } .

어디

\mathbf {P} 는 장면의 한 지점이며, 여기서 Z는 해당 장면 지점까지의 거리입니다.

\mathbf {V} 는 카메라와 장면 사이의 상대적 모션이고, \mathbf {T} 는 모션의 병진 구성요소이며,

\mathbf {\omega } 는 운동의 각속도입니다.

위에서 설명한 바와 같이, 모션 필드는 이미지의 각 픽셀에 대한 모션 방향이 결정될 수 있다는 가정에 기초한 이론적 생성입니다. 그러나 실제로 사진 데이터에 대한 측정은 기본 모션 필드의 근사치로만 사용할 수 있습니다. 문제는 대부분의 경우 각 이미지 포인트의 이동성이 고유하며 이미지 데이터에 대한 일종의 이웃 연산을 사용하여 로컬에서 평가해야 한다는 것입니다. 따라서 일부 유형의 이웃의 경우 일반적으로 광학 흐름이라고 하는 근사치를 실제 운동장 대신 활용해야 합니다. 예를 들어, 일정한 강도를 갖는 이웃은 0이 아닌 운동 필드에 해당할 수 있지만, 로컬 이미지 운동을 측정할 수 없기 때문에 이러한 영역의 광학 흐름은 0이 됩니다. 마찬가지로, 광학 흐름은 본질적으로 1차원인 이웃(예: 가장자리 또는 선)이 모든 움직임 필드에 해당할 수 있더라도 동작장의 일반 구성 요소만 기록할 수 있습니다. 이미지 노이즈, 3D 오클루젼 및 시간적 앨리어싱은 모두 모든 광학 흐름 측정 기술에서 자연적으로 발생하는 요소이며 측정된 모션 필드와 실제 모션 필드 간의 불일치를 유발합니다.

요약하자면, 모션 필드는 모든 사진 위치에 대해 모션 필드를 정확하게 측정하는 것이 불가능하기 때문에 광학 흐름의 근사치입니다. 광학 흐름은 여러 가지 방법으로 계산할 수 있으며, 각 방법은 광학 추정치의 정확도를 결정하기 위한 고유한 기준 세트를 고려합니다.

{챕터 1 종료}

제 2 장: 연쇄 법칙

미적분학에서 연쇄 법칙은 f와 g의 도함수와 관련하여 두 개의 미분 가능한 함수 f와 g의 조합의 도함수를 정의하는 데 사용할 수 있는 수학 표현식입니다.

보다 정확하게는,  모든 {\displaystyle h=f\circ g} x {\displaystyle h(x)=f(g(x))} 에 대해 다음과 같은 함수 라면, 이 경우 연쇄 규칙은 라그랑주 표기법을 사용하여 다음과 같습니다. {\displaystyle h'(x)=f'(g(x))g'(x).}

또는, 동등하게,

{\displaystyle h'=(f\circ g)'=(f'\circ g)\cdot g'.}

연쇄 규칙은 라이프니츠가 사용하는 표기법을 사용하여 나타낼 수도 있습니다. 한 변수 z가 다른 변수 y에 종속되고 두 변수 모두 세 번째 변수 x에 종속된 경우(즉, y와 z가 종속 변수임) z도 변수 y를 중개자로 사용하여 x에 종속됩니다. 이 특별한 경우, 연쇄 규칙은 다음과 같이 명시됩니다.

{\displaystyle {\frac {dz}{dx}}={\frac {dz}{dy}}\cdot {\frac {dy}{dx}},}

그리고

{\displaystyle \left.{\frac {dz}{dx}}\right|_{x}=\left.{\frac {dz}{dy}}\right|_{y(x)}\cdot \left.{\frac {dy}{dx}}\right|_{x},}

파생 상품이 가치를 평가해야 하는 시점을 알리기 위한 목적입니다.

통합과 관련하여 대체 규칙은 체인 규칙에 해당하는 규칙입니다.

직관적으로 연쇄 법칙에 따르면 y에 대한 z의 순간 변화율과 x에 대한 y의 순간 변화율을 알고 있으면 x에 대한 z의 순간 변화율을 두 변화율의 곱으로 계산할 수 있습니다. x에 대한 z의 순간 변화율을 알면 z 상대의 순간 변화율을 계산할 수 있습니다.

조지 F.의 말입니다.

자동차가 자전거보다 두 배 빨리 움직일 수 있고, 자전거가 사람이 걷는 것보다 네 배 빨리 달릴 수 있다면, 시몬스는 이렇게 말한다: 그러면 자동차는 사람보다 2배 × 4배 = 8배 더 빨리 달린다."

다음은 이 특정 그림과 체인 규칙 간의 연결을 설명합니다.

z, y 및 x 를 각각 자동차, 자전거 및 걷는 사람의 (가변적인) 위치라고 합니다.

자동차와 자전거의 상대적 위치 변화율도 {\textstyle {\frac {dz}{dy}}=2.} 비슷하게, {\textstyle {\frac {dy}{dx}}=4.} 자동차와 걷는 사람의 상대적 위치가 변하는 속도는 다음과 같습니다.

{\displaystyle {\frac {dz}{dx}}={\frac {dz}{dy}}\cdot {\frac {dy}{dx}}=2\cdot 4=8.}

위치 변화율은 속도의 비율과 같으며 속도는 시간에 대한 위치의 도함수를 취하여 계산됩니다. 이것은 위치 변화율이 1과 같다는 것을 의미합니다. {\displaystyle {\frac {dz}{dx}}={\frac {\frac {dz}{dt}}{\frac {dx}{dt}}},}

또는, 동등하게, {\displaystyle {\frac {dz}{dt}}={\frac {dz}{dx}}\cdot {\frac {dx}{dt}},}

다음은 작동 중인 체인 규칙의 추가 예입니다.

고트프리트 빌헬름 라이프니츠(Gottfried Wilhelm Leibniz)는 연쇄 법칙을 최초로 사용한 사람으로 여겨집니다.

그는 제곱근 함수와 함수의 합성으로 \sqrt{a + bz + cz^2} 의 도함수를 계산하는 데 사용했습니다 {\displaystyle a+bz+cz^{2}\!} .

그가 1676년에