힐베르트 투영 정리: 컴퓨터 비전의 차원 잠금 해제

By Fouad Sabry

힐베르트 투영 정리란 무엇입니까

수학에서 힐베르트 투영 정리는 모든 벡터에 대해  힐베르트 공간에서  비어 있지 않은 모든 닫힌 볼록  고유한 벡터가 존재합니다  무엇을 위해  벡터에 대해 최소화됩니다. 즉,  모든

혜택을 받는 방법

(I) 다음 주제에 대한 통찰력 및 검증:

1장: 힐베르트 투영 정리

2장: 바나흐 공간

3장: 내적 공간

4장: 리즈 표현 정리

5장: 자기 수반 연산자

6장: 추적 클래스

7장: 연산자(물리)

8장: 힐베르트 공간

9: 노름(수학)

10장: 볼록 분석

(II) 힐베르트 투영 정리에 관한 대중의 주요 질문에 답합니다.

(III) 실제 세계 다양한 분야에서 힐베르트 투영 정리의 활용 사례를 소개합니다.

이 책은 누구를 위한 책인가요?

전문가, 학부 및 대학원생, 열성 팬, 취미생활자, 모든 종류의 힐베르트 투영 정리에 대한 기본 지식이나 정보를 넘어서고 싶은 사람들.

 

 

• Language: 한국어
• Publisher: 10 억 지식이 걸립니다 [Korean]
• Release date: May 5, 2024

Book preview

1장: 힐베르트 투영 정리

수학에서 힐베르트 투영 정리 는 볼록 분석의 유명한 결과로, x 힐베르트 공간의 H 모든 벡터 와 비어 있지 않은 모든 닫힌 볼록에 {\displaystyle C\subseteq H,} 대해 {\displaystyle m\in C} 벡터에 대해 최소화 {\displaystyle \|c-x\|} 되는 고유한 벡터가 존재 c\in C 한다고 말합니다. {\displaystyle \|m-x\|\leq \|c-x\|} {\displaystyle c\in C.}

최적화 문제의 1차 조건을 고려하면 정리에 대한 통찰력을 얻을 수 있습니다.

부분공간 H 과 점이 C 있는 유한 차원의 실수 힐베르트 공간을 고려합니다 x. . 로 {\displaystyle m\in C} 정의된 함수의 최소화 또는 최솟값( {\displaystyle N:C\to \mathbb {R} } 의 최솟값과 동일)인 {\displaystyle N(c):=\|c-x\|} 경우 {\displaystyle c\mapsto \|c-x\|^{2}} 도함수는 0이어야 합니다. m.

행렬 도함수에 대한 표기법

{\displaystyle {\begin{aligned}\partial \lVert x-c\rVert ^{2}&=\partial \langle c-x,c-x\rangle \\&=2\langle c-x,\partial c\rangle \end{aligned}}}

임의의 접선 방향을 나타내는 {\displaystyle \partial c} 벡터 이기 C 때문에 {\displaystyle m-x} 의 모든 벡터에 직교해야 합니다. {\displaystyle C.}

힐베르트 투영 정리 — 힐베르트 공간의 x 모든 벡터 H 와 비어 있지 않은 모든 닫힌 볼록한 벡터 {\displaystyle C\subseteq H,} 에는 다음과 같은 고유한 벡터가 존재 {\displaystyle m\in C} {\displaystyle \lVert x-m\rVert } 합니다. {\displaystyle \delta :=\inf _{c\in C}\|x-c\|.}

닫힌 부분 집합이 C 의 벡터 부분공간이기도 H 한 경우 이 최소화 기는 m C 다음과 직교하는 {\displaystyle m-x} 고유한 요소입니다. {\displaystyle C.}

최소 포인트가 존재한다는 증거 y

와 {\displaystyle \delta :=\inf _{c\in C}\|x-c\|} 시퀀스 x 사이의 거리를 {\displaystyle C,} {\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} C 제곱 하고 x Let c_{n} 보다 {\displaystyle \delta ^{2}+1/n.} 작거나 같고 n 두 개의 정수가되도록 하면 m 후속 동등성이 유지됩니다.

{\displaystyle \left\|c_{n}-c_{m}\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}-2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle }

그리고

{\displaystyle 4\left\|{\frac {c_{n}+c_{m}}{2}}-x\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}+2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle }

그러므로

{\displaystyle \left\|c_{n}-c_{m}\right\|^{2}=2\left\|c_{n}-x\right\|^{2}+2\left\|c_{m}-x\right\|^{2}-4\left\|{\frac {c_{n}+c_{m}}{2}}-x\right\|^{2}}

(이 방정식은 변의 길이가 길고 {\displaystyle a^{2}=2b^{2}+2c^{2}-4M_{a}^{2}} M_a 구체적으로 삼각형의 꼭짓점이 있는 a, b, 삼각형의 중앙 c, 값 길이에 대한 공식과 동일합니다 {\displaystyle x,c_{m},c_{n}} .)

등식의 처음 두 항에 상한을 부여하고 의 중간이 c_{n} c_{m} 에 속 C 하고 따라서 그것으로부터 더 크거나 같은 거리를 갖 \delta x, 는다는 것을 알아차림으로써 다음을 따릅니다.

{\displaystyle \|c_{n}-c_{m}\|^{2}\;\leq \;2\left(\delta ^{2}+{\frac {1}{n}}\right)+2\left(\delta ^{2}+{\frac {1}{m}}\right)-4\delta ^{2}=2\left({\frac {1}{n}}+{\frac {1}{m}}\right)}

마지막 부등식은 이것이 {\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} 코시 수열임을 증명합니다.

가 완전하기 때문에 C 시퀀스는 거리가 {\displaystyle m\in C,} 최소화 x 된 점으로 수렴 합니다.

\blacksquare

유일무이 m 한 증거

그리고 m_{1} 두 개의 최소 포인트가 되십시오. m_{2}

그러면:

{\displaystyle \|m_{2}-m_{1}\|^{2}=2\|m_{1}-x\|^{2}+2\|m_{2}-x\|^{2}-4\left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}}

에 속하기 {\displaystyle {\frac {m_{1}+m_{2}}{2}}} 때문에 {\displaystyle C,} 우리는 가지고 있습니다 {\displaystyle \left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}\geq \delta ^{2}}

{\displaystyle \|m_{2}-m_{1}\|^{2}\leq 2\delta ^{2}+2\delta ^{2}-4\delta ^{2}=0.}

따라서 {\displaystyle m_{1}=m_{2},} 독창성을 증명합니다.

\blacksquare

가 닫힌 벡터 부분공간일 C 때 최소점의 특성화 증명

의 닫힌 벡터 부분공간이라고 C 가정하고, H. 최소화 기가 m C 모든 {\displaystyle \langle m-x,c\rangle =0} {\displaystyle c\in C.}

조건이 충분하다는 증거 : {\displaystyle z\in C} 모든 {\displaystyle \langle z-x,c\rangle =0} 사람에게 {\displaystyle c\in C.} c\in C {\displaystyle c-z\in C} 그렇게 되 십시오.

{\displaystyle \|c-x\|^{2}=\|(z-x)+(c-z)\|^{2}=\|z-x\|^{2}+\|c-z\|^{2}+2\langle z-x,c-z\rangle =\|z-x\|^{2}+\|c-z\|^{2}}

이는 {\displaystyle \|z-x\|^{2}\leq \|c-x\|^{2}.} 임의적이었기 c\in C {\displaystyle \|z-x\|=\inf _{c\in C}\|c-x\|} 때문에 z 이것이 최소 점임을 증명한다는 것을 의미합니다.

조건이 필요하다는 증거 : {\displaystyle m\in C} 최소 포인트가되도록하십시오.

하자 c\in C 그리고 {\displaystyle t\in \mathbb {R} .} {\displaystyle m+tc\in C,} 보장의 최소한도 m

{\displaystyle \|m-x\|\leq \|(m+tc)-x\|.}

때문에 이렇게

{\displaystyle \|(m+tc)-x\|^{2}-\|m-x\|^{2}=2t\langle m-x,c\rangle +t^{2}\|c\|^{2}}

는 항상 음수가 아니며 {\displaystyle \langle m-x,c\rangle } 실수여야 합니다.

{\displaystyle \langle m-x,c\rangle \neq 0} 그렇다면 지도에는

{\displaystyle f(t):=2t\langle m-x,c\rangle +t^{2}\|c\|^{2}}

최소값이 {\displaystyle t_{0}:=-{\frac {\langle m-x,c\rangle }{\|c\|^{2}}}} 있고 더 나아가 {\displaystyle f\left(t_{0}\right)<0,} 모순이 있습니다.

따라서 {\displaystyle \langle m-x,c\rangle =0.} \blacksquare

의 x=0 C 경우 정리를 증명하는 것으로 충분 합니다. {\displaystyle C-x.}

힐베르트 투영 정리 (case x=0 ) — 힐베르트 공간의 {\displaystyle C\subseteq H} 비어 있지 않은 모든 닫힌 볼록 부분 집합에 대해 H, 다음과 같은 {\displaystyle m\in C} 고유한 벡터가 존재합니다. {\displaystyle \inf _{c\in C}\|c\|=\|m\|.}

{\displaystyle d:=\inf _{c\in C}\|c\|,} {\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} 더욱이, if C 는 {\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d} then \mathbb {R} {\displaystyle \lim _{n\to \infty }c_{n}=m} in H.

증거

C 이 정리에 설명 된대로 하자

{\displaystyle d:=\inf _{c\in C}\|c\|.}

이 정리는 후속 기본형에서 이어집니다.

Lemma 1 — {\displaystyle c_{\bullet }:=\left(c_{n}\right)_{n=1}^{\infty }} 만약에 와 같은 C {\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d} 수열 \mathbb {R} 이 존재 c\in C 한다면 {\displaystyle \lim _{n\to \infty }c_{n}=c} H. , {\displaystyle \|c\|=d.}

Lemma 2 — Lemma 1의 가설을 충족하는 {\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} 시퀀스 가 존재합니다.

Lemma 2와 Lemma 1 c\in C {\displaystyle \|c\|=d.} 은 함께 다음과 같이 Lemma 1을 사용하여 고유성을 증명할 수 있는 일부가 존재한다는 것을 증명합니다.

라고 가정 {\displaystyle b\in C} {\displaystyle \|b\|=d} 하고 시퀀스를 나타냅니다.

{\displaystyle b,c,b,c,b,c,\ldots }

{\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} 짝수 인덱스의 부분 수열 {\displaystyle \left(c_{2n}\right)_{n=1}^{\infty }} 은 상수 시퀀스 이고 {\displaystyle c,c,c,\ldots } 홀수 인덱스의 하위 시퀀스는 상수 시퀀스이기 {\displaystyle \left(c_{2n-1}\right)_{n=1}^{\infty }} 때문에 {\displaystyle b,b,b,\ldots .} 모든 시퀀스 {\displaystyle \left\|c_{n}\right\|=d} {\displaystyle n\in \mathbb {N} ,} {\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=\lim _{n\to \infty }d=d} 가 Lemma 1의 가설을 충족 {\displaystyle \mathbb {R} ,} 한다는 것을 보여줍니다 {\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} .

Lemma 1은 x \in C Cause가 {\displaystyle \lim _{n\to \infty }c_{n}=x} 수 H. 렴하여 {\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} 모든 하위 시퀀스가 그렇게 되는 x, 것과 같은 일부의 존재를 보장합니다.

특히, 하위 시퀀스는 {\displaystyle c,c,c,\ldots } which x, 로 수렴 x=c 합니다(의 한계 H 가 고유하고 이 상수 하위 시퀀스도 로 수렴하기 때문에 c ).

유사하게, x=b 부분 수열이 {\displaystyle b,b,b,\ldots } 둘 다로 수렴 x {\displaystyle b.} {\displaystyle b=c,} 하기 때문에 따라서 정리를 증명합니다.

\blacksquare

명제 — 가 힐베르트 공간의 닫힌 벡터 부분공간인 C H 경우

{\displaystyle H=C\oplus C^{\bot }.}

최소 전역으로서의 표현

힐베르트 투영 정리의 진술과 결론은 아래 나열된 함수의 전역 최솟값으로 작성할 수 있습니다. 또한 표기법은 특정 문장을 단순화하기 위해 사용됩니다.

비어 있지 않은 부분 집합이 주어지 {\displaystyle C\subseteq H} 고 일부는 {\displaystyle x\in H,} 함수를 정의합니다.

{\displaystyle d_{C,x}:C\to [0,\infty )\quad {\text{ by }}c\mapsto \|x-c\|.}

전역 최솟값( {\displaystyle d_{C,x},} 있는 경우)은 m 다음과 같은 {\displaystyle \,\operatorname {domain} d_{C,x}=C\,} 모든 지점입니다.

{\displaystyle d_{C,x}(m)\,\leq \,d_{C,x}(c)\quad {\text{ for all }}c\in C,}

이 경우 {\displaystyle d_{C,x}(m)=\|m-x\|} 함수는 함수의 전역 최소값과 같습니다 {\displaystyle d_{C,x},} .

{\displaystyle \inf _{c\in C}d_{C,x}(c)=\inf _{c\in C}\|x-c\|.}

변환 및 크기 조정 효과

이 전역 최소점이 m 존재하고 고유 할 때 명시 적으로 표시 할 때 {\displaystyle \min(C,x);} (존재하는 경우) {\displaystyle \min(C,x)} 의 정의 속성은 다음과 같습니다.

{\displaystyle \min(C,x)\in C\quad {\text{ and }}\quad \left\|x-\min(C,x)\right\|\leq \|x-c\|\quad {\text{ for all }}c\in C.}

힐베르트 투영 정리는 이 고유한 최솟값이 C 힐베르트 공간의 비어 있지 않은 닫힌 볼록 부분 집합일 때마다 존재한다는 것을 보장합니다.

그러나 이 최소점은 볼록하지 않거나 열린 부분 집합에서도 발생할 수 있습니다. 예를 들어, long is C 가 비어 있지 않은 경우, x \in C {\displaystyle \min(C,x)=x.}

{\displaystyle C\subseteq H} 가 비어 있지 않은 부분 집합이고, s 는 스칼라이고, {\displaystyle x,x_{0}\in H} 는 임의의 벡터인 경우

{\displaystyle \,\min \left(sC+x_{0},sx+x_{0}\right)=s\min(C,x)+x_{0}}

이는 다음을 의미합니다.

{\displaystyle {\begin{alignedat}{6}\min &(sC,sx)&&=s&&\min(C,x)\\\min &(-C,-x)&&=-&&\min(C,x)\\\end{alignedat}}}{\displaystyle {\begin{alignedat}{6}\min \left(C+x_{0},x+x_{0}\right)&=\min(C,x)+x_{0}\\\min \left(C-x_{0},x-x_{0}\right)&=\min(C,x)-x_{0}\\\end{alignedat}}}{\displaystyle {\begin{alignedat}{6}\min &(C,-x){}&&=\min(C+x,0)-x\\\min &(C,0)\;+\;x\;\;\;\;&&=\min(C+x,x)\\\min &(C-x,0){}&&=\min(C,x)-x\\\end{alignedat}}}

예제

다음 반례는 내적을 {\displaystyle A:H\to H} 부여

{\displaystyle \,\min(A(C),A(x))\neq A(\min(C,x)).}

하고, let {\displaystyle H:=\mathbb {R} ^{2}} 및 모든 실수에 대해 {\displaystyle x_{0}:=(0,1),} {\displaystyle s\in \mathbb {R} ,} 원점을 통과 {\displaystyle L_{s}:=\{(x,sx):x\in \mathbb {R} \}} 하는 경사선 s 이 될 수 있는 연속 선형 동형을 보여주 며, 여기서

{\displaystyle \min \left(L_{s},x_{0}\right)={\frac {s}{1+s^{2}}}(1,s).}

실수를 선택하고 r\neq 0 정의 {\displaystyle A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}} 하십시오 {\displaystyle A(x,y):=(rx,y)} (따라서 이 지도는 {\displaystyle x-} 좌표를 변경하지 않고 r 좌표를 그대로 두면서 {\displaystyle y-} 좌표 의 크기를 조정합니다).

그런 다음 {\displaystyle A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}} {\displaystyle A\left(L_{s}\right)=L_{s/r}} {\displaystyle A\left(x_{0}\right)=x_{0},}

{\displaystyle \,\min \left(A\left(L_{s}\right),A\left(x_{0}\right)\right)={\frac {s}{r^{2}+s^{2}}}(1,s)}

를

{\displaystyle A\left(\min \left(L_{s},x_{0}\right)\right)={\frac {s}{1+s^{2}}}\left(r,s\right).}

{\displaystyle C:=L_{s}} s\neq 0 {\displaystyle (r,s)\neq (\pm 1,1)} 만족하는 가역 연속 선형 연산자입니다.

{\displaystyle \,\min(A(C),A\left(x_{0}\right))\neq A\left(\min \left(C,x_{0}\right)\right).}

{챕터 1 종료}

2장: 경제학의 볼록성 – 경제학의 중요한 주제 비볼록성(경제학) – 초등 경제학의 볼록성 가정의 위반 볼록성 주제 목록 베르너 펜첼(Werner Fenchel) – 독일 수학자 노트 ^ a b Rockafellar, R. Tyrrell (1997) [1970]. 볼록 분석. 프린스턴, 뉴저지 : 프린스턴 대학 출판부. ISBN 978-0-691-01586-6. ^ a b c Rockafellar & Wets 2009년, pp. 1–28. ^ a b Zălinescu 2002년, pp. 75–79. ^ Borwein, 조나단; 루이스, 애드리안 (2006). 볼록 분석 및 비선형 최적화: 이론 및 예(2판). 스프링거. 76–77쪽. ISBN 978-0-387-29570-1입니다. ^ a b Boţ, Radu Ioan; 완카, 게르트; Grad, Sorin-Mihai (2009년). 벡터 최적화의 이중성. 스프링거. ISBN 978-3-642-02885-4입니다. ^ Zălinescu 2002년, pp. 106–113. ^ Csetnek, Ernö 로버트 (2010년). 볼록 최적화에서 고전적인 일반화된 interior-point 규칙성 조건의 실패를 극복합니다. 이중성 이론을 최대 단조 연산자의 확대에 적용. 로고스 Verlag 베를린 GmbH. ISBN 978-3-8325-2503-3. ^ Borwein, 조나단; 루이스, 애드리안 (2006). 볼록 분석 및 비선형 최적화: 이론 및 예(2판). 스프링거. ISBN 978-0-387-29570-1입니다. ^ 보이드, 스티븐; Vandenberghe, Lieven (2004년). 볼록 최적화(PDF). 케임브리지 대학 출판부. ISBN 978-0-521-83378-3. 2011년 10월 3일에 확인함. ^ 결론은 {\displaystyle X=\{0\}} 인 경우 즉각적이므로 그렇지 않다고 가정합니다. {\displaystyle x\in X.} 수정 f를 노름으로 바꾸면 {\displaystyle \partial f(x)=\left\{x^{*}\in X^{*}~:~\left\langle x^{*},x\right\rangle -\|x\|\geq \left\langle x^{*},z\right\rangle -\|z\|{ X\right\}의 모든 }}z\에 대해 \text{.} {\displaystyle x^{*}\in \partial f(x)} 이고 r \geq 0 이 실수이면 {\displaystyle z:=rx} 를 사용하면 {\displaystyle \left\langle x^{*},x\right\rangle -\|x\|\geq \left\langle x^{*},rx\right\rangle -\|rx\|=r\left[\left\langle x^{*},x\right\rangle -\|x\|\right],} 여기서 특히 {\displaystyle r:=2} 를 사용하면 {\displaystyle r:= 을 취하는 동안 {\displaystyle x^{*}(x)\geq \|x\|} 가 됩니다.{\frac {1}{2}}} {\displaystyle x^{*}(x)\leq \|x\|} 를 제공하므로 {\displaystyle x^{*}(x)=\|x\|} ; 또한 x\neq 0을 더하면 {\displaystyle x^{*}\left({\frac {x}{\|x\|}} \right)=1,} {\displaystyle \left\|x^{*}\right\|\geq 1.} {\displaystyle \partial f(x)\subseteq \left\{x^{*}\in X^{*}~:~x^{*}(x)=\|x\|\right\},} 는 {\displaystyle \partial f(x)=\partial f(x)\cap \left\{x^{*}\in X^{*}~:~x^{*}(x)=\|x\|\right\},} 이므로 {\displaystyle \partial f(x)=\left\{x^{*}\in X^{*}~:~x^{*}(x)=\|x\|{ \text{ 및 }}\|z\|\geq \left\langle x^{*},z\right\rangle {\text{ for all }}z\in X\right\},} 이는 모든 {\displaystyle x^{*}\in \partial f(x).} 이러한 사실로부터 이제 결론에 도달 할 수 있습니다. ∎ 참고 문헌 Bauschke, Heinz H.; ↑ Combettes, Patrick L. (2017년 2월 28일). 힐베르트 공간에서의 볼록 분석 및 단조 연산자 이론. CMS 수학 책. 스프링거 과학 및 비즈니스 미디어. ISBN 978-3-319-48311-5입니다. OCLC 1037059594. 보이드, 스티븐; ↑ Vandenberghe, Lieven (2004년 3월 8일). 볼록 최적화. 통계 및 확률 수학의 Cambridge 시리즈. 영국 케임브리지 뉴욕: Cambridge University Press. ISBN