Hilberts projektionssats

Inom matematik är Hilberts projektionssats ett känt resultat av konvex analys som säger att för varje vektor $x$ i ett Hilbertrum $H$ och varje icke-tom stängd konvex $C\ subseteq H,$ det finns en unik vektor $m\in C$ för vilken $\|cx\|$ minimeras över vektorerna $c\in C$ ; det vill säga så att $\|mx\|\leq \|cx\|$ för varje $c\in C.$

Ändlig dimensionell hölje

Viss intuition för satsen kan erhållas genom att överväga första ordningens villkor för optimeringsproblemet.

Betrakta ett ändligt dimensionellt reellt Hilbertrum $H$ med ett delrum $C$ och en punkt $x.$ Om $m\in C$ är en minimerare eller minimipunkt för funktionen $N:C\to \mathbb {R}$ definierad av $N(c):=\|cx\|$ (vilket är samma som minimipunkten för $c\mapsto \| cx\|^{2}$ ), då måste derivatan vara noll vid $m.$

I matrisderivatanteckning

$${\begin{aligned}\partial \lVert xc\rVert ^{2}&= \partial \langle cx,cx\rangle \\&=2\langle cx,\partial c\rangle \end{aligned}}$$

Eftersom $\partial c$ är en vektor i $C$ som representerar en godtycklig tangentriktning, följer det att $mx$ måste vara ortogonal mot varje vektor i $C.$

Påstående

Hilbert projektionssats — För varje vektor $x$ i ett Hilbertrum $H$ och varje icke-tom stängd konvex $C\subseteq H,$ finns det en unik vektor ${ \displaystyle m\in C}$ för vilken $\lVert xm\rVert$ är lika med $\delta :=\inf _{c\in C}\|xc\|.$

Om den slutna delmängden $C$ också är ett vektordelrum av $H$ så är denna minimering $m$ det unika elementet i $C$ så att $mx$ är ortogonal mot $C.$

Detaljerade elementära bevis

Bevis på att en minimipunkt $y$ finns

Låt $\delta :=\inf _{c\in C}\|xc\|$ vara avståndet mellan $x$ och ${\ displaystyle C,}$$\left(c_{n}\right)_{n=1}^{\infty }$ en sekvens i $C$ så att avståndet kvadrat mellan $x$ och $c_{n}$ är mindre än eller lika med $\delta ^{2}+1/n.$ Låt $n$ och $m$ vara två heltal, då är följande likheter sanna:

$$\left\|c_{n}-c_ {m}\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}- 2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle$$

och

$$4\left\|{ \frac {c_{n}+c_{m}}{2}}-x\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\ |c_{m}-x\right\|^{2}+2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle$$

Därför

$${\displaystyle \left\|c_{n$$

(Denna ekvation är samma som formeln $a^{2}=2b^{2}+2c^{2}-4M_{a}^ {2}$ för längden $M_{a}$ av en median i en triangel med sidor av längden $a,b,$ och $c,$ där specifikt , triangelns hörn är ${\displaystyle x,c_{m},c_{n}} )$ .

Genom att ge en övre gräns till de två första termerna av likheten och genom att lägga märke till att mitten av $c_{n}$ och $c_{m}$ tillhör $C$ och har därför ett avstånd större än eller lika med $\delta$ från $x,$ det följer att:

$$\|c_{n}-c_ {m}\|^{2}\;\leq \;2\left(\delta ^{2}+{\frac {1}{n}}\right)+2\left(\delta ^{2} +{\frac {1}{m}}\right)-4\delta ^{2}=2\left({\frac {1}{n}}+{\frac {1}{m}}\right )$$

Den sista olikheten bevisar att $\left(c_{n}\right)_{n=1}^{\infty }$ är en Cauchy-sekvens . Eftersom $C$ är komplett är sekvensen därför konvergent till en punkt $m\in C,$ vars avstånd från $x$ är minimalt. $\blacksquare$

Bevis på att $m$ är unik

Låt $m_{1}$ och $m_{2}$ vara två minimipunkter . Sedan:

$$\|m_{2}-m_ {1}\|^{2}=2\|m_{1}-x\|^{2}+2\|m_{2}-x\|^{2}-4\vänster\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}$$

Eftersom ${\frac {m_{1}+m_{2}}{2}}$ tillhör $C,$ har vi $\left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}\geq \delta ^{2}$ och därför

$$\|m_{2}-m_{1}\|^{2}\leq 2\delta ^{ 2}+2\delta ^{2}-4\delta ^{2}=0.$$

Därför är $m_{1}=m_{2},$ vilket bevisar unikhet. $\blacksquare$

Bevis på karakterisering av minimipunkt när $C$ är ett slutet vektorunderrum

Antag att $C$ är ett slutet vektordelrum av $H.$ Det måste visas att minimizern $m$ är det unika elementet i $C$ så att $\langle mx,c\rangle = 0$ för varje $c\in C.$

Bevis på att villkoret är tillräckligt: ​​Låt $z\in C$ vara sådan att $\langle zx,c\rangle =0$ för alla $c\in C.$ Om $c\in C$ så $cz\in C$ och så

$$\|cx\|^{2}=\|(zx)+(cz)\|^{2}=\|zx\|^{2}+\ |cz\|^{2}+2\langle zx,cz\rangle =\|zx\|^{2}+\|cz\|^{2}$$

vilket innebär att $\|zx\|^{2}\leq \|cx\|^{2}.$ Eftersom $c\in C$ var godtycklig, bevisar detta att $\|zx\|=\inf _{c\in C}\|cx\|$ och så $z$ är en minimipunkt.

Bevis på att villkoret är nödvändigt: Låt $m\in C$ vara minimipunkten. Låt $c\in C$ och $t\in \mathbb {R} .$ Eftersom $m+tc\in C,$ garanterar minimaliteten för ${\displaystyle m} att$$\|mx\|\leq \|(m+tc)-x\|.$ Alltså

$$\|(m+tc)-x\|^ {2}-\|mx\|^{2}=2t\langle mx,c\rangle +t^{2}\|c\|^{2}$$

är alltid icke-negativ och $\langle mx,c\rangle$ måste vara ett reellt tal. Om $\langle mx,c\rangle \neq 0$ så är kartan ${\ displaystyle f(t):=2t\langle mx,c\rangle +t^{2}\|c\|^{2}}$ har ett minimum vid ${\displaystyle t_{0}:=-{\frac {\langle mx,c\rangle }{\|c\|^{2}}}} och dessutom f ( t )$ < $left (t_{0}\right)<0,}$ vilket är en motsägelse. Alltså $\langle mx,c\rangle =0.$$\blacksquare$

Bevis genom reducering till specialfall

Det räcker med att bevisa satsen i fallet $x=0$ eftersom det allmänna fallet följer av påståendet nedan genom att ersätta $C$ med $Cx.$

Hilberts projektionssats (fall $x=0$ ) — För varje icke-tom sluten konvex delmängd $C\subseteq H$ av ett Hilbertrum $H,$ finns det en unik vektor $m\in C$ så att $\inf _{c\in C}\|c\|=\|m\|.$

Dessutom låter $d:=\inf _{c\in C}\|c\|,$ om $\left (c_{n}\right)_{n=1}^{\infty }$ är vilken sekvens som helst i $C$ så att $\lim _{n \to \infty }\left\|c_{n}\right\|=d$ i $\mathbb {R}$ sedan $\lim _{n\to \infty }c_{n}=m$ i $H.$

Bevis

Låt $C$ vara som beskrivs i denna sats och låt

$$d:=\inf _{c\in C}\|c\|.$$

Denna sats kommer att följa av följande lemman.

Lemma 1 — Om $c_{\bullet }:=\left(c_{n}\right)_{n=1}^{\infty }$ är någon sekvens i $C$ så att $\lim _{n\to \infty }\left\|c_{n}\right\|=d$ i $\mathbb {R}$ så finns det några $c\in C$ så att $\lim _{n\to \infty }c_{n }=c$ i $H.$ Dessutom, $\|c\|=d.$

Bevis på Lemma 1

Vektorer involverade i parallellogramlagen: $\|x+y\|^{2}+\|xy\|^{2}=2\|x\|^{2}+2\|y\|^{2}.$ Eftersom $C$ är konvex, om $m,n\in \mathbb {N}$ då ${\frac {1 }{2}}\left(c_{m}+c_{n}\right)\in C$ så att per definition av infimum, ${\displaystyle d \leq \left\|{\frac {1}{2}}\left(c_{m}+c_{n}\right)\right\|,} vilket innebär$ att $4d^{2}\leq \left\|c_{m}+c_{n}\right\|^{2}.$ Enligt parallellogramlagen , $$\left\|c_{m}+c_{n}\right\ |^{2}+\left\|c_{m}-c_{n}\right\|^{2}=2\left\|c_{m}\right\|^{2}+2\left\ |c_{n}\right\|^{2}$$ där $4d^{2}\leq \left\|c_{m}+c_{n}\right\|^{2}$ nu antyder $$4d^{2}+\left\|c_{m}-c_{n}\right \|^{2}~\leq ~2\left\|c_{m}\right\|^{2}+2\left\|c_{n}\right\|^{2}$$ och så $${\begin{aligned}{4}\left\|c_{m}-c_{n }\right\|^{2}~\leq ~2\left\|c_{m}\right\|^{2}+2\left\|c_{n}\right\|^{2}-4d ^{2}\end{aligned}}$$ Antagandet $\lim _{n\to \infty }\left\|c_{n}\right\|=d$ innebär att den högra sidan (RHS) av ovanstående olikhet kan göras godtycklig nära $0$ genom att göra $m$ och $n$ tillräckligt stora. Detsamma måste följaktligen även gälla ojämlikhetens vänstra sida $\left\|c_{m}-c_{n}\right\|^{2}$ och därmed även för ${\displaystyle \left\|c_{m}-c_{n}\right\|,} vilket$ bevisar att $\left(c_{n }\right)_{n=1}^{\infty }$ är en Cauchy-sekvens i $H.$ Eftersom $H$ är komplett, finns det några $c\in H$ så att $\lim _{n\to \infty }c_{n }=c$ i $H.$ Eftersom varje $c_{n}$ tillhör $C,$ som är en sluten delmängd av $H,$ deras gräns $c$ must tillhör också denna slutna delmängd, vilket bevisar att $c\in C.$ Eftersom normen $\|\,\cdot \,\|:H\to \mathbb {R}$ är en kontinuerlig funktion, $\lim _{n\to \infty }c_{n}=c$ i $H$ antyder att $\ lim _{n\to \infty }\left\|c_{n}\right\|=\|c\|$ i $\mathbb {R} .$ Men $\lim _{n\to \infty }\left\|c_{n}\right\|=d$ också gäller (genom antagande) så att $\|c\|=d$ (eftersom gränser i $\mathbb {R}$ är unika). $\blacksquare$

Lemma 2 — Det finns en sekvens ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }} som$ uppfyller hypoteserna i Lemma 1.

Bevis på Lemma 2

Förekomsten av sekvensen följer av definitionen av infimum , som nu visas. Mängden $S:=\{\|c\|:c\in C\}$ är en icke-tom delmängd av icke-negativa reella tal och $d:=\inf _{c\in C}\|c\|=\inf S.$ Låt $n\geq 1$ vara ett heltal. Eftersom $\inf S<d+{\frac {1}{n}},$ finns det några $s_{n}\in S$ så att $s_{n}<d+{\frac {1}{n}}.$ Eftersom $s_{n}\in S,$$d =\inf S\leq s_{n}$ gäller (enligt definitionen av infimum). Alltså $d\leq s_{n}<d+{\frac {1}{n}}$ och nu antyder squeeze-satsen att ${\ displaystyle \lim _{n\to \infty }s_{n}=d}$ i $\mathbb {R} .$ (Denna första del av beviset fungerar för alla icke-tomma delmängder av $S\subseteq \mathbb {R}$ för vilka $d:=\inf _{s\in S}s$ är ändlig). För varje $n\in \mathbb {N} ,$ det faktum att $s_{n}\in S=\{\ |c\|:c\in C\}$ betyder att det finns några $c_{n}\in C$ så att $s_{n}=\left\|c_{n}\right\|.$ Konvergensen $\lim _{n\to \infty }s_{n}= d$ i $\mathbb {R}$ blir alltså ${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\| =d$$\mathbb {R} .$ i $\blacksquare$

Lemma 2 och Lemma 1 tillsammans bevisar att det finns någon $c\in C$ så att $\|c\|=d.$ Lemma 1 kan användas för att bevisa unikhet enligt följande. Antag att $b\in C$ är sådan att $\|b\|=d$ och beteckna sekvensen

$$b,c,b,c,b,c,\ldots$$

genom $\left(c_{n}\right)_{n=1}^{\infty }$ så att följden $\left(c_{2n}\right)_{n=1}^{\infty }$ av jämna index är den konstanta sekvensen $c,c,c,\ldots$ medan underföljd $\left(c_{2n-1}\right)_{n=1}^{\infty }$ av udda index är den konstanta sekvensen $b,b,b,\ldots .$ Eftersom $\left\|c_{n}\right\|=d$ för varje $n\in \mathbb {N} ,$$\lim _{n\to \infty }\left\|c_{n}\right\|=\ lim _{n\to \infty }d=d$ i $\mathbb {R} ,$ som visar att sekvensen $\left(c_{n}\ höger)_{n=1}^{\infty }$ uppfyller hypoteserna i Lemma 1. Lemma 1 garanterar att det finns några $x\in C$ så att ${ \displaystyle \lim _{n\to \infty }c_{n}=x}$ i $H.$ Eftersom $\left(c_{n}\right)_{n=1}^{\infty }$ konvergerar till $x,$ så gör alla dess följder. I synnerhet konvergerar undersekvensen $c,c,c,\ldots$ till $x,$ vilket innebär att $x=c$ (eftersom gränser i $H$ unika och denna konstanta undersekvens konvergerar också till $c$ ). På liknande sätt är $x=b$ eftersom undersekvensen $b,b,b,\ldots$ konvergerar till både $x$ och $b.$ Alltså $b=c,$ vilket bevisar satsen. $\blacksquare$

Konsekvenser

Proposition — Om $C$ är ett slutet vektordelrum av ett Hilbert-rum $H$ så

$$H=C\oplus C^{\bot }.$$

Bevis

Bevis på att $C\cap C^{\bot }=\{0\}$ : Om $c\in C\cap C^{\bot }$ så $0=\langle \,c,\,c \,\rangle =\|c\|^{2},$ vilket innebär $c=0.$$\blacksquare$ Bevis på att $C^{\bot }$ är ett slutet vektorunderrum till $H$ : Låt $P:=\prod _{c\in C}\mathbb {F}$ där $\mathbb {F}$ är det underliggande skalära fältet för ${\ displaystyle H}$ och definiera $${\begin{alignedat}{4}L:\,&H&&\to \,&&P\\&h&&\mapsto \,&&\left( \langle \,h,\,c\,\rangle \right)_{c\in C}\\\end{aligned}}$$ som är kontinuerlig och linjär eftersom detta är sant för var och en av dess koordinater $h\mapsto \langle h,c\rangle .$ Mängden $C^{\bot }=L^{-1}( 0)=L^{-1}\left(\{0\}\right)$ är stängd i $H$ eftersom $\{0\}$ är stängd i $P$ och $L:H\to P$ är kontinuerlig. Kärnan i vilken linjär karta som helst är ett vektordelrum av dess domän, vilket är anledningen till att $C^{\bot }=\ker L$ är ett vektordelrum av $H.$$\blacksquare$ Bevis på att $C+C^{\bot }=H$ : Låt $x\in H.$ Hilberts projektionssats garanterar att det finns en unik $m\in C$ så att ${\ displaystyle \|xm\|\leq \|xc\|{\text{ för alla }}c\in C} (eller$ motsvarande, för alla ${\displaystyle xc\in xC} )$ . Låt $p:=xm$ så att $x=m+p\in C+p$ och det återstår att visa att $p\in C^{\bot }.$ Olikheten ovan kan skrivas om som: $$\|p\|\leq \|z\|\quad {\text{ för alla }}z\in xC.$$ Eftersom $m\in C$ och $C$ är ett vektorrum, $m+C=C$ och $C=- C,$ vilket innebär att $xC=x+C=p+m+C=p+C.$ Den tidigare ojämlikheten blir alltså $$\|p\|\leq \|z\|\quad {\text{ för alla }}z\in p+C.$$ eller motsvarande, $$\|p\|\leq \|p+c\|\quad {\text{ för alla }}c\i C.$$ Men detta sista påstående är sant om och bara om $\langle \,p,c\,\rangle =0$ varje $c\in C.$ Alltså $p\in C^{\bot }.$$\blacksquare$

Egenskaper

Uttryck som ett globalt minimum

Påståendet och slutsatsen av Hilberts projektionssats kan uttryckas i termer av globala minimum av följande funktioner. Deras notation kommer också att användas för att förenkla vissa påståenden.

Givet en icke-tom delmängd $C\subseteq H$ och några $x\in H,$ en funktion

$$d_{C,x}:C\to [0,\infty )\quad {\text{ by }}c\mapsto \|xc\|.$$

En global minimipunkt för $d_{C,x},$ om en sådan finns, är vilken punkt ${\displaystyle m} som helst$ i $\,\operatörsnamn {domän} d_{C,x}=C\,$ så att

$$d_{C,x}(m)\,\leq \,d_{C,x}(c)\quad {\text{ för alla }}c\i C,$$

i vilket fall $d_{C,x}(m)=\|mx\|$ är lika med det globala minimivärdet för funktionen $d_{C,x},$ vilket är:

$$\inf _{c\in C}d_{C,x}(c)=\inf _{c\in C}\|xc\|.$$

Effekter av översättningar och skalningar

När denna globala minimipunkt $m$ finns och är unik, beteckna den med $\min(C,x);$ uttryckligen, de definierande egenskaperna för $\min(C,x)$ (om det finns) är:

$$\min(C,x)\i C\quad {\text{ och }}\quad \left\|x-\min(C,x)\right\|\leq \|xc\|\quad {\text{ för alla }}c\i C.$$

Hilbertprojektionssatsen garanterar att denna unika minimipunkt existerar närhelst $C$ är en icke-tom stängd och konvex delmängd av ett Hilbertrum. En sådan minimipunkt kan emellertid också finnas i icke-konvexa eller icke-slutna delmängder; till exempel, precis så länge som $C$ inte är tom, om $x\in C$ så $\min(C,x)=x.$

Om $C\subseteq H$ är en icke-tom delmängd, $s$ är valfri skalär och $x,x_{0}\in H$ är alla vektorer då

$$\,\min \left(sC+x_{0},sx+x_{0}\right)=s \min(C,x)+x_{0}$$

vilket innebär:

$${\begin{alignedat}{6}\min &(sC, sx)&&=s&&\min(C,x)\\\min &(-C,-x)&&=-&&\min(C,x)\\\end{alignedat}}$$

$${\begin{alignedat}{6} \min \left(C+x_{0},x+x_{0}\right)&=\min(C,x)+x_{0}\\\min \left(C-x_{0},x -x_{0}\right)&=\min(C,x)-x_{0}\\\end{aligned}}$$

$${ \displaystyle {\begin{aligned}{6}\min &(C,-x){}&&=\min(C+x,0)-x\\\min &(C,0)\;+\; x\;\;\;\;&&=\min(C+x,x)\\\min &(Cx,0){}&&=\min(C,x)-x\\\end{aligned} }}$$

Exempel

Följande motexempel visar en kontinuerlig linjär isomorfism $A:H\to H$ för vilken $\,\min(A(C),A(x))\neq A(\min(C,x)).$ Ge $H:=\mathbb {R} ^ {2}$ med punktprodukten , låt $x_{0}:=(0,1),$ och för varje riktig $s\in \mathbb {R} ,$ låt $L_{s}:=\{(x,sx):x\in \mathbb {R} \}$ vara linjen för lutningen $s$ genom origo, där det lätt kan verifieras att ${\displaystyle \min \left(L_{s},x_{0}\right)={\frac {s}{1+s^{2}}}(1,s).} Välj$ ett reellt tal $r\neq 0$ och definiera $A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}$ med $A(x,y):=(rx,y)$ (så den här kartan skalar ${\displaystyle x-}-$ koordinaten med $r$ samtidigt som den lämnar $y-$ koordinat oförändrad). Då $A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}$ en inverterbar kontinuerlig linjär operator som uppfyller $A\left(L_{s}\right)=L_{s/r}$ och $A\left(x_{0}\right)=x_{0 },$ så att $\,\min \left(A\left(L_{s}\right ),A\left(x_{0}\right)\right)={\frac {s}{r^{2}+s^{2}}}(1,s)$ och $A\left(\min \left(L_{s},x_{0}\right)\right)={\frac {s}{1+s^{2}}}\left(r,s \right).$ Följaktligen, om $C:=L_{s}$ med $s\neq 0$ och om ${ \displaystyle (r,s)\neq (\pm 1,1)}$ sedan $\,\min(A(C),A\left(x_{0}\right))\neq A\left(\min \left(C,x_{0}\right)\right).$

Se även

• Ortogonalt komplement
• Ortogonal projektion – Idempotent linjär transformation från ett vektorrum till sig själv Sidor som visar korta beskrivningar av omdirigeringsmål
• Ortogonalitetsprincip – Förutsättning för optimalitet av Bayesiansk estimator
• Riesz representation theorem – Sats om dualen av ett Hilbertrum

Bibliografi

• Rudin, Walter (1987). Verklig och komplex analys (tredje upplagan).
•    Rudin, Walter (1991). Funktionsanalys . Internationell serie i ren och tillämpad matematik. Vol. 8 (andra upplagan). New York, NY: McGraw-Hill Science/Engineering/Math . ISBN 978-0-07-054236-5 . OCLC 21163277 .