Minsta kvadraters funktionsapproximation

I matematik tillämpar minsta kvadratfunktionsapproximation principen om minsta kvadrater på funktionsapproximation , med hjälp av en viktad summa av andra funktioner . Den bästa approximationen kan definieras som den som minimerar skillnaden mellan den ursprungliga funktionen och approximationen; för ett minsta kvadraters tillvägagångssätt mäts kvaliteten på approximationen i termer av kvadratskillnaderna mellan de två.

Funktionsanalys

Se även: Fourierserier och Generaliserade Fourierserier

En generalisering till approximation av en datamängd är approximationen av en funktion med en summa av andra funktioner, vanligtvis en ortogonal uppsättning :

$f(x)\approx f_{n} (x)=a_{1}\phi _{1}(x)+a_{2}\phi _{2}(x)+\cdots +a_{n}\phi _{n}(x),\$

med uppsättningen funktioner { $\ \phi _{j}(x)}$ en ortonormal mängd över det intressanta intervallet, säg [a, b] : se även Fejérs sats . Koefficienterna { $\ a_{j}$ } väljs för att göra skillnadens storlek || f − f _n || ² så små som möjligt. Till exempel kan storleken, eller normen, för en funktion g ( x ) över intervallet [a, b] definieras av:

$\|g\|=\left(\int _{a}^{b}g^{*} (x)g(x)\,dx\right)^{1/2}$

där '*' betecknar komplext konjugat i fallet med komplexa funktioner. Utvidgningen av Pythagoras sats på detta sätt leder till funktionsrum och begreppet Lebesgue-mått , en idé om "rymden" som är mer allmän än den ursprungliga grunden för euklidisk geometri. { ${\displaystyle \phi _{j}(x)\$ } ϕ uppfyller ortonormalitetsrelationer :

$\int _{a}^{b}\phi _{i}^{*}(x)\phi _ {j}(x)\,dx=\delta _{ij},$

där δ _ij är Kroneckerdeltat . Att ersätta funktionen f _n i dessa ekvationer leder sedan till den n -dimensionella Pythagoras sats :

$\|f_{n}\|^{2}=|a_{1}|^{2}+|a_{2}|^{2}+\cdots +|a_{n}|^{2 }.\,$

Koefficienterna { a _j } som gör || f − f _n || ² så små som möjligt visar sig vara:

$a_{j}=\int _{a}^{b}\phi _{j}^{*}(x)f(x)\,dx.$

Generaliseringen av den n -dimensionella Pythagoras sats till oändligt dimensionella verkliga inre produktrum är känd som Parsevals identitet eller Parsevals ekvation. Särskilda exempel på en sådan representation av en funktion är Fourierserien och den generaliserade Fourierserien .

Vidare diskussion

Använder linjär algebra

$[a,b]$ kan hitta en "bästa" approximation av en annan funktion genom att minimera arean mellan två funktioner, en kontinuerlig funktion $f$ på och en funktion $g\in W$ där $W$ är ett delrum till $C[a,b]$ :

${\text{Area}}=\int _{a}^{b}\left\vert f(x)-g(x)\right\vert \,dx,$

allt inom underutrymmet $W$ . På grund av den frekventa svårigheten att utvärdera integrander som involverar absolut värde, kan man istället definiera

$\int _{a}^{b}[f(x)-g(x)]^{2}\,dx$

som ett adekvat kriterium för att erhålla minsta kvadraters approximation, funktion $g$ , av $f$ med avseende på det inre produktutrymmet $W$ .

Som sådan kan $\lVert fg\rVert ^{2}$ eller på motsvarande sätt $\lVert fg\rVert$ skrivas i vektorform:

$\int _{a}^{b}[f(x)-g(x)]^{2}\,dx=\left\langle fg,fg\right\rangle =\lVert fg\rVert ^ {2}.$

Med andra ord, minsta kvadraters approximation av $f$ är funktionen $g\in {\text{ subspace }}W$ närmast $f$ i termer av det inre produkt $\left\langle f,g\right\rangle$ . Dessutom kan detta appliceras med ett teorem:

Låt $f$ vara kontinuerlig på $C [a,b]$$\displaystyle [a,b]}$ och låt $W$ vara ett ändligt dimensionellt delrum av . Minsta kvadraters approximerande funktion av $f$ med avseende på $W$ ges av

$g=\left\langle f,{\vec {w}}_{1}\right\rangle {\vec {w}}_{1}+\ left\langle f,{\vec {w}}_{2}\right\rangle {\vec {w}}_{2}+\cdots +\left\langle f,{\vec {w}}_{ n}\right\rangle {\vec {w}}_{n},$

där ${\displaystyle B=\{{\vec {w} }_{1},{\vec {w}}_{2},\dots ,{\vec {w}}_{n}\}} är$ en ortonormal grund för $W$ .