Beweisarchiv: Stochastik: Statistik: Eindeutigkeit der Methode der kleinsten Fehlerquadrate

Beweisarchiv: Stochastik

Statistik: Arithmetisches Mittel zweier Zahlen · Eindeutigkeit der Methode der kleinsten Fehlerquadrate

Wahrscheinlichkeitstheorie: Bernstein-Ungleichung · Satz von Moivre-Laplace · Approximationssatz von Stone-Weierstrass

Kombinatorik: Kombinatorische Eigenschaft des Binomialkoeffizienten

Das Minimierungsproblem der Methode der kleinsten Fehlerquadrate besagt, dass es immer exakt eine Lösung gibt.

Beweis

Die Summe $S(M)$ der Fehlerquadrate mit der Modellfunktion $M$ ist $S(M)=\sum _{k=1}^{n}~(y_{k}-M(x_{k}))^{2}$. Dabei sind $x_{k},y_{k}\in \mathbb {R}$ die gemessenen Wertepaare. Seien nun $a_{1},a_{2},...,a_{m}\in \mathbb {R}$ die Parameter von $M$. Dann haben wir zur Minimierung die Matrizengleichung $(\nabla S)^{T}=(0,0,0,...,0)^{T}$ zu lösen, indem wir sie als Gleichungssystem interpretieren. Da jeder Term $(y_{k}-M(x_{k}))^{2}$ quadratisch in den Parametern von $M$ ist, muss $S$ ebenso quadratisch in diesen sein. Folglich ist jede Teilgleichung ${\frac {dS}{da}}=0$ linear und besitzt somit genau eine Lösung. Demnach kann die Matritzengleichung $(\nabla S)^{T}=(0,0,0,...,0)^{T}$ nur genau eine Lösung haben, wie behauptet.

$\Box$

Wikipedia-Verweis

• Methode der kleinsten Quadrate