Formelsammlung Statistik/ Regressionsrechnung

Methode der kleinsten Quadrate

RSS=\sum _{i=1}^{n}d_{i}^{2}=\sum _{i=1}^{n}(y_{i}-(a+bx_{i}))^{2}\rightarrow min!

bezüglich a und b.

Nach Ausmultiplikation, Ableiten und Nullsetzen

{\frac {\partial S}{\partial a}}=-2\sum _{i=1}^{n}y_{i}+2na+2b\sum _{i=1}^{n}x_{i}=0,

{\frac {\partial S}{\partial b}}=-2\sum _{i=1}^{n}x_{i}y_{i}+2a\sum _{i=1}^{n}x_{i}+2b\sum _{i=1}^{n}x_{i}^{2}=0,

erhält man die gesuchten Regressionskoeffizienten als die Lösungen

b={\frac {\sum _{i=1}^{n}x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{\sum _{i=1}^{n}x_{i}^{2}-n{\bar {x}}^{2}}}\;

und

a={\bar {y}}-b{\bar {x}}\;,

wobei ${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$ .

Mit dem Verschiebungssatz kann man $b$ auch so ermitteln:

b={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}

Schätzungen ŷ

{\hat {y}}_{i}=a+bx_{i}

Residuen r_i :

{\begin{matrix}&y_{i}&=&a+bx_{i}+d_{i}&=&{\hat {y}}_{i}+d_{i}&&\\\Rightarrow &d_{i}&=&y_{i}-{\hat {y}}_{i}&\\\end{matrix}}

Stichprobenvarianz der Residuen:

s^{2}={\frac {1}{n-2}}\sum _{i}d_{i}^{2}

Bestimmtheitsmaß

r^{2}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}={\frac {(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}}))^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}\;,

mit dem Verschiebungssatz :

r^{2}={\frac {(\sum _{i=1}^{n}x_{i}y_{i}-n\cdot {\bar {x}}\cdot {\bar {y}})^{2}}{(\sum _{i=1}^{n}x_{i}^{2}-n\cdot {\bar {x}}^{2})(\sum _{i=1}^{n}y_{i}^{2}-n\cdot {\bar {y}}^{2})}}.

0\leq r^{2}\leq 1

Varianz der Residuen

s^{2}={\frac {1}{n-2}}(1-r^{2})\cdot \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}

Die Methode kann auf weitere Parameter erweitert werden.