Wahrscheinlichkeitstheorie/ Konvergenzsätze

Satz (Gesetz der großen Zahlen von Etemadi):

Es sei $(X_{n})_{n\in \mathbb {N} }$ eine Folge paarweise unabhängiger und gleichverteilter Zufallsvariablen, sodass $E[|X_{1}|]<\infty$. Dann gilt

fast sicher $\lim _{n\to \infty }{\frac {S_{n}}{n}}=\mathbb {E} [X_{1}]$,

wobei

$S_{n}:=X_{1}+\cdots +X_{n}$.

Beweis: Zunächst zerlegen wir $X_{n}=X_{n}^{+}-X_{n}^{-}$, wobei

$X_{n}^{-}:=-X_{n}\mathbf {1} _{X_{n}<0}$ und $X_{n}^{+}:=X_{n}\mathbf {1} _{X_{n}>0}$.

Wir werden Etemadis Gesetz der großen Zahlen für nicht-negative Zufallsvariablen beweisen. Sobald wir das getan haben, können wir allerdings das Gesetz der großen Zahlen durch die obige Zerlegung auch für teils negative Zufallsvariablen beweisen, denn es gilt ja dann, dass die $X_{n}^{+}$ und $X_{n}^{-}$ gleichverteilt, aber auch paarweise unabhängig (wegen z. B. $\mathbb {P} (X_{n}^{+}\in (a,b)\wedge X_{m}^{+}\in (c,d))=\mathbb {P} (X_{n}\in (a,b)\wedge X_{m}\in (c,d))$ für $a,c>0$ und entsprechenden Gleichungen für $a,b<0$) sind, und deren Durchschnitt deswegen gegen $E[X_{1}^{+}]$ resp. $E[X_{1}^{-}]$ konvergiert.

Nun können wir also annehmen, dass jedes $X_{n}$ nicht-negativ ist. Wir setzen $k_{n}:=\lfloor \alpha ^{n}\rfloor$ und $Y_{i}:=X_{i}\mathbf {1} _{X_{i}\leq i}$. Ferner setzen wir

$S_{n}^{*}:=\sum _{k=1}^{n}Y_{k}$.

Die Markov-Chebyshev‒Ungleichung impliziert nun

$\sum _{n=1}^{\infty }\mathbb {P} \left({\frac {S_{k_{n}}^{*}-\mathbb {E} [S_{k_{n}}^{*}]}{k_{n}}}\right)\leq {\frac {1}{\epsilon ^{2}}}\sum _{n=1}^{\infty }{\frac {1}{k_{n}^{2}}}\operatorname {Var} (S_{k_{n}}^{*})$.

Aber ähnlich wie die Variablen $X_{n}^{+}$ und $X_{n}^{-}$ sind auch die Variablen $Y_{n}$ paarweise unabhängig. Daher gilt nach der Bienaymé-Gleichung

$\operatorname {Var} (S_{k_{n}}^{*})=\sum _{j=1}^{k_{n}}\operatorname {Var} (Y_{i})$.

Des weiteren gilt

$\operatorname {Var} (Y_{i})=\mathbb {E} [Y_{i}^{2}]-\mathbb {E} [Y_{i}]^{2}$

und daher

$\sum _{j=1}^{k_{n}}\operatorname {Var} (Y_{i})\leq \sum _{j=1}^{k_{n}}\mathbb {E} [Y_{i}^{2}]$.

Nun benutzen wir die Ungleichung

$2\lfloor x\rfloor \geq x$ für alle $x\geq 1$

und die Vertauschung der Summation, sowie die Formel für die geometrische Reihe, um einzusehen, dass

${\begin{aligned}{\frac {1}{\epsilon ^{2}}}\sum _{n=1}^{\infty }{\frac {1}{k_{n}^{2}}}\operatorname {Var} (S_{k_{n}}^{*})&\leq {\frac {1}{\epsilon ^{2}}}\sum _{i=1}^{\infty }\sum _{n=1}^{\infty }[i\leq k_{n}]{\frac {1}{k_{n}^{2}}}\mathbb {E} [Y_{i}]\\&\leq {\frac {1}{\epsilon ^{2}}}\sum _{i=1}^{\infty }{\frac {1}{i^{2}}}{\frac {4}{1-\alpha }}\mathbb {E} [Y_{i}^{2}]\end{aligned}}$

gilt. Nun gilt aber auch

$\mathbb {E} [Y_{i}^{2}]=\int _{0}^{i}x^{2}dF(x)=\sum _{m=0}^{i-1}\int _{m}^{m+1}x^{2}dF(x)$,

wobei $F$ die kumulative Distributionsfunktion von $X_{1}$ ist. Indem wir jetzt nochmal die Summation vertauschen und daraufhin die Ungleichung

$\sum _{i=m+1}^{\infty }{\frac {1}{i^{2}}}\leq 2\int _{m+1}^{\infty }{\frac {1}{x^{2}}}dx={\frac {2}{m+1}}$

anwenden, erhalten wir

${\frac {1}{\epsilon ^{2}}}{\frac {4}{1-\alpha }}\sum _{i=1}^{\infty }{\frac {1}{i^{2}}}\mathbb {E} [Y_{i}^{2}]\leq {\frac {1}{\epsilon ^{2}}}{\frac {8}{1-\alpha }}\sum _{m=0}^{\infty }{\frac {1}{m+1}}\int _{m}^{m+1}x^{2}dF(x)\leq {\frac {1}{\epsilon ^{2}}}{\frac {8}{1-\alpha }}\int _{0}^{\infty }xdF(x)={\frac {1}{\epsilon ^{2}}}{\frac {8}{1-\alpha }}E[X_{1}]<\infty$.

Daher impliziert der Satz von Borel‒Cantelli, dass

fast sicher $\lim _{n\to \infty }\left|{\frac {S_{k_{n}}^{*}-\mathbb {E} [S_{k_{n}}^{*}]}{k_{n}}}\right|=0$.

Der Satz von der dominierten Konvergenz impliziert jedoch

$\lim _{n\to \infty }\mathbb {E} [Y_{n}]=\lim _{n\to \infty }\int _{0}^{n}xdF(x)=\mathbb {E} [X_{1}]$.

Daher gilt

$\lim _{n\to \infty }{\frac {\mathbb {E} [S_{k_{n}}^{*}]}{k_{n}}}=\mathbb {E} [X_{1}]$,

denn es gilt ohnehin, dass

$\mathbb {E} [Y_{i}]\leq \mathbb {E} [X_{1}]$ und dementsprechend auch ${\frac {\mathbb {E} [S_{m}^{*}]}{m}}\leq \mathbb {E} [X_{1}]$ für alle $m\in \mathbb {N}$,

aber wir können für jedes $\epsilon >0$ ein $N\in \mathbb {N}$ wählen, sodass für alle $n\geq N$

$\mathbb {E} [Y_{n}]\geq \mathbb {E} [X]-\epsilon$

gilt, dann ein $M\in \mathbb {N}$ mit $M>N$ sodass

${\frac {\sum _{k=1}^{N}\mathbb {E} [Y_{k}]}{M}}<\epsilon$,

und schließlich feststellen, dass für $n\geq M$

${\frac {\mathbb {E} [S_{n}^{*}]}{n}}\geq {\frac {(n-M)(\mathbb {E} [X_{1}]-\epsilon )}{n}}-\epsilon$.

Daraus schließen wir, dass

fast sicher $\lim _{n\to \infty }{\frac {S_{k_{n}}^{*}}{k_{n}}}=\mathbb {E} [X_{1}]$.

Um auf das entsprechende Resultat für $S_{n}$ schließen zu können, bemerken wir, dass

${\begin{aligned}\sum _{n=1}^{\infty }\mathbb {P} (X_{n}\neq Y_{n})&=\sum _{n=1}^{\infty }\mathbb {P} (X_{n}>n)=\sum _{n=1}^{\infty }\int _{n}^{\infty }dF(x)=\sum _{n=1}^{\infty }\sum _{k=n}^{\infty }\int _{k}^{k+1}dF(x)\\&=\sum _{k=1}^{\infty }k\int _{k}^{k+1}dF(x)\leq \int _{1}^{\infty }xdF(x)\leq E[X_{1}]\end{aligned}}$,

sodass $X_{n}\neq Y_{n}$ fast sicher nur endlich oft vorkommt, woraus

$\lim _{n\to \infty }{\frac {S_{k_{n}}^{*}}{k_{n}}}=\lim _{n\to \infty }{\frac {S_{k_{n}}}{k_{n}}}$

an fast allen Punkten folgt.

Es sei nun $m\in \mathbb {N}$ beliebig. Dann gilt

${\frac {S_{m}}{m}}$ $\Box$