Deskriptive Statistik, Wahrscheinlichkeitsrechnung, Zufallsvariablen & Verteilungsmodelle

2.1 Diskrete und stetige Zufallsvariablen

Eine Zufallsvariable X ordnet jedem Ergebnis eines Zufallsexperiments eine reelle Zahl zu. Kann X nur endlich oder abzählbar unendlich viele Werte annehmen (z. B. die Anzahl fehlerhafter Teile in einer Stichprobe: 0, 1, 2, ...), heißt sie diskret. Kann X dagegen jeden Wert in einem Intervall annehmen (z. B. die exakte Füllmenge einer Flasche), heißt sie stetig.

Bei diskreten Zufallsvariablen beschreibt die Wahrscheinlichkeitsfunktion f(x) = P(X = x), wie wahrscheinlich jeder einzelne Wert ist. Bei stetigen Zufallsvariablen ist die Wahrscheinlichkeit eines einzelnen exakten Werts stets null; stattdessen beschreibt eine Dichtefunktion f(x), wie sich die Wahrscheinlichkeit über Intervalle verteilt — P(a ≤ X ≤ b) entspricht der Fläche unter f(x) zwischen a und b.

2.2 Die Verteilungsfunktion

Die Verteilungsfunktion F(x) = P(X ≤ x) gibt für jeden Wert x an, mit welcher Wahrscheinlichkeit die Zufallsvariable höchstens x annimmt. Sie ist für diskrete und stetige Zufallsvariablen gleichermaßen definiert und immer monoton wachsend von 0 (für x gegen −∞) bis 1 (für x gegen +∞).

Bei diskreten Zufallsvariablen ist F(x) eine Treppenfunktion, die an jeder möglichen Ausprägung um f(x) nach oben springt: F(x) = Σ f(xi) über alle xi ≤ x. Bei stetigen Zufallsvariablen ist F(x) dagegen eine stetige Kurve, und es gilt der Zusammenhang F(x) = ∫ f(t) dt von −∞ bis x — die Verteilungsfunktion ist die aufsummierte (integrierte) Dichte.

2.3 Erwartungswert

Der Erwartungswert E(X) einer Zufallsvariable beschreibt ihren durchschnittlichen Wert bei (gedanklich) unendlich häufiger Wiederholung des zugrunde liegenden Zufallsexperiments. Bei diskreten Zufallsvariablen berechnet er sich als E(X) = Σ xi · f(xi) — jeder mögliche Wert wird mit seiner Wahrscheinlichkeit gewichtet und aufsummiert. Bei stetigen Zufallsvariablen tritt an die Stelle der Summe ein Integral über x·f(x).

Der Erwartungswert ist linear: Für eine Konstante a und b gilt E(aX + b) = a·E(X) + b, und für zwei Zufallsvariablen X und Y gilt stets E(X+Y) = E(X) + E(Y) — unabhängig davon, ob X und Y voneinander abhängen.

2.4 Varianz und Standardabweichung

Die Varianz Var(X) misst, wie stark die Werte einer Zufallsvariable im Mittel um ihren Erwartungswert streuen: Var(X) = E[(X − μ)²], wobei μ = E(X). Rechnerisch praktischer ist häufig der Verschiebungssatz: Var(X) = E(X²) − [E(X)]², bei dem man nur den Erwartungswert von X und von X² braucht.

Weil die Varianz in quadrierten Einheiten gemessen wird (z. B. €² statt €), zieht man für eine anschauliche Streuungsangabe meist die Wurzel und erhält die Standardabweichung σ = √Var(X), die wieder in der ursprünglichen Einheit von X vorliegt.

2.5 Lineare Transformationen

Wird eine Zufallsvariable X linear transformiert zu Y = aX + b, verändern sich Erwartungswert und Varianz auf vorhersagbare Weise: Der Erwartungswert transformiert sich wie X selbst, E(Y) = a·E(X) + b, während additive Verschiebungen b die Varianz nicht beeinflussen — nur die Streckung mit a geht (quadriert) in die Varianz ein: Var(Y) = a² · Var(X).

Das erklärt z. B., warum eine Umrechnung von Grad Celsius in Grad Fahrenheit (eine lineare Transformation) den Mittelwert verschiebt und streckt, während eine reine Einheitenverschiebung (z. B. 'alle Werte um 10 erhöhen') die Streuung der Daten überhaupt nicht verändert.

2.6 Kovarianz und Linearkombinationen von Zufallsvariablen

Betrachtet man zwei Zufallsvariablen X und Y gemeinsam, misst die Kovarianz Cov(X,Y) = E(XY) − E(X)·E(Y), ob und wie stark die beiden gemeinsam über oder unter ihrem jeweiligen Erwartungswert liegen. Eine positive Kovarianz bedeutet, dass überdurchschnittliche Werte von X tendenziell mit überdurchschnittlichen Werten von Y einhergehen; bei negativer Kovarianz ist es umgekehrt. Sind X und Y unabhängig, folgt stets Cov(X,Y) = 0 (die Umkehrung gilt im Allgemeinen nicht: Cov(X,Y)=0 bedeutet nur Unkorreliertheit, nicht zwingend Unabhängigkeit).

Die Kovarianz wird gebraucht, sobald man die Varianz einer Linearkombination mehrerer Zufallsvariablen bestimmen will: Var(aX + bY) = a²·Var(X) + b²·Var(Y) + 2ab·Cov(X,Y). Im Sonderfall unabhängiger (oder auch nur unkorrelierter) Zufallsvariablen entfällt der Kovarianzterm, und es bleibt Var(aX + bY) = a²·Var(X) + b²·Var(Y) — insbesondere gilt dann für die einfache Summe Var(X+Y) = Var(X) + Var(Y).

Weil der Betrag der Kovarianz von den Einheiten von X und Y abhängt (eine Kovarianz von 6 kann je nach Größenordnung von X und Y viel oder wenig bedeuten), normiert man sie zum Korrelationskoeffizienten ρ(X,Y) = Cov(X,Y) / (√Var(X)·√Var(Y)). Er liegt stets zwischen −1 und +1 und ist damit unabhängig von den Einheiten der beiden Zufallsvariablen vergleichbar — dieselbe Normierungsidee wie beim empirischen Pearson-Korrelationskoeffizienten für Stichprobendaten (siehe Kapitel 4), nur auf theoretischer Ebene für Zufallsvariablen formuliert.

2.7 Tschebyscheff-Ungleichung

Die Tschebyscheff-Ungleichung liefert eine grobe, aber universelle Abschätzung dafür, wie wahrscheinlich große Abweichungen vom Erwartungswert sind — und zwar für jede Zufallsvariable mit endlicher Varianz, unabhängig von ihrer konkreten Verteilung: P(|X − μ| ≥ k·σ) ≤ 1/k² für jedes k > 0.

Für k = 2 folgt daraus z. B., dass höchstens 25% der Werte mehr als zwei Standardabweichungen vom Erwartungswert entfernt liegen können — eine Aussage, die für jede Verteilung gilt, auch wenn man außer μ und σ nichts über sie weiß. Bei bekannter Verteilung (z. B. der Normalverteilung in Kapitel 3) lassen sich meist deutlich schärfere Aussagen treffen.

2.8 Schiefe, Kurtosis und bivariate Zufallsvariablen

Über Erwartungswert und Varianz hinaus beschreiben höhere Momente die Form einer Verteilung genauer. Die Schiefe (Skewness) misst die Asymmetrie über das dritte standardisierte Moment γ1 = E[(X−μ)³]/σ³: Ist sie positiv, hat die Verteilung einen längeren rechten Ausläufer (z. B. Einkommensverteilungen), bei negativer Schiefe einen längeren linken Ausläufer. Die (Exzess-)Kurtosis misst über das vierte standardisierte Moment γ2 = E[(X−μ)⁴]/σ⁴ − 3, wie spitz oder flach eine Verteilung im Vergleich zur Normalverteilung ist — ein Exzess über 0 deutet auf schwerere Ränder (mehr Extremwerte) hin als bei der Normalverteilung, ein Exzess unter 0 auf eine flachere Verteilung.

Betrachtet man zwei Zufallsvariablen X und Y gemeinsam (bivariat), interessiert zusätzlich, wie sie zusammenhängen. Die gemeinsame Wahrscheinlichkeitsfunktion f(x,y) beschreibt, mit welcher Wahrscheinlichkeit bestimmte Kombinationen (X=x, Y=y) auftreten; daraus lassen sich die Randverteilungen von X und Y einzeln zurückgewinnen, indem man über die jeweils andere Variable summiert.

2.9 Bedingter Erwartungswert und bedingte Varianz

Bei zwei gemeinsam betrachteten Zufallsvariablen X und Y interessiert häufig nicht nur der unbedingte Erwartungswert von Y, sondern wie er sich verändert, wenn man bereits weiß, dass X einen bestimmten Wert x angenommen hat. Für diskrete Zufallsvariablen wird dazu zunächst die bedingte Wahrscheinlichkeitsfunktion f(y|x) = f(x,y) / f_X(x) gebildet — dieselbe Logik wie bei der bedingten Wahrscheinlichkeit aus Kapitel 1.5, nur auf Zufallsvariablen übertragen. Der bedingte Erwartungswert E(Y|X=x) = Σy y · f(y|x) ist dann der Erwartungswert von Y, berechnet ausschließlich mit dieser bedingten Verteilung.

Bei stetigen Zufallsvariablen tritt an die Stelle der bedingten Wahrscheinlichkeitsfunktion die bedingte Dichte f(y|x) = f(x,y) / f_X(x) (mit der gemeinsamen Dichte f(x,y) und der Randdichte f_X(x) von X), und der bedingte Erwartungswert wird als Integral gebildet: E(Y|X=x) = ∫ y · f(y|x) dy. In beiden Fällen ist E(Y|X=x) im Allgemeinen eine Funktion von x — für jeden Wert von X kann sich der bedingte Erwartungswert von Y ändern, was genau die Abhängigkeit zwischen X und Y widerspiegelt.

Analog misst die bedingte Varianz Var(Y|X=x) = E[(Y − E(Y|X=x))² | X=x] die Streuung von Y, wenn X=x bereits bekannt ist — also die 'Restunsicherheit', die auch nach Kenntnis von X noch in Y verbleibt. Ein nützlicher Zusammenhang ist die Varianzzerlegung E[Var(Y|X)] + Var[E(Y|X)] = Var(Y): Die Gesamtvarianz von Y setzt sich additiv aus der im Mittel verbleibenden bedingten Varianz und der Varianz der bedingten Erwartungswerte zusammen. Je stärker X und Y zusammenhängen, desto größer ist der zweite Term (die 'durch X erklärte' Streuung) und desto kleiner im Verhältnis der erste.

3.1 Diskrete Gleichverteilung U{1,...,n} und Bernoulli-Verteilung Bernoulli(p)

Bei der diskreten Gleichverteilung sind alle n möglichen Werte einer Zufallsvariable gleich wahrscheinlich, f(x) = 1/n für jeden der n Werte — das Modell für Laplace-Experimente wie Würfeln oder Ziehen aus einem gut gemischten Kartenspiel.

Die Bernoulli-Verteilung modelliert dagegen ein einzelnes Experiment mit genau zwei möglichen Ausgängen, üblicherweise 'Erfolg' (X=1) mit Wahrscheinlichkeit p und 'Misserfolg' (X=0) mit Wahrscheinlichkeit 1−p. Kompakt lässt sich das als f(x) = p^x·(1−p)^(1−x) für x∈{0,1} schreiben. Für sie gilt E(X) = p und Var(X) = p·(1−p) — die Varianz ist am größten bei p = 0,5 (maximale Unsicherheit) und sinkt gegen 0, je näher p an 0 oder 1 liegt.

Zu jeder Verteilung gehört neben f(x) auch die Verteilungsfunktion F(x) = P(X≤x), die kumulierte Wahrscheinlichkeit bis zu einem Wert x. Bei der diskreten Gleichverteilung auf {1,...,n} steigt F(x) treppenförmig in n gleich großen Stufen von 1/n an: F(x) = x/n für x=1,...,n. Die Bernoulli-Verteilung hat eine noch einfachere, zweistufige Treppenfunktion: F(x)=0 für x<0, F(x)=1−p für 0≤x<1, und F(x)=1 für x≥1.

3.2 Binomialverteilung B(n,p)

Wiederholt man ein Bernoulli-Experiment n-mal unabhängig voneinander mit stets gleicher Erfolgswahrscheinlichkeit p, folgt die Anzahl der Erfolge X einer Binomialverteilung B(n,p). Ihre Wahrscheinlichkeitsfunktion lautet f(x) = C(n,x) · p^x · (1−p)^(n−x) — der Binomialkoeffizient zählt, auf wie viele Arten sich x Erfolge auf n Versuche verteilen können.

Für die Binomialverteilung gilt E(X) = n·p und Var(X) = n·p·(1−p). Typische Anwendungsfälle sind die Anzahl fehlerhafter Teile in einer Stichprobe fester Größe (bei Ziehen mit Zurücklegen bzw. aus einer sehr großen Grundgesamtheit) oder die Anzahl der Ja-Stimmen bei n unabhängigen Befragten.

Eine geschlossene Formel ohne Summenzeichen existiert für F(x) nicht — sie wird stets als Summe der Einzelwahrscheinlichkeiten geschrieben: F(x) = Σ_{i=0}^{x} f(i). In der Praxis wird F(x) tabelliert oder per Software berechnet.

3.3 Poisson-Verteilung Poisson(λ)

Die Poisson-Verteilung modelliert die Anzahl seltener Ereignisse in einem festen Zeit- oder Raumintervall, wenn ein konstanter durchschnittlicher Rate-Parameter λ (Lambda) bekannt ist — etwa die Anzahl der Anrufe in einer Hotline pro Stunde oder die Anzahl der Druckfehler pro Buchseite. Ihre Wahrscheinlichkeitsfunktion lautet f(x) = (λ^x · e^(−λ)) / x! für x = 0, 1, 2, ...

Für die Poisson-Verteilung gilt die bemerkenswerte Eigenschaft E(X) = Var(X) = λ — Erwartungswert und Varianz sind identisch. Sie ergibt sich außerdem als Grenzfall der Binomialverteilung, wenn n sehr groß und p sehr klein wird, während n·p konstant bei λ bleibt (siehe 3.7).

Wie bei der Binomialverteilung existiert auch hier keine geschlossene Formel für F(x) ohne Summenzeichen: F(x) = Σ_{i=0}^{x} f(i).

3.4 Hypergeometrische Verteilung H(N,K,n)

Zieht man dagegen ohne Zurücklegen aus einer endlichen Grundgesamtheit vom Umfang N, von denen K die gesuchte Eigenschaft besitzen, folgt die Anzahl X der 'Treffer' unter n gezogenen Elementen einer hypergeometrischen Verteilung: f(x) = [C(K,x) · C(N−K, n−x)] / C(N,n). Anders als bei der Binomialverteilung verändert sich die Trefferwahrscheinlichkeit nach jedem Zug, weil die Grundgesamtheit kleiner wird.

Für sie gilt E(X) = n · K/N — dieselbe Formel wie bei der Binomialverteilung mit p = K/N. Die Varianz ist jedoch kleiner: Var(X) = n · (K/N) · (1−K/N) · (N−n)/(N−1); der zusätzliche Korrekturfaktor (N−n)/(N−1) heißt Endlichkeitskorrektur und wird für große N im Vergleich zu n vernachlässigbar — dann nähert sich die hypergeometrische Verteilung der Binomialverteilung an.

Auch hier lässt sich F(x) nur als Summe schreiben: F(x) = Σ_{i=0}^{x} f(i).

3.5 Stetige Gleichverteilung U(a,b) und Exponentialverteilung Exp(λ)

Bei der stetigen Gleichverteilung auf einem Intervall [a,b] ist die Dichte über das gesamte Intervall konstant, f(x) = 1/(b−a); jeder gleich lange Teilabschnitt des Intervalls ist gleich wahrscheinlich. Es gilt E(X) = (a+b)/2 und Var(X) = (b−a)²/12. Anders als bei diskreten Verteilungen lässt sich F(x) hier als geschlossene Formel angeben, ohne Summenzeichen: F(x) = (x−a)/(b−a) für a≤x≤b (sowie F(x)=0 für x<a und F(x)=1 für x>b) — eine schlichte Gerade, die linear von 0 auf 1 ansteigt.

Die Exponentialverteilung modelliert Wartezeiten zwischen zufälligen Ereignissen bei konstanter Rate λ (verwandt mit der Poisson-Verteilung: Wenn Ereignisse Poisson-verteilt mit Rate λ auftreten, ist die Zeit bis zum nächsten Ereignis exponentialverteilt). Ihre Dichte lautet f(x) = λ·e^(−λx) für x ≥ 0, mit E(X) = 1/λ und Var(X) = 1/λ². Auch ihre Verteilungsfunktion hat eine geschlossene Form: F(x) = 1−e^(−λx) für x≥0 — genau dieser Ausdruck steckt bereits implizit in der Gedächtnislosigkeits-Eigenschaft weiter unten, da P(X>t)=1−F(t)=e^(−λt).

Eine bemerkenswerte Eigenschaft der Exponentialverteilung ist die Gedächtnislosigkeit: Hat man bereits s Zeiteinheiten ohne Ereignis gewartet, ist die Wahrscheinlichkeit, danach noch mindestens t weitere Zeiteinheiten warten zu müssen, genauso groß wie die ursprüngliche Wahrscheinlichkeit, überhaupt mindestens t Zeiteinheiten zu warten — die bereits verstrichene Wartezeit 'zählt nicht'. Formal gilt P(X > s+t | X > s) = P(X > t). Eine zweite nützliche Eigenschaft betrifft zwei unabhängige exponentialverteilte Zufallsvariablen X ~ Exp(λ1) und Y ~ Exp(λ2): Das Minimum min(X,Y) ist wieder exponentialverteilt, und zwar mit der Summenrate λ1+λ2 — anschaulich tritt das erste von zwei unabhängigen Ereignissen mit der Summe der Einzelraten auf.

3.6 Normalverteilung N(μ,σ²)

Die Normalverteilung N(μ,σ²) ist die bekannteste stetige Verteilung: eine symmetrische, glockenförmige Dichte um den Erwartungswert μ mit Streuung σ. Ihre Dichtefunktion lautet f(x) = 1/(σ√(2π)) · e^(−(x−μ)²/(2σ²)). Viele natürliche Messgrößen (Körpergröße, Messfehler, Summen vieler unabhängiger Einflüsse) sind näherungsweise normalverteilt — ein Grund dafür liefert der zentrale Grenzwertsatz in 3.7.

Zur Berechnung von Wahrscheinlichkeiten wird jede Normalverteilung auf die Standardnormalverteilung Z ~ N(0,1) zurückgeführt, indem man standardisiert: Z = (X − μ)/σ. Für Z liegen tabellierte Werte der Verteilungsfunktion Φ(z) vor. Als Faustregel gilt: Etwa 68% aller Werte liegen innerhalb einer Standardabweichung um μ, etwa 95% innerhalb von zwei und etwa 99,7% innerhalb von drei Standardabweichungen. Da f(x) selbst nicht elementar integrierbar ist, wird auch F(x) einer beliebigen Normalverteilung auf die tabellierte Standardnormalverteilung zurückgeführt: F(x) = Φ((x−μ)/σ).

Eine wichtige Eigenschaft der Normalverteilung: Jede Linearkombination unabhängiger normalverteilter Zufallsvariablen ist wieder normalverteilt. Sind X ~ N(μX,σX²) und Y ~ N(μY,σY²) unabhängig, gilt für a,b ∈ ℝ stets aX + bY ~ N(a·μX + b·μY, a²·σX² + b²·σY²) — insbesondere ist damit auch die Summe X+Y wieder normalverteilt, mit Erwartungswert μX+μY und (wegen Unabhängigkeit, also Cov(X,Y)=0 nach 2.8) Varianz σX²+σY².

3.7 Zentraler Grenzwertsatz und Approximationen

Der zentrale Grenzwertsatz erklärt, warum die Normalverteilung in der Praxis so häufig auftritt: Die Summe (bzw. der Mittelwert) vieler unabhängiger, identisch verteilter Zufallsvariablen ist — unabhängig von der Form der zugrunde liegenden Einzelverteilung — für hinreichend großes n näherungsweise normalverteilt, mit Erwartungswert n·μ und Varianz n·σ² (bzw. μ und σ²/n für den Mittelwert).

Diese Eigenschaft erlaubt praktische Näherungen zwischen Verteilungen: Eine Binomialverteilung B(n,p) lässt sich für großes n und moderates p gut durch eine Normalverteilung N(np, np(1−p)) annähern (Faustregel: np(1−p) ≥ 9); ist p dagegen sehr klein und n groß bei konstantem n·p = λ, ist die Poisson-Approximation B(n,p) ≈ Poisson(λ) treffender.

3.8 Studentsche t-Verteilung t(k)

Bei der Standardisierung einer normalverteilten Zufallsvariable (siehe 3.6) wird die tatsächliche Varianz σ² als bekannt vorausgesetzt. In der Praxis kennt man σ² aber meist nicht und muss sie aus einer Stichprobe schätzen — dadurch kommt eine zusätzliche Portion Unsicherheit ins Spiel, die sich in einer etwas breiteren, flacheren Verteilung als der Standardnormalverteilung niederschlägt: der Studentschen t-Verteilung.

Formal entsteht die t-Verteilung als Quotient T = Z / √(X/k) aus einer standardnormalverteilten Zufallsvariable Z und einer davon unabhängigen Chi-Quadrat-verteilten Zufallsvariable X mit k Freiheitsgraden (siehe 3.9). Der Parameter k steuert dabei Form und Streuung: Für kleine k ist die t-Verteilung deutlich schwerer-schwänzig als die Standardnormalverteilung (extreme Werte sind wahrscheinlicher), für wachsendes k nähert sie sich ihr immer weiter an und ist ab etwa k > 30 kaum noch von ihr zu unterscheiden.

Für den Erwartungswert gilt E(T) = 0 (für k > 1) — die t-Verteilung ist wie die Standardnormalverteilung symmetrisch um 0. Die Varianz ist dagegen stets größer als 1: Var(T) = k/(k−2) (für k > 2), was genau die zusätzliche Streuung durch die geschätzte Varianz widerspiegelt.

3.9 Chi-Quadrat-Verteilung χ²(k) und F-Verteilung F(k1,k2)

Die Chi-Quadrat-Verteilung mit k Freiheitsgraden entsteht als Verteilung der Summe der Quadrate von k unabhängigen standardnormalverteilten Zufallsvariablen: χ² = Z1² + ... + Zk². Sie ist rechtsschief, nimmt nur nicht-negative Werte an, und wird u. a. bei Anpassungstests und zur Konstruktion von Konfidenzintervallen für Varianzen verwendet. Es gilt E(χ²) = k und Var(χ²) = 2k.

Die F-Verteilung entsteht als Verhältnis zweier unabhängiger, jeweils durch ihre Freiheitsgrade skalierter Chi-Quadrat-Verteilungen: F = (χ₁²/k1) / (χ₂²/k2), mit Freiheitsgraden k1 (Zähler) und k2 (Nenner). Sie ist die Grundlage z. B. für den Vergleich zweier Varianzen und für die Varianzanalyse (ANOVA).

3.10 Approximationen zwischen Verteilungen und die Stetigkeitskorrektur

Mehrere der in diesem Kapitel behandelten Verteilungen lassen sich unter bestimmten Bedingungen durch eine andere, rechnerisch einfachere Verteilung annähern. Diese Approximationen sind praktisch wertvoll, weil z. B. Binomialwahrscheinlichkeiten mit sehr großem n kaum noch von Hand berechenbar sind, während die Normal- oder Poisson-Näherung mit tabellierten Werten schnell auszuwerten ist. Die folgende Tabelle fasst die vier gebräuchlichsten Approximationen mit ihren Faustregeln zusammen.

Diese Faustregeln sind keine scharfen mathematischen Grenzen, sondern Erfahrungswerte, ab denen der Approximationsfehler in der Praxis vernachlässigbar klein wird — je weiter man sie überschreitet, desto besser die Näherung. Wichtig ist außerdem die Blickrichtung: Die Hypergeometrisch-zu-Binomial-Näherung ersetzt ein Ziehen ohne Zurücklegen durch ein (rechnerisch einfacheres) Ziehen mit Zurücklegen, was gerechtfertigt ist, wenn das Entnehmen einzelner Elemente die Zusammensetzung der Grundgesamtheit kaum verändert.

Wird eine diskrete Verteilung (z. B. Binomial oder Poisson) durch eine stetige Normalverteilung angenähert, entsteht ein systematischer Fehler, weil eine stetige Verteilung jedem einzelnen Punkt die Wahrscheinlichkeit 0 zuordnet, während bei einer diskreten Verteilung P(X=k) durchaus positiv ist. Die Stetigkeitskorrektur behebt dieses Problem, indem sie jeden diskreten Wert k durch das Intervall [k−0,5; k+0,5] ersetzt, bevor die Normalapproximation angewendet wird: P(X ≤ k) ≈ Φ[(k+0,5−μ)/σ] und P(X ≥ k) ≈ 1 − Φ[(k−0,5−μ)/σ]. Für P(X=k) ergibt sich entsprechend P(X=k) ≈ Φ[(k+0,5−μ)/σ] − Φ[(k−0,5−μ)/σ].

4.1 Grundgesamtheit, Stichprobe und Skalenniveaus

Die Grundgesamtheit umfasst alle Untersuchungseinheiten, über die eine Aussage getroffen werden soll (z. B. alle Studierenden einer Hochschule); eine Stichprobe ist eine Teilmenge davon, die tatsächlich erhoben wird, meist weil eine Vollerhebung zu aufwändig oder unmöglich wäre. Aus der Stichprobe werden Kennzahlen berechnet, die die Grundgesamtheit möglichst gut repräsentieren sollen.

Merkmale lassen sich nach ihrem Skalenniveau unterscheiden, was bestimmt, welche Rechenoperationen sinnvoll sind. Nominalskalierte Merkmale (z. B. Geschlecht, Studienfach) lassen sich nur auf Gleichheit prüfen. Ordinalskalierte Merkmale (z. B. Schulnoten) lassen sich zusätzlich ordnen, aber Abstände sind nicht sinnvoll interpretierbar. Intervallskalierte Merkmale (z. B. Temperatur in °C) haben gleichmäßige Abstände, aber keinen absoluten Nullpunkt. Verhältnisskalierte Merkmale (z. B. Gewicht, Einkommen) besitzen zusätzlich einen echten Nullpunkt, wodurch auch Verhältnisse ('doppelt so viel') sinnvoll sind.

4.2 Häufigkeitsverteilungen und Klassierung

Für ein Merkmal mit wenigen unterschiedlichen Ausprägungen lässt sich direkt auszählen, wie oft (absolute Häufigkeit) bzw. welcher Anteil der Stichprobe (relative Häufigkeit) auf jede Ausprägung entfällt. Die relative Häufigkeit ergibt sich als absolute Häufigkeit geteilt durch den Stichprobenumfang n.

Bei stetigen oder sehr feingliedrigen Merkmalen (z. B. exaktes Gehalt in Euro und Cent) wird stattdessen klassiert: Der Wertebereich wird in disjunkte Klassen (Intervalle) eingeteilt, und man zählt, wie viele Beobachtungen in jede Klasse fallen. Die Klassenbreite beeinflusst dabei maßgeblich, wie detailliert oder grob die resultierende Verteilung erscheint — zu breite Klassen verschleiern Struktur, zu schmale Klassen erzeugen ein verrauschtes Bild.

4.3 Empirische Verteilungsfunktion

Analog zur theoretischen Verteilungsfunktion aus Kapitel 2.2 lässt sich auch für eine konkrete Stichprobe eine empirische Verteilungsfunktion F(x) bilden: Sie gibt an, welcher Anteil der Beobachtungen höchstens den Wert x aufweist. Für n geordnete Beobachtungswerte ist F(x) eine Treppenfunktion, die an jedem beobachteten Wert um dessen relative Häufigkeit nach oben springt.

Die empirische Verteilungsfunktion ist die Grundlage vieler weiterer Kennzahlen: Median und Quantile (4.5) lassen sich direkt als Umkehrfunktion von F ablesen, und der Vergleich zweier empirischer Verteilungsfunktionen (z. B. verschiedener Gruppen) zeigt anschaulich, welche Gruppe tendenziell höhere oder niedrigere Werte aufweist.

4.4 Lagemaße: Modus, Median und Mittelwerte

Lagemaße fassen zusammen, wo sich die 'Mitte' einer Verteilung befindet. Der Modus ist der am häufigsten auftretende Wert und als einziges Lagemaß auch für nominalskalierte Daten sinnvoll definiert. Der Median ist der Wert, der die der Größe nach sortierten Beobachtungen in zwei gleich große Hälften teilt; er ist robust gegenüber Ausreißern, weil extreme Werte seine Position kaum verändern.

Das arithmetische Mittel x̄ = (1/n)·Σxi ist das bekannteste Lagemaß, reagiert aber empfindlich auf Ausreißer, da jeder einzelne Wert direkt eingeht. Bei stark schiefen Verteilungen (z. B. Einkommen) weicht das arithmetische Mittel deshalb oft deutlich vom Median ab. Für Verhältniszahlen (z. B. Wachstumsraten, Geschwindigkeiten über gleiche Strecken) ist statt des arithmetischen häufig das geometrische bzw. harmonische Mittel das angemessenere Lagemaß.

4.5 Quantile, Spannweite und Interquartilsabstand

Ein p-Quantil ist derjenige Wert, unterhalb dessen genau ein Anteil p der Beobachtungen liegt; der Median ist damit das 0,5-Quantil. Besonders gebräuchlich sind die Quartile: das untere Quartil Q1 (0,25-Quantil), der Median (0,5-Quantil) und das obere Quartil Q3 (0,75-Quantil), die eine Verteilung in vier gleich große Teile zerlegen.

Die Spannweite (Maximum minus Minimum) ist das einfachste Streuungsmaß, aber sehr anfällig für einzelne Ausreißer. Robuster ist der Interquartilsabstand IQR = Q3 − Q1, der den Bereich beschreibt, in dem die 'mittleren' 50% der Daten liegen, ohne von extremen Rand-Beobachtungen beeinflusst zu werden.

4.6 Streuungsmaße: Varianz und Standardabweichung

Analog zur Varianz einer Zufallsvariable (Kapitel 2.4) misst die Varianz s² die durchschnittliche quadrierte Abweichung der Beobachtungen vom arithmetischen Mittel: s² = (1/n) · Σ(xi − x̄)². Sie ist damit der Mittelwert der quadrierten Abweichungen — je weiter die Beobachtungen im Schnitt vom arithmetischen Mittel entfernt liegen, desto größer ist s².

Rechnerisch oft bequemer ist der Verschiebungssatz: s² = (1/n · Σ xi²) − x̄², der ohne vorheriges Bilden der einzelnen Abweichungen (xi − x̄) auskommt. Die Stichprobenstandardabweichung s = √s² liegt wieder in der ursprünglichen Einheit der Daten vor und ist damit meist anschaulicher interpretierbar als die Varianz selbst.

Eine einfachere, aber seltener verwendete Alternative ist die mittlere absolute Abweichung d(c) = (1/n)·Σ|xi − c|, die statt der quadrierten die absoluten Abweichungen von einem Bezugspunkt c mittelt. Meist wählt man c = x̄ (Abweichung vom arithmetischen Mittel) oder c = Median (der Wert, der d(c) unter allen möglichen Bezugspunkten minimiert, und der wegen fehlender Quadrierung robuster gegenüber Ausreißern ist als die Varianz).

4.7 Lage- und Streuungsmaße bei klassierten Daten

Liegen die Daten nur noch als Häufigkeitstabelle mit Klassen vor (siehe 4.2) — etwa weil bereits klassiert erhoben oder veröffentlicht wurde —, sind die exakten Einzelwerte xi nicht mehr bekannt. Als Notlösung wird jede Klasse i (mit unterer Grenze ai und oberer Grenze bi) durch ihre Klassenmitte mi = (ai+bi)/2 repräsentiert, unter der Annahme einer annähernden Gleichverteilung der Werte innerhalb der Klasse. Die absolute Klassenhäufigkeit hi gibt an, wie viele der n Beobachtungen in Klasse i fallen, die relative Klassenhäufigkeit ist fi = hi/n.

Mittelwert und Varianz aus 4.4 und 4.6 übertragen sich direkt, indem xi durch die Klassenmitte mi und die einzelne Beobachtung durch die Klassenhäufigkeit hi ersetzt wird — beide bleiben Näherungen, die umso genauer werden, je schmaler die Klassen sind. Für den Median reicht die Klassenmitte allein nicht aus, weil er von der Position innerhalb der Klasse abhängt: Zunächst wird die Medianklasse bestimmt (die Klasse, in der die kumulierte relative Häufigkeit F erstmals 0,5 erreicht oder überschreitet), anschließend wird linear interpoliert, unter der Annahme, dass sich die Beobachtungen der Medianklasse gleichmäßig über deren Breite Δm verteilen.

4.8 Relative Streuungsmaße und gepoolte Datensätze

Um die Streuung zweier Datensätze mit unterschiedlichem Niveau (z. B. Gehälter in verschiedenen Ländern mit unterschiedlicher Kaufkraft) fair zu vergleichen, normiert der Variationskoeffizient VK = s / x̄ die Standardabweichung am arithmetischen Mittel — er ist dimensionslos und damit unabhängig von der Einheit oder dem Niveau der Ursprungsdaten.

Der Variationskoeffizient erbt allerdings die Ausreißerempfindlichkeit von s und x̄. Eine robustere Alternative ist der robuste Quartilsdispersionskoeffizient vr = QA / x0,5, der die halbe Interquartilsspanne QA = (Q3−Q1)/2 auf den Median x0,5 statt auf Streuung und arithmetisches Mittel bezieht — dieselbe Grundidee wie beim Variationskoeffizienten (relative statt absolute Streuung), aber mit robusten statt ausreißeranfälligen Bausteinen.

Werden mehrere Teilstichproben zu einem Gesamtdatensatz zusammengefasst (gepoolt), lässt sich der Gesamtmittelwert als gewichteter Durchschnitt der Teilmittelwerte berechnen; die Gesamtvarianz setzt sich dagegen sowohl aus der durchschnittlichen Streuung innerhalb der Teilgruppen als auch aus der Streuung der Teilgruppen-Mittelwerte untereinander zusammen — zwei Gruppen mit identischer interner Streuung, aber stark unterschiedlichen Mittelwerten, erzeugen insgesamt eine höhere Gesamtvarianz.

4.9 Boxplot, Histogramm und Fünf-Zahlen-Zusammenfassung

Die Fünf-Zahlen-Zusammenfassung fasst eine Verteilung kompakt über Minimum, Q1, Median, Q3 und Maximum zusammen. Grafisch wird sie im Boxplot dargestellt: eine Box von Q1 bis Q3 mit einer Linie beim Median, sowie 'Whiskers', die bis zum letzten Wert innerhalb des 1,5-fachen IQR reichen; Werte außerhalb dieses Bereichs werden häufig einzeln als potenzielle Ausreißer markiert.

Das Histogramm stellt dagegen klassierte Häufigkeiten (siehe 4.2) als aneinandergrenzende Balken dar, deren Höhe (bzw. bei ungleichen Klassenbreiten: Fläche) proportional zur Häufigkeit der jeweiligen Klasse ist. Während der Boxplot besonders gut zum schnellen Vergleich mehrerer Gruppen geeignet ist, zeigt das Histogramm die Form der Verteilung (z. B. Schiefe oder mehrere Gipfel) deutlich detaillierter.

4.10 Lorenzkurve und Gini-Koeffizient

Die Lorenzkurve stellt dar, welcher kumulierte Anteil einer Größe (z. B. Einkommen) auf welchen kumulierten Anteil der Bevölkerung entfällt, sortiert vom kleinsten zum größten Wert. Bei vollkommener Gleichverteilung fällt die Lorenzkurve mit der Diagonalen zusammen (die untersten 20% der Bevölkerung besitzen auch genau 20% des Einkommens); je stärker sie unterhalb der Diagonalen durchhängt, desto ungleicher ist die Verteilung.

Der Gini-Koeffizient verdichtet diese grafische Information zu einer einzigen Zahl zwischen 0 und 1: das Verhältnis der Fläche zwischen Diagonale und Lorenzkurve zur gesamten Fläche unter der Diagonalen. Ein Gini-Koeffizient von 0 bedeutet vollkommene Gleichverteilung, ein Wert nahe 1 maximale Ungleichverteilung (eine einzelne Einheit besitzt praktisch alles).

4.11 Zusammenhangsmaße: Kontingenz, Kovarianz und Korrelation

Für zwei nominalskalierte Merkmale lässt sich der Zusammenhang über eine Kontingenztabelle (Kreuztabelle der gemeinsamen Häufigkeiten) untersuchen; darauf aufbauende Maße wie Cramérs V verdichten die Stärke des Zusammenhangs zu einer einzigen Zahl zwischen 0 (kein Zusammenhang) und 1 (perfekter Zusammenhang).

Für zwei metrisch skalierte Merkmale X und Y misst die Kovarianz Cov(X,Y) = (1/n)·Σ(xi−x̄)(yi−ȳ), ob hohe X-Werte tendenziell mit hohen oder niedrigen Y-Werten einhergehen. Weil ihr Vorzeichen zwar die Richtung, ihr Betrag aber keine direkt interpretierbare Stärke des Zusammenhangs anzeigt (er hängt von den Einheiten ab), normiert man sie zum Korrelationskoeffizienten nach Pearson: r = Cov(X,Y) / (sx · sy), der stets zwischen −1 und +1 liegt und damit unabhängig von den Einheiten der Ausgangsdaten vergleichbar ist.

4.12 Spezielle Mittelwerte: gewichtetes arithmetisches und harmonisches Mittel

Nicht jede Beobachtung soll bei der Mittelwertbildung immer gleich stark zählen. Das gewichtete arithmetische Mittel x̄_w = (Σ wi·xi) / (Σ wi) berücksichtigt, dass einzelne Werte xi unterschiedliches Gewicht wi haben — etwa wenn sich eine Durchschnittsnote aus Teilnoten mit unterschiedlicher Punktzahl zusammensetzt, oder ein Preisindex aus mehreren Gütergruppen mit unterschiedlichem Budgetanteil gebildet wird. Das gewöhnliche (ungewichtete) arithmetische Mittel aus 4.4 ist der Spezialfall, in dem alle Gewichte gleich groß sind.

Das harmonische Mittel H = n / Σ(1/xi) (bzw. gewichtet: H_w = (Σ wi) / (Σ wi/xi)) ist dagegen das passende Lagemaß, wenn die Werte xi selbst Verhältniszahlen (Quotienten) sind und die zugehörigen BEZUGSGRÖSSEN im Zähler konstant gehalten werden sollen. Die Faustregel lautet: Ist bei mehreren Teilstrecken/-perioden die Größe im NENNER der Verhältniszahl (z. B. die Zeit bei km/h) konstant, verwendet man das arithmetische Mittel; ist dagegen die Größe im ZÄHLER konstant (z. B. die Strecke bei km/h), ist das harmonische Mittel das korrekte Maß.

Klassisches Beispiel: Fährt ein Fahrzeug zwei gleich lange Streckenabschnitte mit unterschiedlicher Geschwindigkeit, ist die tatsächliche Durchschnittsgeschwindigkeit über die GESAMTSTRECKE das harmonische Mittel der beiden Einzelgeschwindigkeiten — nicht das arithmetische Mittel, das die kürzere (schnellere) Fahrzeit implizit überbewerten würde. Fährt das Fahrzeug dagegen zwei gleich LANGE ZEITSPANNEN mit unterschiedlicher Geschwindigkeit, ist das arithmetische Mittel korrekt. Dasselbe Prinzip gilt bei der Aggregation von Preisindizes: Werden Preisrelationen mit konstanten (fixierten) Mengen des Basisjahres gewichtet, führt dies auf ein gewichtetes arithmetisches Mittel (Laspeyres-Typ); werden sie dagegen mit den Mengen der Berichtsperiode gewichtet, führt dies auf ein gewichtetes harmonisches Mittel (Paasche-Typ).

4.13 Rangkorrelation: Spearman und Kendall

Der Pearson-Korrelationskoeffizient aus 4.11 setzt metrisch skalierte Daten und einen (näherungsweise) linearen Zusammenhang voraus. Für ordinalskalierte Merkmale (z. B. Kundenzufriedenheit auf einer Rangskala) oder bei monotonen, aber nicht-linearen Zusammenhängen sind Rangkorrelationskoeffizienten die geeignetere Wahl, weil sie nur auf den RÄNGEN der Beobachtungen beruhen, nicht auf den exakten metrischen Abständen.

Der Spearmansche Rangkorrelationskoeffizient rs ersetzt zunächst jede Beobachtung von X und Y durch ihren Rang (1 = kleinster Wert) und berechnet dann formal den Pearson-Korrelationskoeffizienten dieser Ränge. Gibt es keine Bindungen (keine zwei gleichen Werte innerhalb eines Merkmals), vereinfacht sich die Formel zu rs = 1 − [6·Σdi²] / [n(n²−1)], wobei di = Rang(xi) − Rang(yi) die Rangdifferenz jeder Beobachtung ist. Treten Bindungen auf (mehrere gleiche Werte), erhalten alle gebundenen Beobachtungen den Durchschnittsrang (Durchschnitt der Ränge, die sie ohne Bindung belegt hätten) — die vereinfachte d²-Formel ist dann nur noch näherungsweise korrekt, und man sollte rs stattdessen exakt als Pearson-Korrelation der (mit Durchschnittsrängen versehenen) Ränge berechnen.

Der Kendallsche Rangkorrelationskoeffizient τ verfolgt einen anderen Ansatz: Er betrachtet alle n(n−1)/2 möglichen Beobachtungspaare und zählt, wie viele davon konkordant sind (beide Merkmale ändern sich in dieselbe Richtung: xi<xj UND yi<yj, oder xi>xj UND yi>yj) und wie viele diskordant (die Merkmale ändern sich gegenläufig). Für Daten ohne Bindungen gilt τ = (Anzahl konkordanter Paare − Anzahl diskordanter Paare) / [n(n−1)/2]. Beide Koeffizienten liegen zwischen −1 und +1 und sind bei perfekter monotoner Übereinstimmung (nicht notwendig Linearität) gleich ±1 — τ ist dabei typischerweise betragsmäßig kleiner als rs bei denselben Daten, beide Maße sind aber als Konzept nicht direkt numerisch vergleichbar.

4.14 Kontingenzanalyse: quadratische Kontingenz und Kontingenzkoeffizienten

Für zwei nominalskalierte Merkmale mit einer Kontingenztabelle (Kreuztabelle) der beobachteten Häufigkeiten nij lässt sich prüfen, wie stark sie voneinander abweichen von dem, was bei völliger Unabhängigkeit zu erwarten wäre. Die erwarteten (unter Unabhängigkeit theoretischen) Häufigkeiten ergeben sich als eij = (ni.·n.j)/n, wobei ni. die Zeilensumme, n.j die Spaltensumme und n die Gesamtzahl der Beobachtungen ist — dieselbe Logik wie beim Additionssatz für unabhängige Ereignisse (P(A∩B)=P(A)·P(B)) auf Häufigkeiten übertragen.

Die quadratische Kontingenz K² = Σi Σj (nij − eij)² / eij summiert die quadrierten, an der jeweiligen Erwartungshäufigkeit relativierten Abweichungen über alle Zellen der Tabelle. Je größer K², desto stärker weichen die beobachteten von den bei Unabhängigkeit erwarteten Häufigkeiten ab — K² ist rein deskriptiv als Zusammenhangsmaß gedacht (dieselbe Rechengröße wird in der schließenden Statistik auch als Prüfgröße des Chi-Quadrat-Unabhängigkeitstests verwendet).

Da K² unbeschränkt wächst (mit n und der Tabellengröße), ist sie als reines Zusammenhangsmaß schlecht interpretierbar. Der Kontingenzkoeffizient nach Pearson normiert sie auf einen Bereich zwischen 0 und (knapp unter) 1: C = √[K² / (K² + n)]. Allerdings erreicht C selbst bei perfektem Zusammenhang nie exakt 1, sondern einen von der Tabellengröße abhängigen Maximalwert C_max = √[(m−1)/m], wobei m = min(Zeilenzahl, Spaltenzahl). Der korrigierte Kontingenzkoeffizient behebt dies durch Division durch diesen Maximalwert: C_korr = C / √[(m−1)/m], sodass C_korr für jede Tabellengröße zwischen 0 und 1 liegt und Tabellen unterschiedlicher Dimension fair vergleichbar macht.

4.15 Grundlagen der Programmiersprache R

In vielen Statistik-Klausuren geht es beim R-Teil nicht darum, selbst Code zu schreiben, sondern gegebenen R-Code zu lesen und sein Ergebnis vorherzusagen. Deshalb reicht ein solider Überblick über die wichtigsten Bausteine, ohne dass man R selbst flüssig programmieren können muss.

Die Grundeinheit in R ist der Vektor: c(2, 5, 8) erzeugt einen Vektor aus drei Zahlen, seq(1, 10, by=2) eine Zahlenfolge mit Schrittweite 2, rep(0, 5) fünf Nullen hintereinander. Auf einzelne Elemente greift man über eckige Klammern zu (x[3] ist das dritte Element), und ein logischer Ausdruck wie x[x > 5] liefert genau die Elemente von x, die größer als 5 sind — R wertet x > 5 zunächst zu einem Vektor aus TRUE/FALSE aus und filtert damit. Fehlende Werte werden als NA dargestellt und von den meisten Funktionen standardmäßig zu NA propagiert, sofern man nicht explizit na.rm=TRUE angibt.

Für zweidimensionale Daten gibt es Matrizen (matrix(x, nrow=..., ncol=...), Zugriff über m[i,j] auf Zeile i, Spalte j) und Data Frames (meist aus read.csv() eingelesen, Zugriff über df[zeilen, spalten] oder auf eine benannte Spalte über df$spaltenname). Die apply()-Funktion wendet eine Funktion zeilen- oder spaltenweise auf eine Matrix an: apply(m, 1, sum) bildet die Zeilensummen, apply(m, 2, mean) die Spaltenmittelwerte (die zweite Zahl gibt an, ob über Zeilen (1) oder Spalten (2) aggregiert wird).

Häufigkeitsauszählungen übernimmt table(x) (absolute Häufigkeiten je Ausprägung), prop.table(table(x)) liefert daraus die relativen Häufigkeiten. sort(x) sortiert einen Vektor der Größe nach, cumsum(x) bildet die kumulierten Summen seiner Elemente — eine Kombination, die z. B. beim Auswerten einer empirischen Verteilungsfunktion (siehe 4.3) nützlich ist.

Für Simulationen erzeugt sample(x, size=n) eine zufällige Auswahl von n Elementen aus dem Vektor x (mit replace=TRUE auch mit Zurücklegen), während set.seed(123) den Zufallsgenerator auf einen festen Startwert setzt, damit eine Simulation reproduzierbar bleibt. Für jede Verteilung aus Kapitel 3 existiert eine passende r-Funktion, die Zufallszahlen aus genau dieser Verteilung zieht: rnorm(n, mean, sd), rbinom(n, size, prob), rpois(n, lambda) und rexp(n, rate) erzeugen jeweils n Zufallszahlen aus Normal-, Binomial-, Poisson- bzw. Exponentialverteilung.

Zur grafischen Auswertung dienen plot(x, y) für ein einfaches Streudiagramm, hist(x) für ein Histogramm und boxplot(x) für einen Boxplot (siehe 4.9); lines() und abline() ergänzen eine bestehende Grafik um zusätzliche Linien, etwa eine Regressionsgerade oder eine horizontale Referenzlinie.

4.16 R-Funktionen für Statistik 1 im Überblick

Praktisch alle in diesem Skript behandelten Kennzahlen und Verteilungen lassen sich in R mit wenigen eingebauten Funktionen berechnen, ohne die Formeln von Hand auszuwerten. Für Verteilungen folgt R durchgehend demselben Namensschema: ein Präfix d (Dichte/Wahrscheinlichkeitsfunktion, also f(x)), p (Verteilungsfunktion F(x)=P(X≤x)), q (Quantilfunktion, die Umkehrung von p) oder r (Zufallszahlen erzeugen), gefolgt vom Verteilungsnamen — z. B. dbinom(), pbinom(), qbinom(), rbinom() für die Binomialverteilung.

Für die deskriptiven Zusammenhangsmaße aus diesem Kapitel sowie zentrale Verteilungsfunktionen aus Kapitel 3 sind folgende Funktionen am gebräuchlichsten (Argumente vereinfacht dargestellt):