Simulation und Poweranalyse - Aufgaben

Lineare Beziehungen zwischen Variablen: Korrelationstest unter \(H_1\)

Wir wollen uns ebenfalls die Power für den Korrelationstest ansehen. Dazu müssen wir allerdings korrelierte Variablen generieren. Um das hinzubekommen, müssen wir einige Eigenschaften der Normalverteilung ausnutzen: bspw. dass die Summe zweier normalverteilter Zufallsvariablen wieder normalverteilt ist. Für zwei unabhängige (unkorrelierte) standard-normalverteilte Zufallsvariablen \(X\) und \(Z\), ist die Zufallsvariable \(Y\), die folgendermaßen gebildet wird:

\[Y:= \rho X + \sqrt{1-\rho^2}Z,\]

wieder standard-normalverteilt und um den Korrelationskoeffizienten \(\rho\) korreliert mit \(X\). Wir können also relativ einfach zwei korrelierte Variablen generieren. Wie in der Sitzung verwenden wir \(N=20\):

N <- 20

set.seed(12345)
X <- rnorm(N)
Z <- rnorm(N)
Y <- 0.5*X + sqrt(1 - 0.5^2)*Z
cor(X, Y) # empirische Korrelation

## [1] 0.579799

sd(X) 

## [1] 0.8339354

sd(Y)

## [1] 1.232089

Falls Sie die oben genutzte Formel zur Generierung korrelierter Zufallsvariablen überprüfen wollen, dann setzen Sie doch einmal N = 10^6 (also eine Stichprobe von 1 Mio). Dann sollte die empirische Korrelation sehr nah an der theoretischen liegen. Auch sollten dann die empirischen Standardabweichungen sehr nah an der 1 liegen.

Verwenden Sie für diese Aufgabe stets den Seed 12345 (set.seed(12345)).

• Betrachten Sie das Modell für eine Stichprobe von N = 10^6. Berichten Sie die empirische Korrelation sowie die empirischen Standardabweichungen.
• Untersuchen Sie die Power des Korrelationstests für eine Korrelation von \(\rho=0.5\) und \(N = 20\). Führen Sie eine Simulationsstudie durch. Wie groß ist die Power?
• Stellen Sie die Verteilung der empirischen Korrelationen (für \(\rho=0.5\) und \(N=20\)) unter der \(H_1\) dar.

Lineare Beziehungen zwischen Variablen: Korrelationstest unter \(H_1\) für ungleiche Varianzen

Wiederholen Sie die Analyse. Verändern Sie diesmal die Varianz der beiden Variablen Xund Y. X soll eine Varianz von 9 haben (multiplizieren Sie dazu X mit 3, nachdem Sie Y mithilfe von X und Z generiert haben), und Y soll eine Varianz von 0.25 haben (multiplizieren Sie dazu Y mit 0.5, nachdem Sie Y mit Hilfe von X und Z generiert haben).

• Betrachten Sie das Modell für eine Stichprobe von N = 10^6. Berichten Sie die empirische Korrelation sowie die empirischen Standardabweichungen.
• Führen Sie eine Simulationsstudie durch (für \(\rho=0.5\) und \(N=20\)). Wie verändert sich die Power des Tests durch die veränderten Varianzen?

Type I-Error und Power zu einem \(\alpha\)-Niveau von \(0.1\%\) des \(t\)-Test

Wir wollen nun die Power des \(t\)-Tests für ein anderes \(\alpha\)-Fehlerniveau bestimmen. Wiederholen Sie also die Poweranalysen aus der Sitzung für den \(\alpha\)-Fehler und die Power für ein \(\alpha\)-Fehlerniveau von \(0.1\%\).

Nutzen Sie den Seed 12345 (set.seed(12345)).

• Führen Sie eine Simulation durch, um das empirische \(\alpha\)-Niveau des \(t\)-Tests zu bestimmen für \(N=20\). Vergleichen Sie das Ergebnis mit dem Ergebnis aus der Sitzung.
• Führen Sie eine Simulation durch, um die empirische Power des \(t\)-Tests zu bestimmen für \(N=20\), \(d = 0.5\) und \(\alpha = 0.1\%\). Vergleichen Sie das Ergebnis mit dem Ergebnis aus der Sitzung. Was bedeutet dies für die Wahl der Irrtumswahrscheinlichkeit?

Power-Plots für den \(t\)-Test

Wir wollen nun die Power des \(t\)-Tests für unterschiedliche Effektgrößen untersuchen. In den beiden Gruppen soll jeweils eine Varianz von 1 herrschen. Verändern Sie also den Code der Sitzung nur hinsichtlich der Effektgröße. Das \(\alpha\)-Fehlerniveau soll wieder bei \(5\%\) liegen.

Nutzen Sie den Seed 12345 (set.seed(12345)).

• Erstellen Sie einen Power-Plot für die folgenden Effekte \(d = 0, 0.25, 0.5, 0.75, 1,\) und \(1.25\) bei einer Stichprobengröße von \(N = 20\). Stellen Sie die Effektgröße auf der x-Achse dar.

Powervergleich: \(t\)-Test vs. Wilcoxon-Test

Wir wollen nun die Power des \(t\)-Tests mit der Power des Wilcoxon-Tests vergleichen. Der Wilcoxon-Test ist flexibler anzuwenden, da er weniger Annahmen aufweist. Untersuchen Sie, wie sich dies auf die Power auswirkt. Das \(\alpha\)-Fehlerniveau soll wieder bei \(5\%\) liegen.

Nutzen Sie den Seed 12345 (set.seed(12345)).

• Verwenden Sie das gleiche Setting wie aus der Sitzung und bestimmen Sie die Power des Wilcoxon-Tests für \(N=20\), \(d = 0.5\) und \(\alpha = 5\%\). Vergleichen Sie das Ergebnis mit dem Ergebnis aus der Sitzung.