ANOVA. Testy post-hoc

Klasyczna jednoczynnikowa analiza wariancji (ANOVA) pozwala odpowiedzieć na ogólne pytanie, czy badane grupy różnią się od siebie pod względem analizowanej cechy. Zastosowanie głównego testu F umożliwia zweryfikowanie hipotezy zerowej (H₀), która zakłada, że średnie we wszystkich porównywanych podpopulacjach są sobie równe. Jeżeli jednak analiza wariancji da wynik istotny statystycznie (odrzucimy H₀), otrzymujemy jedynie informację, że co najmniej dwie grupy różnią się między sobą. Test F nie wskazuje jednak, o które konkretnie grupy chodzi, ani ile z nich tworzy odrębne skupiska.Aby odpowiedzieć na pytanie, które z porównywanych populacji są bezpośrednio odpowiedzialne za odrzucenie hipotezy zerowej, przeprowadza się dalsze analizy zwane testami post-hoc (z łacińskiego: „po fakcie”). W literaturze statystycznej metody te określa się również mianem testów wielokrotnych porównań lub testów grupowań jednorodnych (Stanisz, 2000).

Istota wielokrotnych porównań i grupowanie średnich

Głównym celem testów post-hoc jest dokładne przeanalizowanie wszystkich możliwych par średnich grupowych i ustalenie, między którymi z nich występują istotne statystycznie różnice, a które można uznać za równoważne.

W wyniku zastosowania procedur post-hoc badacz otrzymuje tzw. grupy jednorodne:

• Średnie należące do tej samej grupy nie różnią się od siebie w sposób istotny statystycznie.
• Średnie zaklasyfikowane do różnych grup wykazują różnice istotne statystycznie na wybranym poziomie istotności α.

Dlaczego nie stosuje się zwykłego testu t-Studenta?

Naturalnym pytaniem mogłoby być: dlaczego po prostu nie porównać każdej pary grup zwykłym testem t-Studenta? Powodem jest tzw. problem kumulacji błędu I rodzaju (familywise error rate). Przeprowadzanie wielu niezależnych testów t na tym samym zbiorze danych lawinowo zwiększa prawdopodobieństwo, że przynajmniej w jednym porównaniu przypadkowo wykryjemy „istotną” różnicę, która w rzeczywistości nie istnieje. Testy post-hoc zostały skonstruowane w taki sposób, aby kontrolować ten błąd i utrzymać globalny poziom istotności (np. α = 0,05) dla całej rodziny porównań.

Jednym z pierwszych i historycznie najważniejszych testów wielokrotnych porównań jest test LSD (), opracowany przez sir Ronalda A. Fishera. W polskiej literaturze statystycznej metoda ta występuje powszechnie pod nazwą testu Najmniejszych Istotnych Różnic (NIR).

Zasada działania i procedura testowa

Test LSD opiera się na wyznaczeniu pojedynczej, granicznej wartości — wartości NIR (Najmniejszej Istotnej Różnicy). Stanowi ona minimalną wielkość, o jaką muszą różnić się od siebie średnie z dwóch prób, aby można było uznać tę różnicę za istotną statystycznie na wybranym poziomie α.

Procedura przebiega według następujących kroków:

• Średnie poszczególnych grup porządkuje się zazwyczaj w ciągu niemalejącym (od najmniejszej do największej).
• Oblicza się bezwzględną różnicę między średnimi dla każdej pary grup: |\(\bar{x}_i\) - \(\bar{x}_j\)|.
• Wyznaczoną różnicę porównuje się z wartością krytyczną NIR.

Jeśli różnica między dwoma średnimi jest większa lub równa wartości NIR (|\(\bar{x}_i\) - \(\bar{x}_j\)| ≥ NIR), odrzucamy hipotezę o ich równości i uznajemy, że dane grupy różnią się od siebie w sposób istotny.

Wzór na wartość NIR

W przypadku prób równolicznych (n₁ = n₂ = ... = n), wartość Najmniejszej Istotnej Różnicy wyznacza się ze wzoru:

Gdzie:

• t_{α, dfe} – wartość krytyczna z rozkładu t-Studenta dla wybranego poziomu istotności α oraz liczby stopni swobody dla błędu (df_e = N - k),
• MS_e – błąd średniokwadratowy wewnątrz grupowy (Mean Square Error z tabeli ANOVA),
• n – liczebność pojedynczej próby.

Zastosowanie i ograniczenia (tzw. Chroniony test LSD)

Test LSD jest merytorycznie prostym rozszerzeniem klasycznego testu t-Studenta dla dwóch prób niezależnych, wykorzystującym jednak uśrednioną wariancję wewnątrz grupową (MS_e) z całej analizy ANOVA.

Ze względu na swoją prostotę test LSD jest bardzo "liberalny" (ma dużą moc wykrywania różnic), ale niesie ze sobą istotne ryzyko - przy dużej liczbie porównywanych grup - słabo chroni przed błędem I rodzaju. Dlatego w praktyce stosuje się tzw. Chroniony test Fishera (Fisher's Protected LSD):

• Test LSD wykonuje się wyłącznie wtedy, gdy ogólny test F w analizie ANOVA wykazał istotność statystyczną (p < α).
• Jeśli główny test F okazał się nieistotny, procedurę post-hoc zatrzymuje się i nie wyznacza wartości NIR.

Kolejnym kluczowym narzędziem wykorzystywanym w analizie post-hoc jest test Bonferroniego (często nazywany korektą lub poprawką Bonferroniego). Jest to jedna z najbardziej znanych i uniwersalnych metod wielokrotnych porównań, stworzona z myślą o ścisłej kontroli ryzyka popełnienia błędu I rodzaju.

Problem kumulacji błędu I rodzaju

Głównym powodem stosowania testu Bonferroniego jest fakt, że przy wykonywaniu wielu testów statystycznych na tym samym zbiorze danych gwałtownie wzrasta prawdopodobieństwo przypadkowego wykrycia „istotnej” różnicy, która w rzeczywistości nie istnieje (tzw. błąd I rodzaju) (zob. Rodzaje błędów występujących podczas weryfikacji hipotez statystycznych).

Test Tukeya HSD

Test Tukeya dla różnych N

Test Scheffe