Testy jednorodności wariancji w grupach (testowanie założeń ANOVA)

Jednym z kluczowych założeń analizy wariancji (ANOVA) jest jednorodność wariancji (homoskedastyczność) w badanych podpopulacjach. Oznacza to, że przed przystąpieniem do porównywania średnich musimy upewnić się, czy zmienność wewnątrz poszczególnych grup jest na zbliżonym poziomie.

Zakłada się, że wariancje w obrębie wydzielonych grup układu są sobie równe; założenie to określa się mianem założenia jednorodności wariancji. Wariancję błędu (wewnątrzgrupową) oblicza się jako sumę kwadratów w obrębie grupy. W przypadku kiedy wariancje w dwóch grupach różnią się między sobą, wówczas ich dodawanie nie jest właściwe i nie daje oszacowania wspólnej wariancji wewnątrzgrupowej (ponieważ nie istnieje wspólna wariancja) (Statistica PL, 1997 str. 1703). Niespełnienie tego założenia może prowadzić do zawyzania wartości testu F i do zbyt wielu odrzuceń H₀. Weryfikacji założenia dokonuje się z wykorzystaniem następujących specjalistycznych testów hipotez:

TEST BARTLETTA

Dotyczy on populacji normalnych, dla których chcemy sprawdzić hipotezę o równości wariancji we wszystkich podpopulacjach. Test ten oparty jest na pewnej statystyce, która ma rozkład asymptotyczny Χ². Zbieżność do rozkładu Χ² jest przy tym bardzo szybka, tak, że można go stosować nawet dla bardzo małych prób. W literaturze jest znanych kilka postaci wzoru na statystykę Bartletta. Aby uniknąć kłopotów z logarytmami naturalnymi, zostanie przytoczona postać wzoru z wykorzystaniem tylko logarytmów dziesiętnych - stąd stała występująca w tym wzorze 2,303 (jest to ln 10). Ze względu na dużą liczbę pracochłonnych rachunków testów dokonuje się jedynie przy użyciu komputerów (Greń J., 1976).

Jeżeli zalożymy, że mamy k podpopulacji o rozkładach normalnych losujemy niezależnie od próby n elementów. Mamy więc k losowych prób o liczebnościach n. Wyniki każdej próby oznaczamy symbolem x_ij (i = 1, 2, ..., k; j = 1, 2,..., n_i), a średnie x_{i śr}.

Chcemy sprawdzić hipotezę o jednorodności wariancji we wszystkich k podpopulacjach.
H₀: σ²₁ = σ²₂ =... = σ²_k
H₁: nie wszystkie σ²_i są jednakowe

Dla każdej z k prób obliczamy wariancję z próby:

$$ \begin{equation} \hat{s}_{i}^{2} =\frac{1}{n_{i} -1}\sum _{j=1}^{n_{i}}( x_{ij} -\overline{x})^{2} \end{equation} $$ (1)

gdzie:
k – liczba badanych grup / podpopulacji,
n_i - liczebność i-tej próby,
x_ij – pojedyncza obserwacja (j-ty element z i-tej próby)
$\hat{s}_{i}$ – średnia z i-tej próby

W kolejnym kroku testu wyznaczamy wspólną wariancję dla wszystkich podpopulacji, nazywaną również wariancją uśrednioną lub połączoną $\bar{s}^2$ (2). Oblicza się ją jako średnią ważoną wariancji z poszczególnych prób, gdzie wagami są ich stopnie swobody $n_i - 1$ czyli liczba danych, które po wyznaczeniu średniej wciąż mogą przyjmować dowolne wartości. Dzięki temu próby o większej liczebności mają proporcjonalnie większy wpływ na ostateczny wynik, co pozwala na dokładniejsze oszacowanie zmienności w badanych grupach. Obliczeń dokonujemy według następującego wzoru:

Liczba stopni swobody (degrees of freedom - df) - wyobraź sobie prostą sytuację: masz 3 liczby, a ich średnia wynosi 10. Pierwszą liczbę możesz wybrać całkowicie dowolnie (np. 5). Drugą liczbę też wybierasz, jak chcesz (np. 15). Ale trzeciej liczby już nie możesz wybrać. Aby średnia z trzech liczb wynosiła 10, suma musi wynosić 30 (5 + 15 + X = 30). Trzecia liczba musi wynosić 10. Miałeś 3 liczby, ale tylko 2 wybory były swobodne. Ta jedynka "przepadła", bo musieliśmy najpierw policzyć średnią.

$$ \begin{equation} \overline{s}^{2} =\frac{1}{n-k}\sum _{i=1}^{k}( n_{i} -1)\hat{s}_{i}^{2} =\frac{1}{n-k}\sum _{i=1}^{k}\sum _{j=1}^{n_{i}}( x_{ij} -\overline{x})^{2} \end{equation} $$ (2)

Następnie wyznaczamy współczynnik poprawkowy c. Służy on do skorygowania wartości statystyki testowej, aby jej rozkład był jak najbardziej zbliżony do teoretycznego rozkładu chi-kwadrat $\chi^2$, szczególnie wtedy, gdy próby są małe lub mają różne liczebności. Współczynnik ten zawsze przyjmuje wartość większą od 1, a jego wysokość zależy od liczby analizowanych grup (k) oraz liczebności poszczególnych prób (n_i). Działa on jak „hamulec” przesadzony wyników – im większe są różnice w wielkościach prób, tym większa jest poprawka c, co zapobiega błędnemu wyciąganiu wniosków o braku jednorodności wariancji. Oblicza się go ze wzoru 3.

$$ \begin{equation} c=1+\frac{1}{3( k-1)}\left(\sum _{i=1}^{k}\frac{1}{n_{i} -1} -\frac{1}{n-k}\right) ,\ gdzie\ n=\sum _{i=1}^{k} n_{i} \end{equation} $$ (3)

Ostatecznie obliczamy statystykę testową $ \chi^2 $:

$$ \begin{equation} \chi ^{2} =\frac{2,303}{c}\left[( n-k) log\overline{s}^{2} -\sum _{i=1}^{k}( n_{i} -1) log\hat{s}_{i}^{2}\right] \end{equation} $$ (4)

symbole logarytmów oznaczają logarytmy dziesiętne.

Rozkład i wartość krytyczna

Statystyka ta ma przy założeniu prawdziwości hipotezy H₀ rozkład asymptotyczny Χ² z k - 1 stopniami swobody. Z tablicy rozkładu Χ², dla ustalonego z góry poziomu istotności α; i dla k - 1 stopni swobody, odczytujemy wartość krytyczną Χ²_α.

Reguła decyzyjna

Porównujemy obliczoną wartość statystyki σ² z wartością krytyczną σ²_α:

Χ² $\ge$ Χ²_α podejmujemy decyzję o odrzuceniu sprawdzanej hipotezy $ H_0 $.
Χ² < Χ²_α nie ma podstaw do odrzucenia H₀.

TEST HARTLEYA

Test Hartleya (często oznaczany jako test F_max służy do sprawdzania hipotezy o równości wariancji w k niezależnych grupach. Jest to niezwykle szybka i prosta w obliczeniach metoda, stosowana jako alternatywa dla bardziej złożonego testu Bartletta. Podstawowym założeniem testu Hartleya jest normalność rozkładu badanej zmiennej w każdej z populacji. Ponadto metoda ta działa najlepiej i daje najbardziej wiarygodne wyniki, gdy próby pobrane z poszczególnych grup są równoliczne (lub bardzo zbliżone pod względem liczebności).

Hipotezy badawcze

W teście Hartleya weryfikujemy formalnie dwie hipotezy. Hipoteza zerowa (H₀) zakłada pełną jednorodność wariancji we wszystkich analizowanych podpopulacjach:

$$ \begin{equation} H_{0} :\ \sigma _{1}^{2} =\sigma _{2}^{2} =...=\sigma _{k}^{2} \end{equation} $$ (H₀)

Z kolei hipoteza alternatywna H₁) stwierdza, że nie wszystkie wariancje są sobie równe, co oznacza obecność istotnych różnic w zmienności między grupami:

$$ \begin{equation} H_{1} :\ nie\ wszystkie\ \sigma _{i}^{2} \ są\ jednakowe \end{equation} $$ (H₁)

Procedura

Procedura obliczeniowa sprowadza się do wyznaczenia wariancji z próby $\hat{s}_i^2$ dla każdej z k analizowanych grup. Z otrzymanego zbioru wyników wybieramy wartość największą $\hat{s}_{\max}^2$ oraz wartość najmniejszą $\hat{s}_{\min}^2$. Statystykę testową F_{obl. max} tworzymy jako ich prosty iloraz:

$$ \begin{equation} F_{obl.\ max} =\frac{\hat{s}_{max}^{2}}{\hat{s}_{min}^{2}} \end{equation} $$ (1)

Otrzymaną wartość empiryczną porównujemy następnie z wartością krytyczną F_tabl, odczytaną ze specjalnych tablic rozkładu F_max Hartleya. Wartość odczytujemy dla wybranego poziomu istotności α (najczęściej α = 0,05), liczby porównywanych grup k oraz liczby stopni swobody df = n - 1 (gdzie n odpowiada liczebności pojedynczej próby).

Reguła decyzyjna

Decyzję statystyczną podejmujemy na podstawie relacji między obliczoną statystyką a wartością z tablic. Jeśli obliczona wartość jest większa lub równa wartości krytycznej (F_{obl. max} ≥ F_tabl), odrzucamy hipotezę zerową H₀ na korzyść hipotezy alternatywnej H₁, co wskazuje na brak jednorodności wariancji. Jeżeli natomiast wartość obliczona jest mniejsza od krytycznej (F_{obl. max} < F_tabl), nie mamy podstaw do odrzucenia hipotezy H₀ i przyjmujemy, że wariancje w grupach są jednorodne.

PRZYKŁAD

Przeanalizujmy zastosowanie testu na konkretnym przykładzie. Przeprowadzono badanie dla k = 3 grup, z których każda liczyła n = 10 obserwacji (co daje df = 10 - 1 = 9 stopni swobody). Obliczone wariancje z prób dla poszczególnych grup wynosiły odpowiednio: 114,8; 325,1; oraz 292,0. Największa wariancja w tym zestawie to $\hat{s}_{\max}^2$ = 325,1, a najmniejsza to $\hat{s}_{\min}^2$ = 114,8.

$$ \begin{equation} F_{obl.\ max} =\frac{\hat{s}_{max}^{2}}{\hat{s}_{min}^{2}} =\frac{325,1}{114,8} \approx 2,83 \end{equation} $$ (2)

Dla przyjętego poziomu istotności α = 0,05, liczby grup k = 3 oraz df = 9 stopni swobody, odczytana z tablic Hartleya wartość krytyczna wynosi F_tabl = 5,34. Ponieważ obliczona wartość statystyki jest mniejsza od wartości odczytanej z tablic (2,83 < 5,34), nie ma podstaw do odrzucenia hipotezy zerowej H₀. Wniosek: wariancje w badanych grupach możemy uznać za jednorodne, co oznacza, że założenie o homoskedastyczności dla analizy ANOVA zostało spełnione

TEST LEVENEA

Kolejnym powszechnie stosowanym narzędziem weryfikującym założenie o jednorodności wariancji jest test Levena. Jest to tzw. mocny test, co oznacza, że w przeciwieństwie do klasycznych testów (takich jak test Bartletta czy Hartleya) wykazuje on znacznie mniejszą wrażliwość na odstępstwa badanych zmiennych od rozkładu normalnego.

Procedura

Dla każdej analizowanej zmiennej zależnej procedura testowa opiera się na wykonaniu jednoczynnikowej analizy wariancji (ANOVA), ale nie na surowych danych, lecz na bezwzględnych odchyleniach wartości od średnich grupowych |x_ij - $\bar{x}_i$|.

W teście tym weryfikujemy standardową hipotezę zerową (H₀) o równości wariancji we wszystkich badanych grupach. Jeżeli przeprowadzony test Levena okaże się istotny statystycznie (tzn. poziom istotności p będzie niższy od założonego poziomu α, np. p < 0,05), hipotezę zerową H₀ o jednorodności wariancji w grupach należy odrzucić. Oznacza to, że wariancje w podpopulacjach różnią się od siebie w sposób istotny.

Odporność statystyki F w analizie ANOVA

Warto pamiętać o szerszym kontekście: sam wynik testu jednorodności wariancji (np. Levena) niekoniecznie podważa możliwość przeprowadzenia właściwej analizy wariancji. Test F w głównej procedurze ANOVA jest statystyką o dużej mocy i odporności, co oznacza, że daje wiarygodne wyniki porównywania średnich nawet przy braku idealnej równości wariancji.Główne badanie ANOVA zachowuje swoją wiarygodność przede wszystkim wtedy, gdy:

liczebności we wszystkich grupach są większe niż 10 (szczególnie przy równych liczebnościach prób, n₁ = n₂ = ... = n_k),
średnie w poszczególnych grupach nie są skorelowane z odchyleniami standardowymi w tych grupach (brak zależności między poziomem cechy a jej zmiennością).

Sam test Levena (który wewnętrznie również opiera się na statystyce F liczonej z odchyleń bezwzględnych) ma jednak swoje ograniczenie — nie jest on odporny na nierówne liczebności elementów w grupach. W przypadku znacznych dysproporcji w wielkości prób warto zastosować modyfikację Browna-Forsytha (opartą na medianach) lub użyć testu Welcha zamiast klasycznej ANOVA.

(STATSOFT 1516, 1521).

TEST BROWNA-FORSYTHEA

Ostatnim z czołowych narzędzi weryfikujących homoskedastyczność jest test Browna-Forsytha. Stanowi on bezpośrenią modyfikację i udoskonalenie testu Levena, stworzone z myślą o sytuacjach, w których klasyczne założenia analizy wariancji nie są w pełni spełnione.

Modyfikacja metody Levena

Główna różnica między tymi dwiema metodami sprowadza się do punktu odniesienia przy obliczaniu odchyleń. O ile w standardowym teście Levena ANOVA wykonuje się na bezwzględnych odchyleniach od średnich grupowych (|x_ij - $\bar{x}_i$|), o tyle w teście Browna-Forsytha obliczenia te przeprowadza się na bezwzględnych odchyleniach od median grupowych (|x_ij - $Me_i$|).

Zastosowanie mediany zamiast średniej ma kluczowe znaczenie praktyczne. Mediana jest miarą odporną na wartości odstające (skrajne) oraz na skośność rozkładu. Dzięki temu test Browna-Forsytha jest znacznie bardziej odporny na odchylenia od rozkładu normalnego badanych zmiennych zależnych w poszczególnych grupach.

Zastosowanie i założenia

Podobnie jak pozostałe opisywane procedury, test ten weryfikuje hipotezę zerową (H₀) o jednorodności wariancji w grupach. Odrzucenie H₀ (gdy wartość p < α) świadczy o tym, że wariancje w podpopulacjach różnią się od siebie w sposób istotny statystycznie.

Największą zaletą testu Browna-Forsytha — w przeciwieństwie do klasycznego testu Levena czy Hartleya — jest to, że można go bezpiecznie stosować przy różnych (nierównych) liczebnościach elementów w porównywanych grupach. Z tego powodu w nowoczesnych pakietach statystycznych (np. STATISTICA, SPSS) jest on bardzo często domyślnie rekomendowanym testem przy weryfikacji założeń analizy ANOVA.

Bibliografia

Greń J., 1976. Statystyka matematyczna modele i zadania. PWN Warszawa.
STATSOFT. 1516, 1522.

Powiązane tematy:

statystyka jednoczynnikowa analiza wariancji klasyfikacja pojedyncza ANOVA test Bartletta test Hartleya test Levena test Browna-Forsytha homoskedastyczność