Reklama
|
Statystyka, prognozowanie, ekonometria, data mining
Forum miłośników statystyki - Statystycy całego Świata - Łączcie się :-)
|
|
Test normalności shapiro-wilka |
| Autor |
Wiadomość |
Basia 
Szeregowy
Posty: 12
Skąd: Wrocław
|
 Wysłany: 2009-08-12, 19:19
|
|
|
| Crunchy napisał/a: | | A normalność rozkładu oceniamy testami czy "na oko"...? |
Widzisz, nas na razie uczono statystyki bardzo pobieżnie i rozkład normalny był na wykładzie omawiany tak, że tylko pokazano nam krzywą Gaussa jako ilustrację takiego rozkładu. Potem jeszcze na ćwiczeniach wspomniano, że do testów parametrycznych musi być rozkład normalny i sprawdza się to testem Kołmogorowa - Smirnowa, bez wyjaśnienia, czym właściwie jest ten rozkład ani na czym polega ten test. Także w głowie mam zakodowane skojarzenie rozkładu normalnego z wyświetlanym na wykładzie rysunkiem, a nie jakieś szczegółowe matematyczne definicje, i kiedy program pokazuje mi wykres o kształcie odbiegającym od tamtego, a test S-W mówi, że rozkład jest normalny, to coś mi tu nie gra i zaczynam się zastanawiać, czy ja ten test dobrze interpretuję. Dlatego pytam tutaj, bo chcę to wszystko jakoś w końcu ogarnąć 
| Maro napisał/a: | | Test Shapiro-Wilka stosujemy do testowania rozkładów, gdy obserwacji jest mniej niż 100, powyżej stosujemy test Kołomogorowa-Smirnowa. |
Hmm, a Stanisz w książce "Przystępny kurs statystyki w oparciu o program STATISTICA PL" pisze o liczebności do 2 tysięcy... |
|
 |
|
 |
Google
|
| Wysłany: Reklama google.
|
|
|
|
|
|
|
|
|
Maro 
Podporucznik
Pomógł: 9 razy
Posty: 340
Skąd: Nisko
|
| Wysłany: 2009-08-12, 19:47
|
|
|
| Basia napisał/a: | | (...)Potem jeszcze na ćwiczeniach wspomniano, że do testów parametrycznych musi być rozkład normalny(...) |
Istnieje pewien zakres tolerancji testów statystycznych na to założenie i w mojej ocenie rozkład "A" je spełnia (w ramach tej tolerancji). Z tym, że nie wyróżniłaś żadnej zmiennej niezależnej która jeszcze podzieli tę zmienną na grupy w których rozkład może się zmienić. Więc tu mówię tylko o rozkładzie w całej próbie.
| Basia napisał/a: | | Hmm, a Stanisz w książce "Przystępny kurs statystyki w oparciu o program STATISTICA PL" pisze o liczebności do 2 tysięcy... |
Ja publikacji na ten temat nie przeglądałem. Wartość 100 jako graniczną pamiętam z jakiejs prezentacji Statsoftu i nie raz powoływałem się na tę wartość na forum nie będąc przy tym poprawiany. Ale tak jak mówiłem nie mam żadnych dowodów poza pamięcią, więc się nie upieram.
Pozdrawiam  |
|
 |
|
|
Crunchy
Porucznik
Crunchy
Pomógł: 38 razy
Posty: 484
Skąd: Katowice
|
| Wysłany: 2009-08-12, 21:47
|
|
|
| Basia napisał/a: |
Widzisz, nas na razie uczono statystyki bardzo pobieżnie |
Pora na małe wyjaśnienie, po co się sprawdza zgodność z rozkładem normalnym? Żeby móc wybrać między testami parametrycznymi i nieparametrycznymi, ale po co? Bo te pierwsze mają większą moc. A co to jest moc testu? itd. W skrócie chodzi o prawdopobieństwo wykrycia różnic w zalezności od ilości pomiarów i wielkości efektu - czyli jaka jest szansa, że wykryjemy różnicę, zaleca się min. 0.8. Zobaczmy jak to się ma na przykładzie.
par.png
|
 |
| Plik ściągnięto 85 raz(y) 29,58 KB |
nonp.png
|
 |
| Plik ściągnięto 80 raz(y) 29,36 KB |
|
|
|
|
|
|
Maro
Podporucznik
Pomógł: 9 razy
Posty: 340
Skąd: Nisko
|
| Wysłany: 2009-08-13, 00:22
|
|
|
Ok, ale to nie rozwiązuje "naszego" problemu. A może przeoczyłem w rockładach jakieś outliery, które wpłynęły na wartość testu. Może jeszcze dzisiaj to sprawdzę.
P.S. Basia---> znalazłem informację w podręczniku, że: "Jest on (test Shapiro-Wilka) uważany za najlepszy test do sprawdzania, czy próba pochcodzi z rozkładu normalnego, zwłaszcza o liczebności mniejszej niż 50 obserwacji" Rahman, M. M., Govindarajulu, Z. (1997) za: Francuz, P. Mackiewicz R. (2007). Widać co kraj to obyczaj 
Pozdrawiam
[ Dodano: 2009-08-13, 01:19 ]
P.S.2 sprawdzałem na róznych bazach i tylko na załączonej uzyskuję różne wyniki sprawdzając normalnosć rozkładów łącznie i oddzielnie. |
|
|
|
|
|
Crunchy
Porucznik
Crunchy
Pomógł: 38 razy
Posty: 484
Skąd: Katowice
|
| Wysłany: 2009-08-13, 08:09
|
|
|
| A jaki jest "nasz problem", hm? Jakie założenia muszą być spełnione, żeby korzystać z testu parametrycznego? Czy są jakieś wątpliwości w kwestiach, które rozkłady są zgodne z normalnym? |
|
|
|
|
|
Maro
Podporucznik
Pomógł: 9 razy
Posty: 340
Skąd: Nisko
|
| Wysłany: 2009-08-13, 13:32
|
|
|
Problem w mojej ocenie, to: co jest nie tak z pierwszym rozkładem (pierwszy od lewej w poscie Basi), że wynik testu pokazuje jego nienormalność. Czy to kurtoza? Skośność? Ciężki ogon? Nie wydaje mi się. Analogicznie w jaki sposób został przez test uznany za normalny rozklad wielomodalny (drugi od lewej w poście Basi).
Ponadto w jaki sposób spss podałdwa różne wyniki dla tego samego rozkładu (moje załączniki).
Pozdrawiam serdecznie |
|
|
|
|
|
Crunchy
Porucznik
Crunchy
Pomógł: 38 razy
Posty: 484
Skąd: Katowice
|
| Wysłany: 2009-08-13, 20:18
|
|
|
Zobacz wykresy gęstości z poprzedeniej strony (test$V1 vs ten czerwony). Histogramy mogą czasem wprowadzać w błąd.
Nawet gdyby jeden rozkład był zgodny z normalnym, pozostałe trzy (z którymi jak mniemam, miały być porównywane) nie są, więc nawet nie będziemy już sprawdzać równości wariancji i widzimy, że zostają testy nieparametryczne. I to jest najważniejsza odpowiedź umożliwiająca dalsze analizy.
Co z SPSSem, tym wspaniałym programem za 20000 PLN? Nie wiem, i nie chcę wiedzieć.  |
|
|
|
|
|
Maro
Podporucznik
Pomógł: 9 razy
Posty: 340
Skąd: Nisko
|
| Wysłany: 2009-08-13, 20:36
|
|
|
No teraz jak patrzę na wykresy gęstości to już widzę nidoskonałość histogramów
Hehehe, ja tam na spss specjalnie nie narzekam. Dla mnie jest wygodniejszy od R i jak się z głową przeprowadza analizy to takie niedostatki można wychwycić Past mi się coraz bardziej podoba, ale jego obsługi jeszcze nie ogarniam do końca. |
|
|
|
|
|
Agata
Szeregowy
Posty: 6
Skąd: Poznań
|
| Wysłany: 2010-02-15, 12:31 Shapiro-Wilk w Statistice
|
|
|
Chciałabym przetestować jednorodność wariancji w 8 grupach doświadczalnych.
Jeśli wykonuję test Shapiro-Wilka (statistica) dla wszystkich danych łącznie (zaznaczam w programie wszystkie dane), uzyskuję wynik, że rozkład nie jest normalny. Histogram przypomina rozkład normalny.
Jeśli natomiast analizuję każdą grupę oddzielnie, to wynik S-W pokazuje, że jest to rozkład normalny. Histogramy zupełnie nie przypominają rozkładu normalnego.
Co jest źle?
Z góry dziękuję za pomoc. |
|
|
|
|
|
Maro
Podporucznik
Pomógł: 9 razy
Posty: 340
Skąd: Nisko
|
| Wysłany: 2010-02-15, 22:26 Re: Shapiro-Wilk w Statistice
|
|
|
| Agata napisał/a: | | Chciałabym przetestować jednorodność wariancji w 8 grupachdoświadczalnych. |
Do tego celu nie służy test SW, tylko test Levene'a
| Agata napisał/a: |
Jeśli wykonuję test Shapiro-Wilka (statistica) dla wszystkich danych łącznie (zaznaczam w programie wszystkie dane), uzyskuję wynik, że rozkład nie jest normalny. Histogram przypomina rozkład normalny.
Jeśli natomiast analizuję każdą grupę oddzielnie, to wynik S-W pokazuje, że jest to rozkład normalny. Histogramy zupełnie nie przypominają rozkładu normalnego.
Co jest źle? |
Nic nie jest źle. To, że wyniki dla całego zbioru danych (bez podziału na grupy) nie mają rozkładu normalnego nie oznacza że każda podgrupa tego zbioru również będzie miała rozkład nienormalny (to znaczy cecha, a nie grupa;)).
Histogramy jak widać choćby na danych załączanych w tym wątku bywają mylące. Spróbuj manipulować szerokością przedziałów na wykresie to zobaczysz o co mi chodzi.
Pozdrawiam,
marek |
|
|
|
|
|
MK
Podporucznik
Pomógł: 27 razy
Posty: 191
Skąd: Warszawa
|
| Wysłany: 2010-02-16, 00:30
|
|
|
Po prostu wraz ze wzrostem próby rośnie moc testu, czyli lepiej rozpoznaje on, że rozkład nie jest normalny, jeśli faktycznie taki jest (czytaj: test staje się bardziej czuły). Ponieważ w praktyce żaden rozkład "w przyrodzie" nie jest idealnie normalny dla bardzo dużych prób często będziemy odrzucać zerową hipotezę. Z drugiej strony dla dużych prób normalność nie jest już nam taka potrzebna, bo zaczyna działać asymptotyczna normalność estymatorów.
Dla małych prób trudno jest powiedzieć cokolwiek, więc tradycyjna formułka "nie ma podstaw do odrzucenia hipotezy.." jest tu naturalna.
Ale żeby nie było tak prosto z małymi próbami, to w tym przypadku, wykonywania kilku testów jednocześnie, prawdopodobieństwo faktycznego błędu (tzn. popełnienia choćby jednego błędu) jest większe od zakładanego dla pojedynczego testu. |
|
|
|
|
|
Maro
Podporucznik
Pomógł: 9 razy
Posty: 340
Skąd: Nisko
|
| Wysłany: 2010-02-16, 00:47
|
|
|
| MK napisał/a: | | Po prostu wraz ze wzrostem próby rośnie moc testu, czyli lepiej rozpoznaje on, że rozkład nie jest normalny, jeśli faktycznie taki jest (czytaj: test staje się bardziej czuły). |
Zgadzam się, ale nie widzieliśmy danych. Być może podgrupy (stanowiące całą próbę) charakteryzują się rozkładami normalnymi o różnych średnich, co w połączeniu daje rozkład wielomodalny (czyli nienormalny). Pisząc poprzedniego posta, taką mniej więcej wizję tych danych miałem
W ogóle skąd idea testowania normalnosci dla całej próby, a nie porównywanych grup? Czy to ma jakieś uzasadnienie w problemach i hipotezach? |
|
|
|
|
|
Agata
Szeregowy
Posty: 6
Skąd: Poznań
|
| Wysłany: 2010-02-16, 11:53
|
|
|
[quote="Maro"] | MK napisał/a: |
W ogóle skąd idea testowania normalnosci dla całej próby, a nie porównywanych grup? Czy to ma jakieś uzasadnienie w problemach i hipotezach? |
Jedynym uzasadnieniem jest moja niewiedza.
Czyli powinnam zrobić test Levene'a?
Nawet udało mi się już wpaść na ten pomysł, ale zrezygnowałam z niego po ujrzeniu wzoru. Mówiąc krótko nie mam pojęcia jak to zrobić.
Zawzięcie testuję normalność bo łudzę się, że uda mi się przetestować ANOVĄ interakcje pomiędzy 3 czy 4 czynnikami doświadczalnymi.
Przykładowe dane
grupa 1:
64
69
78
82
66
88
87
80
grupa 2:
72
65
65
88
66
58
52
54
grupa 3:
70
102
61
69
111
69
69
89
grupa 4:
65
73
63
82
55
55
48
91
grupa 5:
82
76
70
62
74
59
59
55
grupa 6:
72
61
67
66
53
46
51
grupa 7:
58
78
65
54
61
60
61
56
grupa 8:
44
69
55
54
78
53
63
57 |
|
|
|
|
|
MK
Podporucznik
Pomógł: 27 razy
Posty: 191
Skąd: Warszawa
|
| Wysłany: 2010-02-16, 16:40
|
|
|
| Agata napisał/a: |
Czyli powinnam zrobić test Levene'a?
|
Teoretycznie powinnaś sprawdzić obie rzeczy, tj. normalność rozkładów i stałą wariancję. W skrócie czy )
| Cytat: |
Nawet udało mi się już wpaść na ten pomysł, ale zrezygnowałam z niego po ujrzeniu wzoru. Mówiąc krótko nie mam pojęcia jak to zrobić. |
1. Pisałaś, że korzystasz ze Stiatistica. Na pewno jest tam zaimplementowany test Levene'a.
2. Test Levene'a to tak naprawdę ANOVA dla modułów odchyleń, także samemu go można zrobić robiąc ANOVĘ dla 
PS. Jeśli chcesz załączyć jakieś dane to najlepiej wrzuć od razu plik w Excelu w formacie dwukolumnowym:
nr_grupy, wynik |
|
|
|
|
|
Crunchy
Porucznik
Crunchy
Pomógł: 38 razy
Posty: 484
Skąd: Katowice
|
| Wysłany: 2010-02-16, 23:39
|
|
|
| Agata napisał/a: |
Zawzięcie testuję normalność bo łudzę się, że uda mi się przetestować ANOVĄ interakcje pomiędzy 3 czy 4 czynnikami doświadczalnymi. |
Przecież istnieją jeszcze inne testy... | Kod: |
Approximative K-Sample Permutation Test
data: wynik by grupa (1, 2, 3, 4, 5, 6, 7, 8)
maxT = 2.9347, p-value = 0.02806 |
|
|
|
|
|
|
|
|
Nie możesz pisać nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz głosować w ankietach
Nie możesz załączać plików na tym forum
Możesz ściągać załączniki na tym forum
|
Dodaj temat do Ulubionych zakładek(IE)
Wersja do druku
|
salon fryzjerski warszawa |mieszkania w suwałkach | Ogłoszenia Podlasie | implanty | Bukmacherzy | Liga Polska | numizmatyka | Typy bukmacherskie | betterware | bilety autokarowe | wynajem agregatów prądotwórczych | forum | portal studencki | płyty warstwowe | bronze crane statues | fotografia ślubna szczecin | alufelgi chromowane | okulary przeciwsłoneczne | rolety | hotel poznań | restauracja poznań | Ogrody Warszawa | strony internetowe olsztyn | stairlift | Patelnia elektryczna | Kosmetyki naturalne Florame | Radiografia | Nauka Jazdy Warszawa | konferansjer | | | Strona wygenerowana w 0,48 sekundy. Zapytań do SQL: 14 |
|
|
FAQ
Szukaj
Użytkownicy
Grupy
Statystyki
Rejestracja
Zaloguj
Programy statystyczne
Download
