Statystyka, prognozowanie, ekonometria, data mining

Jackiller · Wysłany: 2007-01-07, 15:28 **Test normalności shapiro-wilka**

Witam

I od razu prośba o pomoc (dodam że jeszcze nie mam żadnej książki od statystyki - jesli możecie to polećcie coś praktycznego w tej tematyce )

Jako że zajmuję sie Sztucznymi Sieciami Neuronowymi otrzymałem takie oto wyniki (100 losowań WEjśc a prezentowane dane to odpowiedzi sieci).

0,260308802
0,317405522
0,364796728
0,316454381
0,31356445
0,387688994
0,397250026
0,346589595
0,33914417
0,253615916
0,329760134
0,339645028
0,254017889
0,353880495
0,322692275
0,205546603
0,2351408
0,378602535
0,34836477
0,29424116
0,350548327
0,403935343
0,112288065
0,356764853
0,281685889
0,256912529
0,176708221
0,323082358
0,326530635
0,323319107
0,33353138
0,320195138
0,327203363
0,342940629
0,202947989
0,28319782
0,356485844
0,341950685
0,34223333
0,179071546
0,281115651
0,231962383
0,374856085
0,286098242
0,31383425
0,307949275
0,268965691
0,328009099
0,350016028
0,358907878
0,356920689
0,306374371
0,338502407
0,322077692
0,361354113
0,30031845
0,354510874
0,336073875
0,169896394
0,320026219
0,340127885
0,29092434
0,39413178
0,379904121
0,362488747
0,277213514
0,376869768
0,372068465
0,291746557
0,320584923
0,325979143
0,33437714
0,358018368
0,268830359
0,399784923
0,38344872
0,313028514
0,213650048
0,303689361
0,32142666
0,364130229
0,206462994
0,344346255
0,369363487
0,302799731
0,347810566
0,235632539
0,350261211
0,342984736
0,335541874
0,242161736
0,355773211
0,36115703
0,2643435
0,334678769
0,179927722
0,355849802
0,365175635
0,250031054
0,175566912

Oczywiście - wszystko mogę sobie zrobić w statystyce - ale ja musze to napisać w VBA for Excel i zintegrować ze swoją aplikacją

Dla tych przykładowych danych Statistika daje taki wynik (załącznik)

Z internetu mam to (załącznik 2)

Ale ni groma nie wiem jak to przeniesc na program...
ze wzoru na W - nie rozumiem "licznika" czyli x(i) i ai
niby niżej to opisano ale...

Generalnie musze określić z automatu - czy dany rozkład jest zblizony do normalnego (w jakim stopniu) i
1) ALBO spróbować dopasować jakieś inne rozkłady, o ile kształty histogramów
sie powtarzają i spróbować wyznaczyć przedziały ufności dla tych innych
rozkladów
2) ALBO zastanowić sie, jak podawać rozrzuty dla takich właśnie kształtów
(może osobne odchylenie średnie w góre i w dół?) etc...

Ale póki co skupię sie na zaprogramowaniu testu W

Prosze o pomoc

statystyka shapiro wilk.jpg
test Shapiro Wilka

Plik ściągnięto 890 raz(y) 54,84 KB

stat.jpg

Plik ściągnięto 610 raz(y) 151,56 KB

Google

mathkit · Wysłany: 2007-01-09, 00:10

W teście Shapiro - Wilka najpierw porządkuje się niemalejąco wartości $x_{i}$ , za statystykę testową przyjmuje się zmienną losową:

$W=\frac{\big ( \sum_{i=1}^{[n/2]} a_{i}(n)*(X_{(n-i+1)}-X_{(i)})\big )^2}{\sum_{i=1}^n(X_{i}-\overline{X})^2}$

różnice $X_{(n-i+1)}-X_{(i)}$ są tzw. quasi -rozstępami rzędu $i$ .
$a_{i}(n)$ są stałymi zależnymi zarówno od liczności $n$ próbki, jak i od $i$ .

Osobiście dysponuję tablicami, dla próbek $n<50$ bowiem dla tak dużych próbek jak Twoja zawsze przeprowadzałem test chi-kwadrat albo Lilleforsa.
Ciekawi mnie jak generować te współczynniki. Myślę, że to pytanie do teoretyków. Może Duracell coś wykombinuje, on jest dobry w te klocki.

duraCELL · Sierżant **Pomógł:** 4 razy Posty: 64 Skąd: Wrocław

Ale z Was, Sierzancie, Dowcipnis;-)

a nie

mozecie liczyc tych wspolczynnikow ze wzoru, ktory podaje Wikipedia?;-)

Dobra, jak widac, statystyka testowa

W jest ilorazem dwu kwadratow - mianownik na pewno kazdy rozpoznaje - licznik natomist jest najlepszym liniowym

nieobciazonym estymatorem skali, jak dobrze pamietam - tak sie chyba go konstruowalo... ale wymaga sprawdzenia... a

moze to jest estymator Downton'a?

mathkit · Wysłany: 2007-01-09, 21:00

He he, niezły kawał z tym Excelem. Może ma jeszcze :mrgreen:

Cramera von Misesa....

Jeżeli mnie pamięć nie myli, sam kiedyś chciałem utworzyć makro w Excelu które pozwoli liczyć test Shapiro - Wilka. Niestety skończyło się na tym, że nie znalazłem generatora liczb Shapiro - Wilka i musiałem ręcznie wprowadzać współczynniki $a_{i}(n)$ .
Po seminarium poszedłem dziś do czytelni i w wielkich tablicach statystycznych znalazłem jedynie współczynniki dla $n<50$ tak więc oczywiście rad byłbym poznać jak wygenerować dla próbki o dowolnej liczbności $n_{0}$ .

Jackiller · Wysłany: 2007-01-09, 21:20

Mathkit - dziękuję za podpowiedź
Juz pozamiatane... tzn zrobione.

Miałem problema z ai(n) - że to z tabeli

oto mój produkt - test shapiro-wilka w arkuszu excel
Do pobrania (ten megaupload jest do bani - ale)

program jest dla max 100 danych

Pozdrawiam

mathkit · Wysłany: 2007-01-09, 21:28

Link mi nie chodzi :-(

. Fajnie, że Ci się udało ten problem rozwiązać, chętnie bym zobaczył Twój program.
Jeżeli się zgodzisz, możemy go wczytać do działu download.

Jackiller · Wysłany: 2007-01-09, 21:37

Juz powinno się sciągac - reszta na PW

mathkit · Wysłany: 2007-01-09, 22:13

Ok, zassałem. Bardzo fajnie jest napisany ten programik. Wypisywałeś ręcznie współczynniki $a_{i}(n)$ ?
Bawiąc się w alfa testera. Wrzuciłem dane:
1,07
1,09
1,1
1,11
1,11
1,13
1,14
1,15
1,15
1,15

Statistica, która liczy wartość statystyki zgodnie z tym wzorem wyrzuca wartość

$W=,907$ natomiast Twój program $W=,890$ .

Trzeba by przyjrzeć się bliżej kodowi. Ale program jest ogólnie zajebisty.

Tylko przypomnę, że Excel ma wbudowaną funkcję pozwalającą liczyć mianownik statystyki $W$ . Jest to nic innego jak

Kod:

=ODCH.KWADRATOWE

[/code]

Jackiller · Wysłany: 2007-01-09, 22:31

duraCELL · Sierżant **Pomógł:** 4 razy Posty: 64 Skąd: Wrocław

sprawdzilem to w Xplore W*=0.8879...
To

najprawdopodobniej potwierdza to, co pisze autor kodu VBA...

...ciekawi mnie jednak, czy te wspolczynniki sa

w Statistica stablicowane, czy sa za kazdym razem przeliczane?
jakkolwiek, latwo je ze statystyki pozyskac...

wystarczy dla kazdego n naturalnego zbudowac uklad n rownan opierajac sie na odpowiednio obliczonych przez

Statistice wartosci W* a nastepnie go rozwiazac ze wzgledu na a[i](n), i koniec...

mathkit · Wysłany: 2007-01-10, 08:47

Nie chce się upierać broń Boże przy swoim, ale podobny test zrobiłem w Excelu. Wpisałem sobie współczynniki dokładnie stablicowane w ten sam sposób i wychodzi mi wartość statystyki z dokładnością do 3 miejsc po przecinku $W=,907$ . Dane te wziąłem z książki Malińskiego: "Testowanie (Werifikacja ?) hipotez nieparametrycznych wspierane komputerowo" (Nie pamiętam dokładnie tytułu). i w odpowiedziach wychodzi dokładnie ta wartość.

Jeszcze tylko dodam, bo czuję się winny, że nie podałem Ci tego wczęśniej, że w teście Shapiro - Wolfa ;-)

obszar krytyczny jest obustronny

$Q=\big {W: W<W(\frac{\alpha}{2}) \cup W>W(1- \frac {\alpha}{2}) \big }$

Jackiller · Wysłany: 2007-01-10, 12:34

mathkit · Wysłany: 2007-01-10, 13:40

$Q$ To jest obszar krytyczny, czyli obszar odrzucenia hipotezy zerowej, mówiącej o tym, że badana próbka pochodzi z rozkładu normalnego.
$Q=\big {W: W<W(\frac{\alpha}{2}) \cup W>W(1- \frac {\alpha}{2}) \big }$

Rozważmy to na moim przykładzie (n=10).
Ustalmy poziom istotności $\alpha=0,1$

Wówczas mamy dwie wartości krytyczne $W(\frac{\alpha}{2})=W(0,05)=0,842$ .
oraz $W(1- \frac {\alpha}{2})=W(0,95)=0,978$

Obliczona wartość statystyki wynosi (już :mrgreen:

prawie na pewno, bo jeszcze Duracell może zaprotestować ;-)

) 0,907. Zatem nie należy ona do obszaru krytycznego. Nie ma podstaw do odrzucenia hipotezy zerowej o normalności rozkładu.

Problem jest np. w moim przypadku taki, że nie dysponuję tablicami dla poziomu $<br /> /alpha =0,05$ Wtedy trzeba obliczyć $W(0,025)$ oraz $W(0,975)$
Jak dysponujesz mega tablicami Kwantyli do testu Shapiro - Wilka to byłbym wdzięczny gdybyś przesłał na PW :mrgreen:

Chyba, że poprawisz programik i automatycznie te wartości znajdą się w arkuszu.

Oczywiście pozostaje niegłupi pomysł Duracella o wyciągnięciu na chama tych współczynników.

Jackiller · Wysłany: 2007-01-10, 15:01

W wolnej chwili cos pokukam lub pomyślę.

Układa się to w miarę logicznie... ciekawe co na to powiedzą SSN

beznazwygo5.jpg
Wartości graniczne Shapiro Wilk

Plik ściągnięto 176 raz(y) 434,52 KB

beznazwygo5.jpg
Wartości graniczne Shapiro Wilk

Plik ściągnięto 116 raz(y) 434,52 KB

duraCELL · Sierżant **Pomógł:** 4 razy Posty: 64 Skąd: Wrocław

Ja Was w ogole nie rozumiem!!!
Co jest problemem?

Dodam, WASZYM problemem!

A Mathkit niech sobie zapamieta:

wspolczynniki a[i](n) nie pochodza

pierwotnie z tablic!!! Najpierw zostaly policzone, a nastepnie w tych tablicach umiszczone, rzadko bowiem bywa

odwrotnie!! To co sugerowalem w ostatnim poscie, to nie byla metoda na obliczanie a[i]-now, a jedynie sugestia dla

Jackkillera, ze to, co on uwaza za "wielka tajemnice" pakietu Statistica, takowa nie jest!!! Bowiem latwo

ja odkryc!

Powtorze zatem! Wspolczynniki a[i] wykorzystywane w statystyce W testu Shapiro-Wilka mozna

obliczyc! Juz wspomnialem wyzej, - jednak jakos Was to nie obeszlo, a szkoda - licznik statystyki W ma swoja

interpretacje! Poza tym, Jackkiller zamiescil w pierwszym poscie "piekna" formule pozwalajaca liczyc te

wspolczynniki, ale w swoim "zajebistym" kodzie - ktory jak sie potem okazalo, taki zajebisty nie byl -

nie skorzystal z niej, a jedynie "poszedl na latwizne". Nie wiem dlaczego, warto by go o to chyba

zaptac!

Wyjasnie jeszcze inna kwestie:
Jak opisal to Mathkit, choc wspolczynniki a[i] sa stablicowane, to

jednak najczesciej dla proby 50 elementowej najwyzej... Ciekawe dlaczego?
Hmmm..... mysle, ze zwiazane jest to

poniekad z pojeciem mocy testu, ale nie wiem, czy to ma jakiekolwiek znaczenie dla praktykow!

.. to tyle

tytulem riposty:-) jak bedzie trzeba jeszcze, to chetnie doloze<LOL>

A propos, Jackkiller, jesli nie

chcesz, zeby te nieszczesne wspolczynniki snily Ci sie po nocach, to moze skorzystaj z innego testu, Downtona na

przyklad, opartego na statystyce D; o wiele bardziej przyswajalnej dla inteligencji, chocby nawet SZTUCZNEJ!

<Spaß>