Statystyka, prognozowanie, ekonometria, data mining

Rat · Szeregowy Posty: 4 Skąd: Lublin

Witam.

Mam pewne pytanie. W książkach widnieje znany rozkład do weryfikacji hipotezy o wartości oczekiwanej nieznanego rozkładu.

Warunki jakie przytaczają autorzy to:

- liczna próba $n \geq 30\$
- istnienie wartości oczekiwanej i wariancji
- wariancja większa od 0

Nie spotkałem się natomiast z założeniami jakimi mają podlegać same zmienne losowe - "dowolne" to raczej zbyt szeroka klasa. Pytanie: Jakie więc są założenia dla zmiennych losowych ewentualnie w jakiej literaturze te warunki są podane?

hipotezy:
${H_0}(m={m_0})$
${H_1}(m\neq {m_0})$

statystyka:
$\frac{{\overline{X}_n}-{m_0}}{\frac{{S_n}}{{\sqrt{n}}}}$

zbiór krytyczny:
$(-\infty ;-k>\cup<k;\infty )$

wyznaczanie liczby k:
$\phi (k)=1-\frac{\alpha }{2}$

Google

bulva · Chorąży **Pomógł:** 5 razy Posty: 172 Skąd: Zgierz

Założenia testu studenta:

* Obie twoje próbki pochodzą z populacji o rozkładzie normalnym (test Shapiro - Wilk'a lub Kolmogorov'a - Smirnov'a, graficznie QQ-plot).
* Równość wariancji w obu populacjach (znowu, ponieważ masz tylko swoją próbkę a nie całą populację sprawdzasz to testem Levene'a albo Bartlett'a, graficznie box-ploty).
* Obserwacje są niezależne (miały jednakowa szanse znaleźć się w próbce)

Rat · Szeregowy Posty: 4 Skąd: Lublin

Dzięki, ale to nie jest to. Wiem że założenia co do tego testu są o wiele słabsze. Dwa ostatnie założenia które podałeś
-równość wariancji
-niezależność obserwacji
muszą być oczywiście spełnione bo próba jest prosta, jednak rozkłady nie muszą być tutaj normalne. Jeżeli są normalne wykorzystuje się do tego celu statystykę:

$\frac{{\overline{X}_n}-{m_0}}{\frac{{S_n}}{{\sqrt{n-1}}}}$

i dobiera zbiór krytyczny bazując na rozkładzie Studenta z n-1 stopniami swobody. Czyli tutaj klasa rozkładów dla których działa ten test jest dość mocno ograniczona (do rozkładów normalnych).

Natomiast test o którym wspomniałem ma dotyczyć 'dowolnych' rozkładów nie tylko normalnego (jest tak podane np. w książce: 'Zarys matematyki wyższej' Leitner str. 315, czy chociażby tutaj 'Nieznane odchylenie, duża próba') . Problem polega na tym że taki 'dowolny' to on być nie może i muszą być określone jakieś jeszcze inne warunki, które musi spełniać ten rozkład. To znaczy jeżeli te 3 warunki są spełnione to dla pewnej klasy rozkładów (powiedzmy A) stochastyczna zbieżność podanej przeze mnie statystyki $\frac{{\overline{X}_n}-{m_0}}{\frac{{S_n}}{{\sqrt{n}}}}$ może być wystarczająco szybka tak że odrzucenie ${H_0}(m={m_0})$ faktycznie odbędzie się na zadanym poziomie istotności. Niestety dla pewnej (nieokreślonej właśnie w książkach) klasy rozkładów (powiedzmy B) zbieżność stochastyczna statystyki $\frac{{\overline{X}_n}-{m_0}}{\frac{{S_n}}{{\sqrt{n}}}}$ jest zbyt wolna aby te 3 warunki gwarantowały to że błąd I rodzaju faktycznie będzie wynosił tyle ile przyjmiemy na początku. I mi właśnie chodzi o to jak szeroka jest ta klasa rozkładów A.

bulva · Chorąży **Pomógł:** 5 razy Posty: 172 Skąd: Zgierz

To już jest odporność testu na niespełnione założenia, CTG przy dużej próbie (regułą kciuka uznaje się tutaj 30) zapewnia normalność statystyki T, którą przybliża się rozkładem studenta ponieważ w praktyce nigdy nie znasz odchylenia ani wartości oczekiwanej (estymujesz je).
Postać statystyki T o której tutaj piszesz różni się tym iż raz estymator odchylenia jest obciążony raz nie.
$Var(\bar{X})=Var(\frac{1}{n}\sum X_{i})=\frac{n}{n^{2}}\sigma^{2}\rightarrow SE(\bar{X})=\frac{S}{\sqrt{n}}$
$E[S^{2}]=E[S^{2}]=E[\frac{1}{n}\sum(X_{i}-\bar{X})]=(...)=(\frac{n-1}{n})Var(X)$
To jest ten sam test, test t. Jest on faktycznie dość odporny zwłaszcza na niespełnione założenie 1). Pierwsza wersja ma większa moc jeśli dane pochodzą z rozkładu normalnego. Druga wersja wykorzystuje tylko błąd standardowy estymatora (który jest obciążony jeśli dane są normalne).

Rat · Szeregowy Posty: 4 Skąd: Lublin

Tak, ale nie o to mi do końca chodzi. Chodzi mi natomiast o te właśnie rozkłady dla których 'reguła kciuka' 30 próbek nie ma zastosowania. Może podam przykład.
Powiedzmy że badacz analizuje rozkład X, o którym nic z początku nie wie. Przyjmijmy że w rzeczywistości ten rozkład wygląda tak:

${P(X=9)=0.49999$
${P(X=11)=0.49999$
${P(X=-499990)=0.00002$

Jest on więc skrajnie dziwaczny bo występuje jedna duża wartość której prawd. zajścia jest bardzo małe. I teraz nie ma bata aby badacz wylosował wartość nr 3 po prostu ma nikłe na to szanse.
Z tego powodu najpewniej dojdzie on do wniosku że badany przez niego rozkład ma wartość oczekiwaną $m=10$ .
Przyjmijmy jednak że z jakiś przyczyn stawia on hipotezę ${H_0}(m=0)}$ pobiera próbkę 100 elementową i weryfikuje ją zadanym przeze mnie rozkładem na jakimś poziomie istotności powiedzmy $\alpha =0.05$ . Wtedy, jak łatwo sprawdzić wynik wpadnie do zbioru krytycznego (wartości nr 3 nie wylosował). Czyli zadowolony odrzuca hipotezę na poziomie istotności 0.05. A tu zong bo rozkład w rzeczywistości ma wartość oczekiwaną 0. Jasne jest że w normalnym trybie nie wyciągnie on poprawnego wniosku o wartości oczekiwanej rozkładu. Musiałby przy tym pobrać bardzo dużą próbkę ale przecież nie wie on o tym jaki potworek kryje się w tym rozkładzie.

Podany przeze mnie przypadek jest skrajnie prosty i niewystępujący w praktyce ale podaję go żeby zilustrować problem. W zasadzie można go dowolnie komplikować i urozmaicać.

Pytanie jednak brzmi jak wielka jest klasa takich rozkładów i czym się one charakteryzują? Lub równoważne, dla jakich rozkładów 'reguła kciuka 30 próbek' ma zastosowanie? Oczywiście w praktyce można przyjąć że mamy akurat do czynienia z tym 'poprawnym' rozkładem z którym nie ma takich problemów. Ale wydaje się że rzetelność naukowa wymaga aby przynajmniej badacz zdawał sobie sprawę z ograniczeń stosowanej przez siebie metody. Na koniec chcę jeszcze powiedzieć że rozbieżności w wartościach przyjmowanych przez te 'rozkłady potworki' być może nie muszą być aż tak drastyczne ale tego dokładnie nie wiem i o to właśnie pytam.

MK · Wysłany: 2010-03-06, 01:18

Co do przykładu, to nawet gdybyśmy wiedzieli, że np. tego typu rozkład się nie nadaje, to nie wiedząc o tej anomalii (z próby) i tak nie wiemy, że się nie nadaje :)

Nie ma analitycznych formuł na szybkość zbieżności do rozkładu normalnego. Wszystko zależy od tego jak bardzo dany rozkład jest "podobny" do normalnego. Pewnymi (różnymi) miernikami są statystyki używane do testowania normalności. Dla różnych typów rozkładów można też próbować robić symulacje.

bulva · Chorąży **Pomógł:** 5 razy Posty: 172 Skąd: Zgierz

Są metody na wyznaczanie szybkości zbieżnosci w CTG - twierdzenie Berry-Essena o tym właśnie mówi. Niemniej jednak wydaje mi się że kolega Rat usiłuje troszeczke na siłe znaleźć dziure w całym ;). Taki rozkład jaki podałeś wogóle się nie nadaje do testu studenta i natychmiast się to wychwyci na różnych wykresach. Zawsze masz całą gamę nieparametrycznych metod, które niejednokrotnie mają dużo większa moc i bardzo łatwe do spełnienia założenia. No i dokładnie, jak masz wątpliwości są jeszcze symulacje.

Rat · Szeregowy Posty: 4 Skąd: Lublin

O to to. Właśnie o coś takiego jak tw. Berry-Essena mi chodziło. Od razu lepsze samopoczucie :-)

Tylko dlaczego dziurę w całym? Mnie naprawdę to dołowało ;-)

Że ten rozkład taki podałem to jak napisałem zależało mi na prostocie. Weź sobie dowolny rozkład dyskretny i można łatwo go przerobić dobierając odpowiednio wartość z zadanym prawdopodobieństwem, która to anomalia zmienia gwałtownie parametry rozkładu. Zresztą w przypadku rozkładów ciągłych jest to samo tylko tutaj trzeba by było zmodyfikować prawdopodobieństwo dla pewnego małego przedziału. Łatwo przecież to zrobić. No a symulacje czy cokolwiek innego nie wykryją tych wszystkich potencjalnych anomalii jeżeli zawczasu nie znamy postaci rozkładu bo niby jak? Nawet jak pobrałoby się dużą próbkę i wykryło tę o nr 3 to i tak jakie masz gwarancje (jak nie znasz jawnie rozkładu) że nie ma tam jeszcze jakiejś jednej której prawd. zajścia jest jeszcze mniejsze? Tego nie da się sprawdzić. Można tylko liczyć na to że natura nie jest zbyt wyrafinowana pod tym względem.

MK- Ale przynajmniej wiemy czego wiedzieć nie możemy, a to już naprawdę coś no i sen spokojniejszy :mrgreen:

emka89.89 · Szeregowy Posty: 1 Skąd: Bełżyce

Przeciętna długość produkowanego elementu powinna być równa wynosi 5 m, przy odchyleniu standardowym równym 0,1. Sprawdzić, czy na poziomie istotności 0,05 średnia długość elementu odpowiada wymaganej. Zmierzono 12 elementów, otrzymane wyniki podane są w tabeli.
i xi
1 5,02
2 4,88
3 4,91
4 4,89
5 4,87
6 5,01
7 5,09
8 5,06
9 4,95
10 4,93
11 4,96
12 4,85

w podobnym zadaniu stosowaliśmy wzór R= x-m (x to średnia bo nie umiem tej kreski na górze zrobić.)
Obliczalismy remp oraz -rk

[ Dodano: 2010-03-07, 19:51 ]
nikt nie wie?? :-(

mathkit · Wysłany: 2010-03-07, 23:05

Musisz zastosować test dla wartości średniej. Scaliłem Twój post do odpowiedniego wątku.

Bimbina · Szeregowy Wiek: 23 Posty: 1 Skąd: Gdynia

Witam mam pewien problem, może dla wielu głupi... jak już oblicze w exelu test T.... Uzyskam pewna wartość czy teraz mam to sprawdzić w jakiś tabelach?
Prosze o pomoc muszę uporać sie ze statystyka do magisterki i za żadne skarby ie potrafię sobie przypomnieć jak to sie robiło...

[ Dodano: 2010-03-23, 22:20 ]
Już coś wymyśliłam i doszłam... ale pojawiła się nowy problem. Musze zinterpretować wyniki do magisterki. Prowadziłam obserwacje ilości ptaków na danym terenie , teraz muszę sprawdzić czy istnieje istotne różnica pomiędzy porami roku. Jak mam to policzyć czy porównać średnie z poszczególnych pór roku czy grupy w których zawierać się będę obserwacje które miały miejsce w danej porze roku.

_kurt_ · Szeregowy Posty: 7 Skąd: Chęciny

Pomóżcie!!!!!!!!!!!!!
mam dwie grupy badań tych samych osób przed i po okr. przygotowawczym oraz trzy różne testy wydolności które mam porównać ze sobą za pomocą t-Studenta znam średnie, odchyl. standardowe i liczebność grupy
są to grupy zależne a nie pamiętam jak to zacząć bo statystykę miałem na I semestrze
oto dane podpowiedzcie rozw.
n=12
R.Costilla Test Coopera PWC 170 VO2max (l/min) VO2max(l/min)

VO2max VO2max (W) I II
(ml/kg/min) (ml/kg/min) 150W 150W
I II I II I II

45 50 52,5 55,58 207,67 230,9 3,35 3,56 Średnia artmety.
5,64 4,84 2,39 2,54 49,96 83,96 0,45 0,75 Odchylenie standardowe
Wyniki badań
I- Próba wykonana przed okresem przygotowawczym
II- Próba wykonana po okresem przygotowawczym

jak bym mógł to poprosiłbym na e-maila można wysłać podpowiedź M_lorak@poczta.fm

Shidley · Wysłany: 2010-04-06, 12:44

mnie to wygląda na test dla prób zależnych (te same osoby w grupie?) - proponuje testy dla średnich... trzy

_kurt_ · Szeregowy Posty: 7 Skąd: Chęciny

grupy są te same a tak dokładnie to są wyniki grupy zawodników przed i po okresie przygotowawczym w trzech testach sprawnościowych mam porównać wyniki przed i po treningu oraz różnicę między testami (Coopera, Costilla oraz PWC170)
nie pamiętam czy mam postawić Ho i H1, H2 (H1 trening poprawił wydolność, H2 trening nie poprawił wydolności) czy tylko Ho i H1
proszę o pomoc i wskazówki jak zacząć

[ Dodano: 2010-04-06, 21:43 ]
i jeszcze jedno promotor kazał to obliczyć przez t-studenta

Shidley · Wysłany: 2010-04-07, 08:57

zacznij od Ho:m1=m2 wobec H1:m1<m2 (m1 średnia przed , m2 średnia po)