Statystyka, prognozowanie, ekonometria, data mining

green power · Szeregowy Posty: 16 Skąd: Kraków

Witam!
Mam do Was moi mili pytanie nt. błędów jakie pojawiają sie przy stosowaniu w/w regresji. Chodzi mi tu o zbieżne ze sobą błędy "złego uwarunkowania macierzy" i "zmiennych niezależnych nadmiarowych". Wobec powyższych pewne zmienne w mojej analizie są redundantne, a więc nadmiarowe wobec pozostałych (mogą być poprzez nie wyrażone). Z matematycznego pkt widzenia ok. Prowadzę jednak badania przyrodnicze i z tego właśnie punktu widzenia wyeliminowanie niektórych zmiennych nie jest w mojej opinii pożądane (i tak już znaczną ilość zmiennych wyeliminowałem, upraszczając statystykę) i wolałbym je pozostawić w analizie. Jak zatem pozbyć się w wspomnianych błędów. Wyczytałem gdzieś, ze można zmienić (tu: zmniejszyć) domyślną wartość minimalnej akceptowalnej tolerancji (tj. 0,01), tylko jak to zrobić i czy ten sposób rozwiąże powyższe problemy?
z góry dziękuję za pomoc

pozdrawiam
tomek

Google

Skorka · Wysłany: 2008-03-29, 23:49

Witam,
Jesli masz sporo zmiennych skorelowanych ze soba i nie chcesz sie ich pozbywac, to mozna z nich obliczyc np pierwsza zmienna skladową. Taka nowa zmienna (zawierająca w pewnym sensie efekty zmiennych skorelowych ze sobą) moze byc potem użyta w analize. Tyczy sie to zreszta nie tylko regresji logistycznej, ale kazdego typu regresji.
Zmienne skladowe da sie wyciagnac chyba w kazdym pakiecie statystycznym, wiec z ich obliczeniem nie powinno byc problemu.
Pozdrawiam
Piotrek

green power · Szeregowy Posty: 16 Skąd: Kraków

Dzięki za szybką odpowiedź
Rozumiem, że masz na myśli np. coś ala analiza składowych głównych; również o jej zastosowaniu myślałem, ale niestety nigdy tego nie robiłem (znaczy nie stosowałem PCA ;-)

); czy (i jak) da się ją przeprowadzić w pakiecie Statistica 7 ?

dodano:

właśnie znalazłem ją w Stat 7 :-)

teraz będę próbował ją rozgryźć, może jakieś wskazówki...?

cogito · Wysłany: 2008-03-30, 16:32

Zmienic minimalna dopuszczalna tolerancje mozna tylko w wyjatkowych sytuacjach, gdy masz bardzo duzo danych (obserwacji nie zmiennych) a i wtedy wymaga to dodatkowej uwagi
zle uwarunkowana macierz prowadzi do bledow w ocenach efektow i generalnie to nie jest dobre rozwiazanie

Pomysl Skorka wydaje sie najrosadniejszy jezeli nie chcesz rezygnowac ze zmiennych, taka regresja z PCA nazywa sie PCR, jest zaimplementowana m.in. w R
nie musisz oczywiscie ograniczac sie do pierwszej skladowej mozesz ich wybrac wiecej

Innym rozwiazaniem jest Bayesowskie podejscie do estymacji ale wymaga to sprecyzowania wielu rzeczy, wiec jezeli tego nie robiles to lepiej nie eksperymentowac na jeszcze zywym pacjencie

green power · Szeregowy Posty: 16 Skąd: Kraków

co do PCA będę się jeszcze jutro konsultował, mam za to jeszcze inne pytanie, mianowicie o metodę estymacji w regresji logistycznej - od czego zależy jej wybór i czy wybrać np "quasi-Newtona" czy "Rosenbrocka i quasi-Newtona" (po zastosowaniu tego drugiego przypadku, w jednej z macierzy wyeliminował się błąd złego uwarunkowania!, a wyniki testów, różnią sie jedynie w przypadku zmiennych nadmiarowych, wobec pozostałych są identyczne)

[ Dodano: 2008-11-01, 09:26 ]
witajcie ponownie
tym razem chciałem zapytać o kwestie lingwistyczne - przygotowuję publikację i poszukuję właściwych angielskich tłumaczeń dla statystycznych określeń znajdujących się w wynikach regresji tj.

Stała B0
błąd standardowy
poziom p
poziom istotności
całkowita strata

Ufam, że dla kogoś obytego ze statystycznymi publikacjami nie bedzie z tym kłopotu

z góry dzięki za pomoc

[ Dodano: 2009-02-13, 13:48 ]
Jeszcze jedna kwestia - chciałem zapytać o waloryzację otrzymanych modeli. Jeśli np. otrzymałem trzy modele (zestawy zmiennych), a każdy z nich zawiera po 4 zmienne. Jak teraz sprawdzić, który z nich jest najlepszy. W różnych publikacjach podawany jest "procent przypadków, jaki został przez dany model prawidłowo zaklasyfikowany" (cytat z publikacji: "The resulting models were assessed using goodness-of-fit based on maximum likelihood estimates, and the overall rate of correct classification of the response variable" oraz "The complete set of parameters correctly classified 76,9% of plots occupied (...) and 93,8% of plots unoccupied (...).")
Jak to sprawdzić/obliczyć? Używam STATISTICA 7.
dziękuje za wskazówki

Pearson · Wysłany: 2009-02-13, 14:35

Cytat:

co do PCA będę się jeszcze jutro konsultował, mam za to jeszcze inne pytanie, mianowicie o metodę estymacji w regresji logistycznej - od czego zależy jej wybór i czy wybrać np "quasi-Newtona" czy "Rosenbrocka i quasi-Newtona" (po zastosowaniu tego drugiego przypadku, w jednej z macierzy wyeliminował się błąd złego uwarunkowania!, a wyniki testów, różnią sie jedynie w przypadku zmiennych nadmiarowych, wobec pozostałych są identyczne)

Chyba sam sobie odpowiedziałeś. Zauważ również, że w metodzie quasi-Newtona stosuje się różne aktualizacji macierzy hessianu, np. DFP, BFGS. Która wybrać - nieraz trzeba poeksperymentować.

green power napisał/a:

Stała B0
błąd standardowy
poziom p
poziom istotności
całkowita strata

intercept
standard error
p-value
significance level
loss ... (a czego to dotyczy?)

green power napisał/a:

Jeszcze jedna kwestia - chciałem zapytać o waloryzację otrzymanych modeli. Jeśli np. otrzymałem trzy modele (zestawy zmiennych), a każdy z nich zawiera po 4 zmienne. Jak teraz sprawdzić, który z nich jest najlepszy.

Nie funkcjonuje taki termin jak waloryzacja. Zapewne chodzi ci o walidację. Tutaj jest duża dowolność, ale warto wykorzystać kilka rzeczy, m.in. te o których wspominasz. Zauważ, że jeśli wykorzystasz test oparty na ilorazie wiarygodności (LRT), wtedy otrzymujesz odpowiedź - tak/nie lepszy/niegorszy. Gdy wykorzystasz kryterium klasyfikacji to sam musisz podjąć decyzję, kiedy powiedzieć, że model A jest lepszy od B. Musisz pamiętać o jednej ważnej rzeczy odnoście testu LRT: modele muszą być hierarchiczne. Gdy nie są, oprócz poprawności klasyfikacji wykorzystaj kryteria informacyjne: AIC, BIC, CAIC, ICOMP itd.

green power · Szeregowy Posty: 16 Skąd: Kraków

Dziekuję bardzo za odpowiedź,

Pearson · Wysłany: 2009-02-14, 12:09

green power · Szeregowy Posty: 16 Skąd: Kraków

Wracając raz jeszcze do kryteriów AIC, BIC - czy mają one zastosowanie w przypadku, gdy nie wszystkie parametry modeli mają rozkład ciągły (są tam np. zmienne dychotomiczne 0/1, jak w modelach regresji logistycznej)? Spotkałem się bowiem w kilku artykułach nt kryterium Akaike, że ma ono zastosowanie tylko w przypadku, gdy parametry modeli mają rozkład ciągły.
z góry dziękuję za odpowiedź

Pearson · Wysłany: 2009-06-17, 14:47

green power · Szeregowy Posty: 16 Skąd: Kraków

Pearson · Wysłany: 2009-06-17, 22:02

green power · Szeregowy Posty: 16 Skąd: Kraków

Pearson · Wysłany: 2009-06-18, 09:26

green power · Szeregowy Posty: 16 Skąd: Kraków