Krzysztof Bielecki

Krzysztof Bielecki Jestem smutny i
nudny

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Witajcie,
mam pewne pytanie związane z analizą czynnikową.
Jako, że metody ilościowe są mi raczej obce, zaczęła mnie nurtować pewna kwestia odnośnie kwestionariusza, dane z którego analizuję do swojej pracy magisterskiej.
Otóż kwestionariusz ten dotyczy tego, jakie zachowania podejmują ludzie w mieście.
Postaram się opisać w czym problem w dużym uproszczeniu.

Skala, której użyłem w kwestionariuszu była 6 stopniowa, gdzie 1 oznaczało, że wykonuje się daną czynność kilka razy w tygodniu, a 5 oznaczało, że nie wykonuje się jej praktycznie nigdy (6 oznaczało odmowę odpowiedzi).

Otóż z bardzo wielu zmiennych udało mi się za pomocą analizy czynnikowej wyodrębnić pewną liczbę czynników.
Teraz staram się każdy z tych czynników opisać, tzn. wyjaśnić co się na niego składa.

I tak przykładowo mam czynnik, nazwijmy go X, dla którego otrzymałem następujące istotne składowe:
Uczęszczanie do muzeów ,793
Uczęszczanie do galerii sztuki ,707
Uczęszczanie do teatrw ,691
itd.

I teraz zastanawiam się, czy taki wynik oznacza, że osoby o profilu X często uczęszczają do muzeów, galerii i teatrów, czy może wręcz przeciwnie, robią to rzadko?

A co by było, gdyby moja skala był odwrócona? (1 oznaczałoby nie robienie tego wcale, a 5 robienie tego bardzo często)

A co by było, gdyby wartości były ujemne, np. -,0793?

Będę wdzięczny za odpowiedź :)

Pozdrowienia
K.

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Witam serdecznie,
Skala, której użyłem w kwestionariuszu była 6 stopniowa, gdzie 1 oznaczało, że wykonuje się daną czynność kilka razy w tygodniu, a 5 oznaczało, że nie wykonuje się jej praktycznie nigdy (6 oznaczało odmowę odpowiedzi).

Analizę czynnikową przeprowadza się na skali co najmniej przedziałowej, dla zmiennych o rozkładzie normalnym. Jednakże prof. Stanisz pisze, że spotyka się w literaturze rozwiązania na skali porządkowej. Pisze dość lakonicznie, więc nie wiem, czy jest to właściwe podejście - potrzebne zdanie kogoś bardziej doświadczonego.

EDIT: Można - przykład w "Analiza danych z wykorzystaniem programu R" :)
I teraz zastanawiam się, czy taki wynik oznacza, że osoby o profilu X często uczęszczają do muzeów, galerii i teatrów, czy może wręcz przeciwnie, robią to rzadko?

Wynik jest blisko 1, często.

Przyjmuje się, że ładunki wynoszące |l| <= 0,3 mają minimalne znaczenie. Znaczenie praktyczne przypisuje się ładunkom o wartości |l| >= 0.5. Dodatkowo należy zbadać statystyczną istotność ładunków. A na koniec - ocenę dopasowania modelu czynnikowego.
A co by było, gdyby moja skala był odwrócona? (1 oznaczałoby nie robienie tego wcale, a 5 robienie tego bardzo często)

To samo, co dla korelacji. Jeśli zmieni się porządek (A-Z -> Z-A) obu zmiennych, korelacja nie ulegnie zmianie. Jeśli kierunek tylko jednej zmiennej - korelacja będzie miała przeciwny znak.

Trzeba być konsekwentnym i wszędzie przyjąć jeden "kierunek". Wymieszanie kierunków kilku tylko zmiennych (czyli np. dla kilku 1 to mało, a 6- dużo, dla innych - odwrotnie), wyniki będą trudne do przewidzenia, trzeba by prześledzić krok po kroku cały proces obliczeniowy. Nie polecam :)

A co by było, gdyby wartości były ujemne, np. -,0793?

To znaczy, że ten ładunek ma ujemny wpływ na dany czynnik - analogicznie do regresji, korelacji.

PozdrawiamAdrian Olszewski edytował(a) ten post dnia 01.07.09 o godzinie 22:56
Krzysztof Bielecki

Krzysztof Bielecki Jestem smutny i
nudny

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Dziękuję za ciekawą i wyczerpującą wypowiedź, ale nadal mam pewne wątpliwości, które być może wynikają z tego, że nie do końca rozumiem istotę analizy czynnikowej.

Wiem, że może posłużyć mi do zredukowania wielu zmiennych do kilku.
Zrozumiałem też, że ładunek (bez względu na to czy jest on ujemny czy dodatni, ważne, żeby jego wartość bezwzględna była odpowiednio duża) wpływa dodatnio lub ujemnie na dany czynnik.

Myślę, że patrząc w raporty SPSSa jestem w stanie odczytywać składowe czynników oraz mówić o tym, czy dana zmienna wpływa dodatnio czy ujemnie na dany czynnik, co mnie niewątpliwie cieszy.

Nadal nie jestem jednak pewien tego, w jaki sposób (i czy w ogóle) na podstawie moich danych mogę wnioskować o kierunku zależności. Zależałoby mi jeszcze na tym, żeby wrócić do podanego przeze mnie przykładu.
Tak więc przykładowo mam czynnik, nazwijmy go X, dla którego otrzymałem następujące istotne składowe:
Uczęszczanie do muzeów ,793
Uczęszczanie do galerii sztuki ,707
Uczęszczanie do teatrw ,691
Inna_wymyślona_zmienna -,888
Wiem już, że wszystkie cztery czynniki mają wpływ na nowopowstałą zmienną X. Teraz mam dylemat, czy ta zmienna X może zostać nazwana "kulturą wyższą" czy wręcz przeciwnie "unikaniem kultury wyższej". A może mój problem nie ma sensu?

Wszystko przy założeniu, że 1 oznacza najczęstsze uczęszczanie a 5 oznacza najrzadsze uczęszczanie.

Ewentualnie jeszcze inny przykład:

Obrazek

Czy czynnik "1" oznacza, że taka osoba jest
a) kierowcą i rowerzystą, który zdecydowanie unika komunikacji
miejskiej?
b) wręcz przeciwnie, jest osobą korzystającą z komunikacji miejskiej i wcale nie jeździ autem ani roweremKrzysztof Bielecki edytował(a) ten post dnia 02.07.09 o godzinie 00:24

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

OK. Po pierwsze rozróżnijmy dwie rzeczy:

- Analiza składowych głównych - forma matematycznej organizacji danych
- Analiza czynnikowa - metoda "odkrywania" zmiennych latentnych.

Dlatego, że wyniki obu analiz interpretuje się odmiennie (chociaż zazwyczaj prowadzą do podobnych wniosków).

Piszę o tym, bo zauważyłem, że mówisz o analizie czynnikowej i o składowych w kontekście jednej analizy.

Załóżmy jednak, że przeprowadzamy analizę czynnikową, żeby odkryć tzw. zmienne latentne (ukryte), których co prawda nie obserwujemy empirycznie (tak, jak np. odpowiedzi na pytania kwestionariusza), ale możemy je zmierzyć za pomocą wskaźników (np. właśnie odpowiedzi na pytania kwestionariusza).

Ty stawiasz hipotezę, że istnieje co najmniej jedna ukryta zmienna, która wpływa na zmienne obserwowalne takie, jak np. częstość chodzenia do kina, teatru, czy muzeum.

Analiza czynnikowa pozwoli ci odkryć te zmienne i obliczyć ich wartości dla każdej z obserwacji. Problem polega jednak na tym, że jako procedura matematyczna "jest głupia" i potrafi znaleźć nieskończoną liczbę różnych kombinacji (rozwiązań), które są silnie skorelowane z pewnymi zestawami pozycji skali w kwestionariuszu. Dlatego musi przyjąć jakieś kryteria.

Rozwiązanie wstępne ma więc tę cechę, że w jego przypadku pierwszy czynnik wyjaśnia maksymalnie dużo całkowitej wariancji, następny wszystko, co może wyjaśnić, będąc nieskorelowany z poprzednim i tak do końca, aż cała wariancja zostanie wyjaśniona.

Problem z rozwiązaniem wstępnym polega zazwyczaj na tym, że niektóre czynniki są silnie skorelowane z kilkoma z pozycji skali (czyt. niektóre zmienne-pozycje skali mają wysokie ładunki czynnikowe na więcej niż jednym czynniku). Musimy nasze "rozwiązanie" nieco podrasować, po to, żeby stało się interpretowalne.

W tym celu dokonujemy tzw. "rotacji", która polega na takim obróceniu układu współrzędnych (można sobie całe rozwiązanie czynnikowe wyobrazić jako pewien układ współrzędnych o ilości wymiarów równej ilości wyłonionych czynników, w którym punkty reprezentują zmienne-pozycje skali), żeby niektóre zmienne ładowały mocno jeden czynnik a pozostałe inny. Dzięki temu otrzymujemy klarowne i stosunkowo łatwe w interpretacji rozwiązanie. Jest wiele różnych strategii rotacji, ale nie chcę się tu rozpisywać.

Załóżmy, że otrzymałeś następujące rozwiązanie:




Zmienna | Czynnik 1 Czynnik 2
|
-------------------------------------------
|
Kino | 0,70 0,12
Kręgle | 0,85 0,06
Teatr | 0,21 0,84
Muzeum | 0,07 0,93



Jak to interpretować?

Istnieje jakaś ukryta zmienna (czynnik), która jest silnie skorelowana z częstotliwością uczęszczania do kina i częstotliwością uczęszczania na kręgle oraz druga ukryta zmienna, silnie skorelowana z częstotliwością uczęszczania do teatru i do muzeum.

Musimy to jakoś zinterpretować (nazwać te nowe zmienne). Tu z pomocą przychodzi już teoria dziedziny. Ale załóżmy, że pierwsza z nich to może być zamiłowanie do kultury masowej, a druga to zamiłowanie do kultury wyższej.

I voila - mamy fajne rozwiązanie. Wiem, że przykład głupi, ale nie chciało mi się myśleć :)

Nie traktuj proszę tego posta, jako kompendium analizy czynnikowej, bo o zbyt wielu ważnych rzeczach nie napisałem.
Krzysztof Bielecki

Krzysztof Bielecki Jestem smutny i
nudny

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Paweł Sopel:
Istnieje jakaś ukryta zmienna (czynnik), która jest silnie skorelowana z częstotliwością uczęszczania do kina i częstotliwością uczęszczania na kręgle oraz druga ukryta zmienna, silnie skorelowana z częstotliwością uczęszczania do teatru i do muzeum.

OK, a gdyby pojawiła się tu jeszcze jedna zmienna składowa, która miałaby silnie ujemny ładunek? Bo w Twoim przykładzie wszystkie miały dodatni.

No i ta rzecz, która cały czas mnie niepokoi - jak ma się do tego fakt, że w mojej skali największa wartość jest pod 1 (robienie tego kilka razy w tygodniu) a najniższa pod 5 (nie robienie tego nigdy), a nie odwrotnie. Cały czas się zastanawiam, czy przez to nie powinienem czytać wyników odwrotnie, tzn. czy ten mój nowy czynnik który powstał jest "kulturą wyższą" czy "unikaniem kultury wyższej".

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Krzysztof Bielecki:

OK, a gdyby pojawiła się tu jeszcze jedna zmienna składowa, która miałaby silnie ujemny ładunek? Bo w Twoim przykładzie wszystkie miały dodatni.


Widzę, że jeszcze trochę mieszasz się z nomenklaturą, ale spoko, to się zdarza.

Po pierwsze odróżniaj składowe od czynników, to niby dwie bardzo podobne sprawy, ale pozwoli ci to uniknąć późniejszych nieporozumień.

- Składowe mamy w analizie składowych głównych i są to po prostu kombinacje liniowe pierwotnych zmiennych skali.

- Czynniki mamy w analizie czynnikowej i są to zmienne ukryte wpływające na na wartości zmiennych w skali (wskaźniki).

Po drugie zmienne ładują konkretne czynniki, więc czynniki mają różne ładunki na różnych zmiennych skali. Nie zwróciłeś na to uwagi, zadając pytanie.

Gdyby pojawił się trzeci czynnik, ładowany ujemnie przez niektóre pozycje skali, to po prostu intepretowałbyś go jako kolejną ukrytą zmienną, która wpływa ujemnie na te obserwowalne pozycje skali.

No i ta rzecz, która cały czas mnie niepokoi - jak ma się do tego fakt, że w mojej skali największa wartość jest pod 1 (robienie tego kilka razy w tygodniu) a najniższa pod 5 (nie robienie tego nigdy), a nie odwrotnie. Cały czas się zastanawiam, czy przez to nie powinienem czytać wyników odwrotnie, tzn. czy ten mój nowy czynnik który powstał jest "kulturą wyższą" czy "unikaniem kultury wyższej".

Tak, powinieneś interpretować to odwrotnie, bo twoje wskaźniki są skonstruowane tak, jakby miały być wskaźnikami "nierobienia tego". Proponuję przed analizą obrócić skalę - czyli zrekodować zmienne 1->5, 2-> 4 i tak dalej.
Krzysztof Bielecki

Krzysztof Bielecki Jestem smutny i
nudny

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Dzięki za wyjaśnienie!
Paweł Sopel:
Tak, powinieneś interpretować to odwrotnie, bo twoje wskaźniki są skonstruowane tak, jakby miały być wskaźnikami "nierobienia tego". Proponuję przed analizą obrócić skalę - czyli zrekodować zmienne 1->5, 2-> 4 i tak dalej.

Potworzyłem już sporo tych czynników, więc niechętnie robiłbym to wszystko od nowa na obróconej skali. Czy nie otrzymam takiego samego rezultatu odwracając teraz skalę nowopowstałych czynników?

Update: w ramach nabywania wprawy zrobiłem wszystko jeszcze raz. Po raz trzeci :) W końcu mgr to także okazja do nauczenia się takich rzeczy.Krzysztof Bielecki edytował(a) ten post dnia 02.07.09 o godzinie 22:13
Krzysztof Bielecki

Krzysztof Bielecki Jestem smutny i
nudny

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

OK, chyba zrozumiałem. A pomogłem sobie robiąc takie oto wykresy dla zmiennej, którą nie wiedziałem czy nazwać imprezowaniem, czy unikaniem imprezowania.


Obrazek


To jest wykres dla tej skali, którą miałem w kwestionariuszu (czyli 1 oznaczało robienie czegoś często, a 5 rzadko). Uświadomiłem sobie, że ten czynnik, który mi tutaj powstał powinien się nazywać "unikaniem imprez", a nie imprezowaniem, a pomogłem sobie robiąc lustrzane odbicie osi "kluby" (tak żeby wartości na osi "kluby" przyrastały w prawo), o w ten sposób:


Obrazek


Wtedy zauważyłem, że wraz ze wzrostem częstotliwości chodzenia do klubów, wartość czynnika, który powstał spada, a więc nie powinienem nazywać go imprezowaniem, tylko raczej unikaniem imprez. Dlatego też aby wszystko było ładnie, dokonałem rekodowania zmiennych na te same zmienne, w taki sposób, żeby odwrócić skalę, tak, żeby teraz 1 oznaczało robienie czegoś rzadko a 5 robienie czegoś często. Ponownie zrobiłem wykres i otrzymałem coś takiego:


Obrazek


Tutaj zauważyłem, że wraz ze wzrostem wartości zrekodowanej zmiennej kluby, wzrasta też wartość nowopowstałego czynnika, tak więc stwierdziłem, że teraz mogę nazwać sobie ten czynnik imprezowaniem i wszystko jest w porządku.

Right? :)

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Wygląda na to, że right.

Widać, że masz dobre dane, bo rzeczywiście wszystko ładnie układa się w interpretowalną całość.

Widać, że masz zadatki na dobrego analityka - klarownie przedstawiasz problem, sam starasz się dojść do rozwiązania. Tak trzymaj, a dużo zrozumiesz i wiele się nauczysz.

Pzdr!

P.S:

Czasem łatwiej, zamiast wartości czynnikowych pracować na tzw. "wartościach opartych na czynnikach". Jeśli kilka zmiennych ładuje ci mocno jeden czynnik, to możesz policzyć sobie z nich średnią:

np: imprezowanie = kluby + prywatki / 2 ...

używając polecenia COMPUTE, albo przekształcenia -> oblicz wartości.

Dzięki temu dostaniesz nową zmienną mierzoną na takiej samej skali, jak zmienne wejściowe.

Tylko zawsze zapisz sobie w jednej zmiennej odpowiednie wartości czynnikowe, w drugiej wartości oparte na czynnikach i sprawdź, jak ze sobą korelują. Mnie się jeszcze nie zdarzyło dostać R Pearsona między wartościami czynnikowymi i opartymi na czynnikach mniejszego od 0,85, ale przezorny zawsze ubezpieczony :)
Krzysztof Bielecki

Krzysztof Bielecki Jestem smutny i
nudny

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Paweł Sopel:
Wygląda na to, że right.

:)
Widać, że masz dobre dane, bo rzeczywiście wszystko ładnie układa się w interpretowalną całość.

Jak tak patrzę na kolejne porcje danych, to tam też wychodzi całkiem logicznie, co - nie ukrywam - bardzo mnie cieszy.
Widać, że masz zadatki na dobrego analityka - klarownie przedstawiasz problem, sam starasz się dojść do rozwiązania. Tak trzymaj, a dużo zrozumiesz i wiele się nauczysz.

Dzięki za miłe słowa! :)
Pzdr!

P.S:
Czasem łatwiej, zamiast wartości czynnikowych pracować na tzw. "wartościach opartych na czynnikach".

A to ciekawy trik. Ale nie ma problemów z tym, że jedna z tych zmiennych ładuje np. aż 0,9, a inna tylko 0,55? Bo coś czuję, że lepiej to się sprawdza, gdy wartości poszczególnych czynników są zbliżone.
Tylko zawsze zapisz sobie w jednej zmiennej odpowiednie wartości czynnikowe, w drugiej wartości oparte na czynnikach i sprawdź, jak ze sobą korelują. Mnie się jeszcze nie zdarzyło dostać R Pearsona między wartościami czynnikowymi i opartymi na czynnikach mniejszego od 0,85, ale przezorny zawsze ubezpieczony :)

Aaa, rozumiem, robiąc to rozwieję swoje wątpliwości w takich niepewnych sytuacjach typu 0,9 i 0,55. W sensie, że jak wyjdzie mi zbyt małe r, to nie mogę stosować tych wartości opartych na czynnikach.

Thx!Krzysztof Bielecki edytował(a) ten post dnia 03.07.09 o godzinie 00:35

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Nie było mnie jakiś czas, a tu widzę, że Paweł wcielił się w podręczną encyklopedię analizy czynnikowej :)
Normalnie szacun za umiejętność przekazywania wiedzy, tylko się uczyć.

Dodatkowo jeszcze trzeba by polecić jakąś książkę, która będzie pomocna, gdy nie będzie pod ręką internetu. Skoro raz trzeba było skorzystać z analizy czynnikowej, to pewnie za chwilę trzeba będzie znów - i może nie tylko z niej.

Andrzej Stanisz - Przystępny kurs statystyki za zastosowaniem Statistica PL na przykładach z medycyny - Tom 3. Analizy wielowymiarowe.

http://www.statsoft.pl/ksiazki/book26.html

Książka dodatkowo porusza ważne kwestie, jak analiza istotności i dopasowania, interpretacji czynników, wyboru ich liczby i mnóstwo innych ważnych zaleceń i uwag (kilka sekcji "podsumowanie").

W wielu miejscach polecam tę książkę, ale nic nie poradzę, że wartościowa literatura jest po prostu... wartościowa. To takie "must have" :) Bardzo łatwo dostępna.

Ja się uczyłem analizy czynnikowej z dość wiekowej już książeczki Jana Okónia - "Analiza czynnikowa w psychologii", ale to był zły wybór. Przy pierwszym czytaniu kompletnie straciłem obraz tej metody na rzecz zawiłości matematycznych, interpretacji i analogii. Inna sprawa, że przedstawiono tam procedurę krok po kroku z bardzo wnikliwym opisem "co, po co i dlaczego", na tyle, że można było z ołówkiem, kartką przeprowadzić taką analizę.
Książka jednak jest niezastąpiona, gdy najpierw "ugryzie się Stanisza" :) Dość trudno dostępna już.

Spis treści

Dodatkowo, od strony bardzo matematycznej, przyda się "Statystyczna analiza danych z wykorzystaniem programu R".
Spis treści

EDIT:
Taka offtopowa refleksja: mamy grupę zbliżonych obliczeniowo metod, choć każda do czego innego: analiza kanoniczna, analiza składowych głównych i analiza czynnikowa. Wszędzie macierze korelacji (kowariancji), wartości własne, czynniki/składowe, ładunki czynnikowe, maksymalizacja wariancji, ortogonalność i inne. Dodatkowo wszystkie te metody pozwalają dokonać redukcji liczby zmiennych. To dobrze, bo zrozumienie jednej z tych metod uprości zrozumienie kolejnych.
Swoją drogą - PCA to narzędzie przydatne przy dalszej analizie regresji w przypadku, gdy nasze zmienne wyjściowe są ze sobą skorelowane.Adrian Olszewski edytował(a) ten post dnia 04.07.09 o godzinie 21:07
Konrad W.

Konrad W. Data scientist /
Data engineer / Web
Analyst

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Skoro już po badaniu to raczej też i "po ptokach" ale następnym razem unikaj skal zawierających takie stwierdzenia jak "nigdy", "zawsze" itp. Pamięć respondenta i jego interpretacja takich ogólników jest zwykle niewiadomą i NIGDY nie jesteś pewien co oznacza "nigdy" - dla niektórych to "nigdy w życiu" a dla innych to "z reguły nigdy chociaż niedawno akurat byłem dwa razy". To taki szczegół na przyszłość. ;) Szczególnie w analizie czynnikowej dobrze, żeby skala była równo rozmieszczona jeśli wiesz o czym mówię.

Skoro się wkręciłeś w temat to dobrze żebyś jeszcze przeprowadził analizę rzetelności (RA) i konfirmacyjną analizę czynnikową (CFA). Pierwsza odrzuci ci pozycje ankiety które się, jak to pisał Paweł "głupio" ;) korelują, a druga pozwoli ocenić czy otrzymane czynniki są faktycznie niezależne, jak zakłada się w metodzie, czy też istotnie skorelowane (dodatnio/ujemnie). To tak w skrócie ale dosyć ważne.

Temat: Pytanie odnośnie tego, jak działa analiza czynnikowa

Aha, jeszcze jedno, a propos podręcznika Stanisza, co może zmylić - niekonsekwencja oznaczeń.

Rozdział 4 - Analiza składowych głównych

Na stronie 168 mowa jest o równaniach w rodzaju:
Obrazek

Dalej, na stronie 178, mamy równanie macierzowe Z = AX.

Rozdział 5 - Analiza czynnikowa

Na stronie 213 widzimy układ równań:
Obrazek

i zaraz na stronie 214 widzimy zapis X = AZ

Co oczywiście nie jest prawdą, chyba, że A jest macierzą jednostkową :)

Dodatkowo, w rodziale o PCA wychodzi się od Z=AX, w analizie czynnikowej - od X=AF + BU

Oba podejścia są właściwe i tym właśnie różnią się obie metody, chociaż różnica jest subtelna: w PCA tworzę nowe zmienne Z, będące kombinacjami liniowymi istniejących zmiennych X, a w a.czyn. szukam zmiennych ukrytych, wpływających na X.

Tylko, że dla obu zapisów w obu rozdziałach przyjęto jeden symbol "A" dla oznaczenia macierzy współczynników przekształcenia liniowego. Dopiero na stronie 222 widzimy poprawny zapis F = AT * X

Aczkolwiek nadal nie-matematyk nie będzie wiedział, dlaczego (WTF...)
Obrazek

I cóż, że kilkakrotnie powtórzone jest, że A jest macierzą ortogonalną, skoro nie jest wspomniane, co to znaczy w kontekście operacji odwracania macierzy. A dodatek poświęcony macierzom z tomu II o tym nie wspomina.

-----------
Wstawianie obrazków na GL to koszmar :/
Było już zgłaszane, ale widać są ważniejsze rzeczy, niż idiotyczne łamanie tekstu po obrazku...Adrian Olszewski edytował(a) ten post dnia 05.07.09 o godzinie 17:06



Wyślij zaproszenie do