77

Ćwiczenie nr 10:

ANALIZA GŁÓWNYCH SKŁADOWYCH

Celem przedostatniego ćwiczenia laboratoryjnego jest wykonanie analizy podobieństwa

cech i obiektów metodą o największym ciężarze gatunkowym, jaką jest analiza głównych

składowych (ang. Principle Component Analysis, PCA). Realizacja tego celu gwarantuje masę

zabawy i niezapomnianych wrażeń.

I. PRZYGOTOWANIE DANYCH DO PROGRAMU PCA.EXE.

Należy przygotować dwa pliki danych wejściowych do programu PCA.EXE. Pierwszy

plik, o przykładowej nazwie dane.nzw (wymagane jest rozszerzenie *.nzw26), powinien

zawierać nazwy wszystkich obiektów, umieszczone w kolumnie. Długość nazwy obiektu nie

może przekraczać ośmiu znaków. Drugi plik, o przykładowej nazwie dane.txt (nazwa

pierwszego pliku musi pokrywać się z nazwą drugiego - powinny różnić się jedynie

rozszerzeniami!) powinien zawierać wartości z tabeli danych autoskalowanych – bez nazw

zmiennych oraz obliczonych wartości średnich i odchyleń standardowych. Koniecznie trzeba

pamiętać, aby w pliku dane.txt zamienić przecinki na kropki!

II. WYKONANIE OBLICZEŃ.

Po przygotowaniu dwóch plików z danymi wejściowymi, należy umieścić je w tym

samym folderze, w którym znajduje się PCA.EXE, a następnie uruchomić program. W wyniku

tych działań wywiąże się kolejna, pełna wzajemnego szacunku dyskusja pomiędzy Studentem a

programem PCA.EXE.

PCA: ANALIZA CZYNNIKÓW!

STUDENT: <zadowolony, naciska dwa razy Enter>

PCA: Ilosc zmiennych…

STUDENT: <wpisuje liczbę swoich zmiennych, Enter>

PCA: Liczba obiektow…

STUDENT: <wpisuje liczbę swoich obiektów, Enter>

PCA: Zapis wynikow?

STUDENT: <wpisuje> t <i naciska Enter>

PCA: Nazwa pliku wynikowego:

STUDENT: <tworzy unikalną w skali świata nazwę pliku

wynikowego, złożoną z maksymalnie 8 znaków, wpisuje

ją i naciska Enter>

26 Częstym problemem, który pojawia się w trakcie zajęć, a który nadzwyczaj skutecznie zniechęca

program PCA.EXE do działania, jest przygotowywanie pliku o nazwie dane.nzw.txt, zamiast

dane.nzw. Aby przygotować plik z rozszerzeniem *.nzw, należy otworzyć Notatnik, umieścić w oknie

wymaganą zawartość, a następnie wybrać opcję Zapisz jako…, zaś typ pliku ustawić na Wszystkie

pliki (*.*). Dopiero przy takich ustawieniach podanie nazwy pliku jako dane.nzw zaowocuje

utworzeniem pliku o pożądanym rozszerzeniu.

78

PCA: WCZYTANIE DANYCH.

Nazwa zestawu obiektow…

STUDENT: <podaje nazwę swojego zestawu danych bez

rozszerzenia, np.> dane <i naciska Enter>

PCA: Nazwa zmiennej 1:

STUDENT: <podaje nazwę zmiennej, która w macierzy danych

autoskalowanych stanowi pierwszą kolumnę od lewej i

naciska Enter>

PCA: <pyta kolejno o nazwy wszystkich zmiennych>

STUDENT: <uprzejmie odpowiada>

PCA: <pokazuje macierz korelacji i pyta:> drukujemy?

STUDENT: <odpowiada:> t <i naciska Enter trzy razy>

PCA: <podaje parametry pierwsze składowej i pyta:> Liczymy

dalej?

STUDENT: t <Enter>

PCA: <podaje parametry kolejnych składowych, a student na

pytanie:> Liczymy dalej? <odpowiada> t <tak długo, aż

PCA wyświetli następujący komunikat:>

n-ta27 skladowa

n-ta wartosc wlasna: 0.0000

wyjasnia 0.0% zmiennosci

dotychczasowe składowe: 100%

Odchylenie resztowe: 0.00

Liczymy dalej?

STUDENT: <odpowiada> n <i naciska Enter>

PCA: <wyświetla podejrzaną tabelę i pyta:> Ile składowych

uznajesz za istotne?

STUDENT: <obserwuje pierwszy i trzeci wiersz podejrzanej

tabeli, tj. wartości wlasne oraz sumaryczny % , a

następnie podejmuje decyzję:>

1) <jeżeli tylko jedna lub dwie wartości własne są

większe od 1 oraz druga od lewej wartość w

wierszu sumaryczny % jest bliska 90, odpowiada:>

2

2) <jeżeli więcej niż dwie wartości własne są

większe od 1, i/lub druga od lewej wartość w

wierszu sumaryczny % jest na poziomie 60-70 –

odpowiada:> 3

3) <w przeciwnym razie odpowiada:> 4

PCA: <wyświetla tabelę ładunków oraz długości składowych i

pyta> drukujemy?

STUDENT: t <i naciska Enter trzy razy>

PCA: Wykonac Varimax?

STUDENT: t <Enter>

PCA: <wyświetla tabelę ładunków oraz długości składowych

po rotacji VARIMAX>

27 Jeżeli wszystko zostało wykonane poprawnie, w miejscu n pojawi się wartość o jeden większa, niźli

liczba zmiennych. Oznacza to, że liczba składowych, które wyjaśniają więcej, niźli 0,0% zmienności, jest

dokładnie taka, jak liczba zmiennych.

79

STUDENT: <naciska Enter trzy razy>

PCA: Drukowac?

STUDENT: t <Enter>

PCA: UZYSKANE CZYNNIKI:

<tabela>

Drukujemy?

STUDENT: t <Enter>

PCA: NOWY ZESTAW?

STUDENT: n <Enter>

PCA: <kończy pracę>

STUDENT: <urządza sobie 5 minut przerwy>

PROWADZĄCY: <przygotowuje się psychicznie na grad pytań>

III. WYKRES ZMIENNYCH W PRZESTRZENI VARIWEKTORÓW I MAPA

LINIOWA OBIEKTÓW.

Wyniki wykonanych w sekcji II obliczeń zostały umieszczone w pliku wynikowym o

rozszerzeniu *.OUT.

Przykład:

Zestaw MIECZE, który zawiera 7 zmiennych i 20 obiektów, poddaliśmy

analizie głównych składowych. Po wykonaniu obliczeń i uwzględnieniu

dwóch pierwszych składowych jako istotnych, otrzymaliśmy następujące

wyniki:

G L O W N E S K L A D O W E

Odchylenie ogolne = 0.97

wartosci wlasne: 4.7770 0.8973 0.4589 0.2813

% informacji 71.84 13.49 6.90 4.23

sumaryczny % 71.84 85.33 92.23 96.46

resztowe od.sta. 0.5587 0.4417 0.3594 0.2800

Za istotne uznano 2 skladowe !

Po udzieleniu pozytywnej odpowiedzi na propozycje wykonania

rotacji VARIMAX otrzymaliśmy następujące wyniki końcowe:

Ladunki skladowych Dlugosc skladowych

(DC*) 0.9431 0.1077 0.9493

(DG*) 0.8947 0.1244 0.9033

(DR) 0.7540 0.1157 0.7629

(M) 0.9361 0.0104 0.9362

80

(SM) 0.8455 -0.1693 0.8623

(T) 0.9053 0.0658 0.9077

(CR*) 0.2357 0.9359 0.9652

W Y L I C Z O N E C Z Y N N I K I :

czyn 1 czyn 2

AER 0.280 1.193

AND 7.024 -1.922

AZU -4.121 -0.356

BAL -3.552 -1.104

DUR -2.434 -0.742

EXC 1.878 0.545

GLA 1.604 0.224

GOL -2.613 1.517

GRA -1.066 -0.711

GUR 0.447 -0.014

GWY -3.005 0.152

HER -4.276 -1.028

HUR -3.536 -0.360

JOY -2.483 -1.090

LOD -1.884 -0.565

ORK 2.526 0.627

SIH 1.691 0.119

UMB 12.580 1.996

URI 8.649 2.100

ZAD -7.709 -0.581

Na końcu pliku wynikowego programu PCA.EXE znajdują się dwie tabele.

Kolejne wiersze pierwszej z nich odpowiadają kolejnym zmiennym w przestrzeni

dwóch lub trzech pierwszych variwektorów. Zmienne te są reprezentowane przez wektory o

składowych równych obliczonym ładunkom (po rotacji VARIMAX) i mogą nadawać

znaczenia (interpretacje) poszczególnym variwektorom.

Aby wykonać wykres zmiennych w przestrzeni variwektorów, należy nanieść te

wektory na układ współrzędnych, którego osie reprezentują dwa lub trzy pierwsze

variwektory28

.

Przykład, c.d.:

Wykonujemy wykres zmiennych zestawu MIECZE w przestrzeni dwóch

pierwszych variwektorów:

28 Istnieje uzasadnione niebezpieczeństwo, że za istotne zostaną uznane trzy pierwsze główne składowe.

Będzie to wiązało się z koniecznością wykonania wykresów trójwymiarowych (XYZ). Instrukcja

stworzenia ich w Excelu (a dokładniej: ich iluzji) znajduje się w Dodatku E na końcu niniejszej instrukcji.

81

Cena repliki (CR*) wyraźnie odbiega od pozostałych cech,

samodzielnie nadając znaczenie osi pionowej (vwII). Pozostałe zmienne

zgrupowały się wokół osi poziomej (vwI), nadając jej sens "rozmiarów

repliki". Jednocześnie, duża odległość zmiennej CR* od pozostałych cech

(zauważona przez nas już wcześniej na diagramie wiązkowym i diagramie

Czekanowskiego; patrz: ćwiczenie nr 5) wskazuje, że cena repliki nie

jest liniowo zależna od jej rozmiaru.

Druga tabela, czyli WYLICZONE CZYNNIKI, zawiera współrzędne kolejnych

obiektów w przestrzeni dwóch lub trzech pierwszych variwektorów. Jest zatem rzutem

rozmieszczenia obiektów w n-wymiarowej hiperprzestrzeni na dwu- lub trójwymiarową

podprzestrzeń tzw. mapy liniowej. Osie mapy liniowej obiektów są tymi samymi

variwektorami, co na wykresie rozmieszczenia zmiennych – mają zatem identyczne

znaczenia (interpretacje).

Mapa liniowa pozwala uzyskać obraz w dużym stopniu odpowiadający wzajemnym

relacjom obiektów w wielowymiarowej hiperprzestrzeni. Trzeba jednak pamiętać, iż jest to

zaledwie rzut i nie odtwarza tych relacji w sposób doskonały. Miarą jakości odtworzenia jest

sumaryczny % informacji, wyjaśniany przez składowe uznane za istotne.

Po wykonaniu mapy liniowej obiektów należy:

1) określić rodzaj i stopień niejednorodności zbioru obiektów (ocenić, czy zbiór

dzieli się na podgrupy, zawiera punkty odosobnione, etc.);

2) korzystając ze znaczenia nadanego variwektorom (osiom mapy) podjąć próbę

interpretacji rozmieszczenia podgrup i obiektów odosobnionych. Należy przy

tym pamiętać, że wartościom 0 na osiach mapy odpowiadają wartości średnie cech w

analizowanym zbiorze obiektów.

82

Przykład, c.d.:

Wykonujemy mapę liniową obiektów zestawu MIECZE w przestrzeni

dwóch pierwszych variwektorów:

Na mapie liniowej dostrzegamy dwa zwarte skupienia obiektów

(wewnątrz szarych elips) i kilka mniej lub bardziej rozrzuconych

obiektów odosobnionych.

Uzyskana mapa pozwala na scharakteryzowanie poszczególnych podgrup

obiektów, zgodnie ze znaczeniem osi: oś pozioma = rozmiar repliki, oś

pionowa = cena repliki.

I tak:

1) obiekt AND jest repliką o znacznych rozmiarach, a przy tym

zdecydowanie najtańszą;

2) obiekty URI i UMB są replikami największymi i najdroższymi;

3) grupę obiektów {EXC, GLA, GUR, ORK, SIH} charakteryzują

rozmiary i ceny lekko powyżej przeciętnych;

4) grupę obiektów {AZU, BAL, DUR, GRA, HER, HUR, JOY, LOD}

charakteryzują rozmiary i ceny lekko poniżej przeciętnych;

83

5) obiekt ZAD jest najmniejszy, lecz jego cena plasuje się

zaledwie lekko poniżej średniej (drogie materiały? kunszt

kowala?);

6) obiekty AER i GOL mają przeciętne rozmiary, lecz są dość

drogie;

7) obiekt GWY ma prawie identyczne rozmiary, jak obiekt GOL, lecz

jest od niego o wiele tańszy (konkurencja rynkowa!).

Skonfrontujmy powyższe wnioski z wejściową tabelą danych (patrz:

ćwiczenie nr 2). Teraz dopiero jesteśmy w stanie zauważyć niektóre

prawidłowości, istniejące w danych od początku, lecz ujawnione dopiero

po zastosowaniu analizy głównych składowych. Rzeczywiście: ZAD jest

repliką najmniejszą, AND najtańszą, zaś UMB i URI są największe i

jednocześnie najdroższe. Jednakże wypowiedzenie się o cechach

pozostałych replik na podstawie samej li tylko tabeli danych jest

praktycznie niemożliwe.

IV. SPRAWOZDANIE.

W sprawozdaniu należy umieścić wykres zmiennych oraz mapę liniową obiektów w

przestrzeni odpowiedniej liczby variwektorów, wraz z komentarzem. Prosimy również o

dołączenie pliku wynikowego z programu PCA.EXE.

84

Dodatek E:

Tworzenie iluzji wykresu trójwymiarowego w Excelu.

Zgodnie ze stanem wiedzy Autorów tego opracowania, Excel nie posiada "przyrodzonej"

zdolności do tworzenia wykresów punktowych w trójwymiarowym układzie współrzędnych.

Ergo, w celu stworzenia takiego wykresu w Excelu, należy posłużyć się odpowiednim trikiem

matematycznym. Jeżeli Czytelnik zetknął się w swojej karierze z rysunkiem technicznym,

powinien znać ten trik - zamiast zatem tłumaczyć jego ideę, przejdziemy od razu do praktyki.

Przykład:

20 modeli myśliwskich celowników optycznych opisano 7 cechami. Po

wykonaniu analizy PCA za istotne uznaliśmy trzy pierwsze główne

składowe. Po rotacji VARIMAX uzyskaliśmy następujące ładunki:

Ladunki skladowych

0.8663 0.1944 -0.0288

0.2647 0.8354 0.0780

0.8157 -0.3052 0.1775

0.8830 0.2552 0.0906

0.1394 0.8587 0.1618

-0.4623 0.7732 0.1410

0.0354 0.1633 0.9771

Musimy teraz wykonać wykres 3D, obrazujący rozmieszczenie wektorów

siedmiu zmiennych (opisanych przez zaprezentowane powyżej ładunki) w

przestrzeni trzech ortogonalnych variwektorów; a w praktyce – w

układzie współrzędnych XYZ.

Załóżmy, że oś pozioma układu współrzędnych będzie odpowiadała variwektorowi I

(vwI; ładunki w kolumnie lewej), oś pionowa – variwektorowi II (vwII; ładunki w kolumnie

środkowej), zaś oś skierowana w stronę Czytelnika – variwektorowi III (vwIII; ładunki w

kolumnie prawej).

85

Iluzję wykresu 3D można zatem uzyskać, przy pomocy Excela, w następujący sposób:

1) Najpierw, należy odpowiednio zmodyfikować wartości ładunków dwóch

pierwszych variwektorów za pomocą wartości ładunków trzeciego variwektora (dla

wszystkich zmiennych), zgodnie z wzorami:

xJ’ = xJ – 0,5∙zJ

yJ’ = yJ – 0,5∙zJ

gdzie:

xJ – wartość ładunku variwektora I J-tej zmiennej;

yJ – wartość ładunku variwektora II J-tej zmiennej;

zJ – wartość ładunku variwektora III J-tej zmiennej.

Otrzymuje się w ten sposób współrzędne wektorów zmiennych, [x’,y’].

2) Następnie, należy obliczyć współrzędne rzutów prostokątnych końców tych

wektorów na płaszczyznę, wyznaczoną przez vwI i vwIII [x",y"]; zgodnie z

wzorami:

xJ" = xJ'

yJ" = –0,5∙zJ

Punkty te mają za zadanie ułatwić określenie, w której części przestrzeni znajdują

się końce wektorów "oryginalnych" zmiennych.

3) Ostatecznie, należy wykonać w Excelu wykres punktowy (X,Y) z wartości x’ i y’

(pierwsza seria danych) oraz x" i y" (druga seria danych); zaś oś skierowaną w

stronę Czytelnika dorysować… ręcznie, za pomocą narzędzia Autokształty.

Korzystając z tego samego narzędzia, należy również dorysować wektory

86

zmiennych (połączyć początek układu współrzędnych z końcem wektora) i linie

rzutowania (połączyć koniec wektora z jego rzutem na płaszczyznę).

Przykład, c.d.:

Tabelę zawierającą obliczone współrzędne wektorów (oraz ich rzutów

na płaszczyznę), a także wykonaną iluzję wykresu 3D dla powyższych

danych zaprezentowaliśmy poniżej.

x y z x' y' x" y"

0,866 0,194 -0,029 0,881 0,209 0,881 0,014

0,265 0,835 0,078 0,226 0,796 0,226 -0,039

0,816 -0,305 0,178 0,727 -0,394 0,727 -0,089

0,883 0,255 0,091 0,838 0,210 0,838 -0,045

0,139 0,859 0,162 0,059 0,778 0,059 -0,081

-0,462 0,773 0,141 -0,533 0,703 -0,533 -0,071

0,035 0,163 0,977 -0,453 -0,325 -0,453 -0,489

87

Ćwiczenie nr 11:

ANALIZA SKUPIEŃ

Efektem wykonania analizy podobieństwa obiektów jest otrzymanie obrazu

rozmieszczenia obiektów w wielowymiarowej przestrzeni cech. Obraz ten może mieć postać

diagramu Czekanowskiego, dendrytu lub diagramu wiązkowego. Często jednak, w

przypadku niejednorodnego zbioru obiektów, nie jest oczywiste, na ile podzbiorów (i o jakim

charakterze) można go sensownie podzielić. Pewnych sugestii w tym zakresie może dostarczyć

analiza głównych składowych, a zwłaszcza mapa liniowa obiektów. Przy pomocy mapy

liniowej możliwe jest podjęcie próby dokonania podziału zbioru obiektów metodą najstarszą,

subiektywną, ale niekiedy zadziwiająco skuteczną, tj. "na oko".

Reguły sztuki domagają się jednak zastosowania możliwie obiektywnej metody podziału

zestawu obiektów na podzbiory. Metody takie oferuje dział chemometrii zwany analizą

skupień; należą do nich, m.in., naturalny podział diagramu wiązkowego oraz naturalny

podział dendrytu. Ponieważ w trakcie ćwiczenia nr 6 został wykonany dendryt obiektów,

poniżej opiszemy zastosowanie naturalnego podziału dendrytu.

I. NATURALNY PODZIAŁ DENDRYTU.

W celu zobrazowania poszczególnych kroków tej metody, posłużymy się dendrytem

wykonanym dla zestawu MIECZE. Do dzieła!

1) Podział dendrytu rozpoczyna się od umieszczenia go w zasięgu ręki.

Kopiujemy dendryt dla zestawu MIECZE w miejsce łatwo dostępne:

2) Następnie, należy wypisać wiązadła pomiędzy obiektami w dendrycie. W

wykonaniu zadania bardzo pomocna jest tabela sporządzona zgodnie z poleceniami

88

zawartymi w punkcie 2) sekcji III instrukcji do ćwiczenia nr 6, zawierająca spis

wiązadeł pomiędzy obiektami w obrębie skupień pierwotnych. Wystarczy zatem

skopiować ww. tabelę do używanego obecnie arkusza i uzupełnić ją o brakujące

połączenia między skupieniami pierwotnymi.

Interesująca nas tabela została wcześniej opisana jako tabela

VI.1. Kopiujemy ją zatem do nowego arkusza i uzupełniamy

informacjami o połączeniach AZU-BAL, GRA-GUR oraz ORK-URI,

uzyskanymi dzięki tabelom VI.3., VI.4. oraz VI.5.

Obiekt: Sąsiad: Odległość:

GWY AZU 1,332

ZAD AZU 2,033

GRA DUR 0,907

GLA EXC 0,930

GUR EXC 1,006

SIH GLA 1,048

LOD GRA 1,064

GOL GWY 2,397

AZU HUR 0,899

HER HUR 0,879

BAL JOY 0,596

DUR JOY 0,423

AND ORK 4,237

EXC ORK 0,512

AER SIH 1,653

UMB URI 2,619

AZU BAL 1,054

GRA GUR 1,576

ORK URI 3,116

3) Kolejnym krokiem jest posortowanie tabeli względem kolumny Odległość od

wartości największej do najmniejszej.

Obiekt: Sąsiad: Odległość:

AND ORK 4,237

ORK URI 3,116

UMB URI 2,619

GOL GWY 2,397

ZAD AZU 2,033

AER SIH 1,653

GRA GUR 1,576

GWY AZU 1,332

LOD GRA 1,064

AZU BAL 1,054

SIH GLA 1,048

GUR EXC 1,006

GLA EXC 0,930

GRA DUR 0,907

AZU HUR 0,899

HER HUR 0,879

BAL JOY 0,596

EXC ORK 0,512

DUR JOY 0,423

89

4) Następnie, należy dodać do tabeli kolumnę Ilorazy. Umieszcza się w niej

wartości ilorazów dwóch sąsiednich odległości (górna/dolna) na poziomie

odległości dolnej.

Wypełnienie nowej kolumny "Ilorazy" rozpoczynamy w drugim

wierszu od góry, definiując iloraz odległości obiektów AND-ORK

i ORK-URI, a następnie formułę tę przeciągamy w dół, do końca

tabeli.

Obiekt: Sąsiad: Odległość: Ilorazy:

AND ORK 4,237

ORK URI 3,116 1,360

UMB URI 2,619 1,190

GOL GWY 2,397 1,093

ZAD AZU 2,033 1,179

AER SIH 1,653 1,230

GRA GUR 1,576 1,049

GWY AZU 1,332 1,183

LOD GRA 1,064 1,252

AZU BAL 1,054 1,009

SIH GLA 1,048 1,006

GUR EXC 1,006 1,042

GLA EXC 0,930 1,082

GRA DUR 0,907 1,025

AZU HUR 0,899 1,009

HER HUR 0,879 1,023

BAL JOY 0,596 1,475

EXC ORK 0,512 1,164

DUR JOY 0,423 1,210

W tak przygotowanej tabeli poszukuje się dostatecznie dużych wartości lokalnie

największych ilorazów (LNI). Przez pojęcie "lokalnie największego ilorazu"

rozumiemy wartość w kolumnie Ilorazy, która: i) jest większa, niż jej sąsiedzi

(górny i dolny); ii) nie jest ostatnia w tabeli (ale może być pierwsza, pomimo braku

sąsiada "od góry"). Do dalszej analizy używa się jednak tylko tych LNI, które

spełniają kolejne kryteria: i) ich wartość jest większa od pewnej wartości krytycznej,

zwykle równej 1,2; ii) nie znajdują się zbyt blisko dolnego końca tabeli. Użycie LNI

znajdujących się w dolnych rejonach tabeli doprowadziłoby bowiem do rozpadu

dendrytu na niemal wyłącznie pojedyncze obiekty, a przez to do utraty informacji o

wewnętrznej strukturze zbioru obiektów.

Podane powyżej kryteria spełniają wartości LNI wyróżnione w

poniższej tabeli ciemnym tłem:

Obiekt: Sąsiad: Odległość: Ilorazy:

AND ORK 4,237

ORK URI 3,116 1,360

UMB URI 2,619 1,190

GOL GWY 2,397 1,093

ZAD AZU 2,033 1,179

AER SIH 1,653 1,230

GRA GUR 1,576 1,049

GWY AZU 1,332 1,183

90

LOD GRA 1,064 1,252

AZU BAL 1,054 1,009

SIH GLA 1,048 1,006

GUR EXC 1,006 1,042

GLA EXC 0,930 1,082

GRA DUR 0,907 1,025

AZU HUR 0,899 1,009

HER HUR 0,879 1,023

BAL JOY 0,596 1,475

EXC ORK 0,512 1,164

DUR JOY 0,423 1,210

Ilorazy 1,475 oraz 1,210 nie spełniają ww. kryteriów z uwagi na

swe położenie w tabeli.

5) Kolejnym krokiem jest ustalenie wersji podziału dendrytu. Wyboru dokonuje się

pomiędzy dwiema wersjami podziału: jednoznaczną i hierarchiczną. Wersja

jednoznaczna zakłada jednoetapowy podział dendrytu, zaś wersja hierarchiczna –

stopniowy.

Podział jednoetapowy wymaga odnalezienia największej z wartości LNI, a

następnie usunięcia z dendrytu wszystkich połączeń znajdujących się w

wierszach powyżej odnalezionego maximum maximorum.

Dla zestawu MIECZE, największa wartość LNI znajduje się w

drugim wierszu tabeli i wynosi 1,360. Zastosowanie wersji

jednoznacznej sprowadza się zatem do usunięcia połączenia AND-

ORK, co prowadzi do wyodrębnienia punktu odbiegającego AND.

W tym przypadku, wersja jednoznaczna nie ujawniła żadnych

nowych informacji dotyczących wewnętrznej struktury zbioru

danych. Oddzielenie się obiektu AND jako punktu odbiegającego

91

było doskonale widoczne już w trakcie analizy głównych

składowych, zatem do stwierdzenia wyjątkowości ww. obiektu

wykonanie analizy skupień nie było konieczne.

Wersja hierarchiczna zakłada stopniowy, hierarchiczny podział dendrytu w celu

uzyskania dokładniejszych informacji o wewnętrznej strukturze zbioru danych.

Podział ten przeprowadza się, usuwając stopniowo z dendrytu połączenia znajdujące

się w wierszach powyżej kolejnych LNI.

Podział hierarchiczny dendrytu, wykonanego dla zestawu MIECZE,

rozpoczynamy od usunięcia połączeń znajdujących się w wierszach

powyżej wartości pierwszego LNI (równej 1,360), a zatem od

usunięcia połączenia AND-ORK (połączenie to usunęliśmy

całkowicie z poniższej wizualizacji dendrytu).

Następnie, usuwamy połączenia znajdujące się w wierszach

powyżej wartości drugiego LNI (równej 1,230), czyli połączenia:

ORK-URI, UMB-URI, GOL-GWY oraz AZU-ZAD (połączenia te

przedstawiliśmy w postaci szarych linii przerywanych).

Na końcu, usuwamy połączenia znajdujące się w wierszach powyżej

wartości trzeciego (i ostatniego) LNI (równej 1,252), czyli

połączenia: AER-SIH, GRA-GUR oraz AZU-GWY (połączenia te

przedstawiliśmy w postaci linii przerywanych).

W tym konkretnym przypadku, pierwszy etap podziału

hierarchicznego doprowadził do takiego samego obrazu, jak

podział jednoznaczny. Takie zjawisko nie jest regułą.

Drugi etap podziału wyodrębnił pojedyncze obiekty, stanowiące

punkty odbiegające drugiego rzędu, czyli: GOL, UMB, URI oraz

ZAD.

92

Ostatni etap podziału ujawnił istnienie dwóch jednorodnych

podzbiorów, złożonych z obiektów: {AZU, BAL, DUR, GRA, LOD,

HER, HUR, JOY} oraz {EXC, GLA, GUR, ORK, SIH}. Pojawiły się

również punkty odbiegające trzeciego rzędu, czyli AER oraz ZAD.

Naturę uzyskanych podzbiorów można w pełni określić dopiero po konfrontacji

uzyskanego obrazu z tabelą danych wejściowych oraz z wynikami analizy głównych

składowych. Radość tę pozostawimy sobie jednak na sam koniec – doświadczą jej w pełni

jedynie ci, którzy wybrali dla swoich danych problem analizy skupień. Tych, którzy wybrali

jeden z dwóch pozostałych problemów, zapraszamy do prześledzenia przykładu,

zaprezentowanego w sekcji IV instrukcji do sprawozdania końcowego.

II. SPRAWOZDANIE.

W sprawozdaniu Student powinien umieścić tabelę zaprezentowaną w punkcie 4) sekcji

I, a także dokonać podziału dendrytu metodą jednoznaczną lub hierarchiczną (jeżeli wersja

jednoznaczna nie ujawni wewnętrznej struktury zbioru, należy zastosować wersję

hierarchiczną). Mile widziana będzie próba dokonania wstępnej interpretacji natury

otrzymanych podzbiorów.

93

Zadanie domowe:

SPRAWOZDANIE KOŃCOWE

W instrukcji do ćwiczenia nr 1 sformułowaliśmy propozycje problemów, które są

możliwe do rozwiązania w trakcie zajęć laboratoryjnych z chemometrii, a które miały dotyczyć

przygotowanych przez Studentów zestawów danych. Propozycje te prezentowały się

następująco:

1. Modelowanie zależności wybranej cechy od pozostałych zmiennych

(nazywanych wówczas zmiennymi objaśniającymi).

2. Analiza podobieństwa zmiennych i obiektów (poznanie wewnętrznej struktury

zbioru danych).

3. Analiza skupień pozwalająca na obiektywny podział niejednorodnego zbioru

obiektów na jednorodne podgrupy.

Niniejsza, ostatnia już instrukcja ma na celu pomóc Studentowi w przygotowaniu

sprawozdania końcowego, którego treść ma stanowić możliwie jednoznaczne rozwiązanie

problemu, wybranego dla Jego zestawu danych.

Jeżeli Student skorzystał z sugestii podanej we wprowadzeniu do niniejszego skryptu,

tj. gromadził wszystkie wyniki w jednym pliku (zawierającym obliczenia dla każdego z

ćwiczeń w osobnym arkuszu) - sprawozdanie końcowe może przyjąć postać kolejnego

arkusza kalkulacyjnego, do którego zostaną przeniesione (skopiowane) wyniki cząstkowe

z odpowiednich arkuszy, wraz z ewentualnymi uzupełnieniami. Jeżeli jednak Student

odczuwa potrzebę bardziej "literackiej" prezentacji wyników, możliwe jest oczywiście

przygotowanie sprawozdania w całości w postaci pliku tekstowego.

Ponieważ sposób przygotowania wszystkich składników sprawozdania końcowego

został już podany w poprzednich instrukcjach, poniżej nie będziemy powtarzali ich opisu.

Mimo tego prosimy, aby Student nie odwdzięczał się nam tym samym – w sprawozdaniu

końcowym należy umieścić wymagane obliczenia, wykresy, opisy i wnioski w jednym

miejscu i w podanym poniżej porządku.

Do przeprowadzenia przykładowej dyskusji końcowej wykorzystamy wyniki uzyskane

dla bardzo dobrze znanego już Czytelnikowi zestawu MIECZE.

I. CZĘŚĆ WSPÓLNA.

Niezależnie od natury postawionego problemu, początkowa część sprawozdania

powinna zawierać następujące elementy:

przygotowaną do dalszych analiz tabelę danych wejściowych, zawierającą: źródło

danych, datę utworzenia i modyfikacji, imię i nazwisko Studenta, definicję problemu

oraz objaśnienia skrótów;

94

wszystkie elementy sprawozdania z ćwiczenia nr 3 ("Kontrola pojedynczych

zmiennych");

wszystkie elementy sprawozdania z ćwiczenia nr 4 ("Korelacje pomiędzy

zmiennymi");

wszystkie elementy sprawozdania z ćwiczenia nr 5 ("Analiza podobieństwa

cech").

Wszystkie wymienione wyżej elementy, wykonane dla zestawu MIECZE,

znajdują się w instrukcjach do odpowiednich ćwiczeń.

II. MODELOWANIE ZALEŻNOŚCI WYBRANEJ CECHY OD POZOSTAŁYCH

ZMIENNYCH.

W przypadku, gdy celem Studenta jest skonstruowanie liniowego modelu zależności

zmiennej zależnej od pozostałych zmiennych, należy zwrócić szczególną uwagę na postać

zależności pomiędzy zmienną zależną i pozostałymi zmiennymi. Warto wykorzystać w tym

celu odpowiednie wykresy korelacyjne, wykonane w trakcie ćwiczenia nr 4. Jeżeli okaże się,

że występują wyraźne zależności nieliniowe, należy podjąć próbę ich linearyzacji (patrz:

ćwiczenie nr 9). Jeżeli zakończy się ona powodzeniem, radykalnie wzrosną szanse na

uzyskanie eleganckiego i istotnego modelu liniowego. W takim przypadku, niestety trzeba

będzie powtórzyć analizę transformowanej zmiennej (ćwiczenie nr 3), analizę

podobieństwa cech (ćwiczenie nr 5) oraz analizę głównych składowych (ćwiczenie nr 10)

dla nowego, zlinearyzowanego zestawu zmiennych.

W sprawozdaniu końcowym należy umieścić ponadto:

informacje o (ewentualnie) użytych funkcjach linearyzujących;

tabelę danych autoskalowanych (jeżeli zastosowano funkcje linearyzujące –

autoskalowanie należy wykonać ponownie, wykorzystując dane po linearyzacji!);

wykres rozmieszczenia zmiennych w przestrzeni istotnych variwektorów:

jeżeli nie dokonano linearyzacji zmiennych – należy użyć elementów

sprawozdania z ćwiczenia nr 10 ("Analiza głównych składowych");

w przeciwnym wypadku – należy wykonać obliczenia i wykres od nowa (dla

danych po linearyzacji);

wnioski dotyczące relacji pomiędzy zmiennymi:

czy wybrana zmienna zależna jest skorelowana z pozostałymi zmiennymi?;

czy zmienne objaśniające są skorelowane pomiędzy sobą?;

decyzję, wraz z uzasadnieniem, o podjęciu próby stworzenia modelu zależności

lub o rezygnacji z niej;

w przypadku podjęcia próby stworzenia modelu zależności: wszystkie etapy

tworzenia modelu przez program MEOD.EXE oraz ocenę jakości ostatecznego

modelu.

Przykład:

95

Dla zestawu MIECZE, najbardziej naturalną cechą, której wartości

chcielibyśmy modelować w oparciu o wartości pozostałych zmiennych, jest

cena repliki, CR*.

Wartości współczynniki korelacji liniowej oraz determinacji

(ćwiczenie nr 4, sekcja I) wskazują na kompletny brak liniowych

zależności zmiennej CR* od pozostałych zmiennych. Wykresy korelacyjne

zmiennej CR* (nieumieszczone w instrukcjach) nie wskazują również na

istnienie jakichkolwiek zależności nieliniowych.

Analiza wiązkowa zmiennych (ćwiczenie nr 5, sekcja II) oraz

diagram Czekanowskiego dla cech (ćwiczenie nr 5, sekcja III) wyraźnie

wskazują, iż spośród wszystkich cech zmienna CR* jest najmniej

skorelowana z pozostałymi. W rzeczywistości możemy mówić o braku

korelacji.

Wykres zmiennych w przestrzeni dwóch pierwszych variwektorów

(ćwiczenie nr 10, sekcja III) potwierdza, iż zmienna CR* jest prawie

ortogonalna do zmiennych objaśniających. Z kolei same zmienne

objaśniające są na tyle do siebie podobne, że w praktyce opisują tylko

jedną cechę replik - ich wielkość.

Wszystkie powyższe obserwacje skłaniają nas ku wnioskowi, iż

podejmowanie próby stworzenia liniowego modelu zależności zmiennej CR*

od pozostałych zmiennych jest pozbawione sensu.

Odpowiedź na postawiony problem jest zatem następująca:

niemożliwie jest modelowanie ceny repliki w oparciu o wartości

pozostałych cech.

Wykazaliśmy tym samym, że cena repliki nie zależy od jej

rozmiarów, lecz od innych parametrów, takich jak: i) rodzaju materiału,

z którego ją wykonano; ii) kunsztu kowala oraz iii) ewentualnych

zdobień. Tego typu parametry trudno jest wyrazić w postaci liczbowej,

przez co nie znalazły się one w tabeli danych wejściowych.

III. ANALIZA PODOBIEŃSTWA ZMIENNYCH I OBIEKTÓW.

Jeżeli celem Studenta jest poznanie wewnętrznej struktury zbioru danych, w

sprawozdaniu końcowym powinien umieścić (prócz elementów opisanych w sekcji I):

wszystkie elementy sprawozdania z ćwiczenia nr 6 ("Analiza podobieństwa

obiektów");

wszystkie elementy sprawozdania z ćwiczenia nr 10 ("Analiza głównych

składowych");

zestawienie wniosków dotyczących analizy podobieństwa zmiennych, tj. wnioski

z ćwiczeń nr 4, 5 i 10;

zestawienie wniosków dotyczących analizy podobieństwa obiektów, tj. wnioski z

ćwiczeń nr 6 i 10;

podsumowanie, zawierające określenie wewnętrznej struktury zbioru danych, tj.

odpowiedzi na pytania: i) czy wszystkie zmienne pochodzą z jednej populacji

generalnej?; oraz ii) czy wszystkie obiekty pochodzą z jednej populacji generalnej?.

96

Przykład:

Ponieważ większość z podanych wyżej elementów znajduje się w

przykładach zawartych w instrukcjach do odpowiednich ćwiczeń, nie

będziemy prezentowali ich ponownie (o czym lojalnie uprzedziliśmy).

Odpowiedź na pytanie i) (dotyczące zmiennych) została w dużej

części sformułowana w przykładzie zaprezentowanym w sekcji II. W tym

miejscu wypada nam ją tylko powtórzyć w następującej postaci: wszystkie

zmienne, poza CR*, należą do jednej populacji generalnej. Zmienna CR*,

wyraźnie "odstająca" od pozostałych, należy do innej populacji

generalnej.

Wnioski, zebrane z ćwiczeń nr 6 i 10 pozwalają na sformułowanie

odpowiedzi na pytanie ii). Dendryt obiektów (ćwiczenie 6, sekcja III),

diagram Czekanowskiego dla obiektów (ćwiczenie 6, sekcja IV) oraz mapa

liniowa obiektów w przestrzeni dwóch pierwszych variwektorów (ćwiczenie

10, sekcja III) wyraźnie sugerują niejednorodność zbioru obiektów,

ergo: obiekty z zestawu MIECZE nie pochodzą z jednej populacji

generalnej.

Mapa liniowa obiektów pozwoliła nam również na oszacowanie

charakteru niejednorodności zbioru. Zawiera on szereg punktów

odbiegających oraz prawdopodobnie dwa, w miarę jednorodne podzbiory.

Charakterystykę przypuszczalnych podzbiorów i punktów

odbiegających opisaliśmy w przykładzie, zawartym w sekcji III ćwiczenia

nr 10. Wykorzystaliśmy w tym celu interpretacje nadane dwóm pierwszym

variwektorom.

IV. ANALIZA SKUPIEŃ, POZWALAJĄCA NA OBIEKTYWNY PODZIAŁ

NIEJEDNORODNEGO ZBIORU OBIEKTÓW NA JEDNORODNE PODGRUPY.

Jeżeli celem Studenta jest podzielenie niejednorodnego zbioru danych na wewnętrznie

jednorodne podzbiory, w sprawozdaniu końcowym powinien umieścić (prócz elementów

opisanych w sekcji I):

wszystkie elementy sprawozdania z ćwiczenia nr 6 ("Analiza podobieństwa

obiektów");

wszystkie elementy sprawozdania z ćwiczenia nr 10 ("Analiza głównych

składowych");

wszystkie elementy sprawozdania z ćwiczenia nr 11 ("Analiza skupień");

zestawienie wniosków dotyczących analizy podobieństwa obiektów, tj. wnioski z

ćwiczeń nr 6, 10 i 11;

w przypadku uprzedniej znajomości liczby i charakteru podzbiorów: podsumowanie

zawierające potwierdzenie (lub brak potwierdzenia) podziału obiektów na

znane wcześniej podzbiory, na podstawie wniosków z ćwiczeń nr 10 i 11;

97

w przypadku nieznajomości liczby i charakteru podzbiorów (ale przy uzasadnionym

podejrzeniu niejednorodności zestawu obiektów): podsumowanie zawierające

podział obiektów na nieznane wcześniej podzbiory oraz próbę określenia ich

charakteru (natury), na podstawie wniosków z ćwiczeń nr 10 i 11.

Przykład:

Elementy podane w pierwszych czterech punktach znajdują się w

przykładach zawartych w instrukcjach do odpowiednich ćwiczeń. W drodze

wyjątku, w tej sekcji niektóre z nich zaprezentujemy ponownie:

1) tabela surowych danych wejściowych:

Obiekt\Zmienna DC DG DR M SM T CR

AER 119 92 15 1900 5 1,5 500

AND 152 100 32 2500 12 2 260

AZU 88 71 14 1200 7 1 380

BAL 95 75 13 1400 7 1 320

DUR 102 81 14 1400 8 1 342

EXC 120 90 18 1800 10 1,5 450

GLA 120 95 12 1900 10 1,5 419

GOL 100 69 26 1100 6 1 600

GRA 106 83 15 1600 10 1 350

GUR 104 81 15 1800 10 1,5 406

GWY 103 81 15 1450 5 1 400

HER 85 60 14 1500 8 1 340

HUR 90 65 16 1600 7 1 380

JOY 100 80 14 1500 8 1 320

LOD 92 80 10 1800 10 1 375

ORK 130 97 18 1800 10 1,5 450

SIH 123 95 14 2200 8 1,5 390

UMB 180 125 40 3200 15 2 600

URI 160 120 25 2700 12 2 650

ZAD 68 54 13 800 5 1 375

2) mapa liniowa obiektów w przestrzeni istotnych variwektorów:

98

3) wynik analizy skupień uzyskany metodą naturalnego podziału

dendrytu (wersja hierarchiczna):

W trakcie kompletowania danych do zestawu MIECZE nie posiadaliśmy

żadnych informacji, dotyczących ewentualnej niejednorodności zbioru

99

danych. Surowa tabela danych oczywiście również nie dostarczyła żadnych

sugestii w tym zakresie.

Dendryt obiektów, wykonany w trakcie ćwiczenia nr 6, ujawnił

tendencję obiektów do formowania grup oraz istnienie punktów

odbiegających. Mapa liniowa obiektów, wykonana w trakcie ćwiczenia nr

10, potwierdziła informacje ujawnione przez dendryt. Co więcej,

pozwoliła na subiektywne oszacowanie liczby i składu utworzonych

podzbiorów oraz na ich charakterystykę w oparciu o interpretację

variwektorów.

Subiektywnie utworzoną ośmioelementową grupę #1, {AZU, BAL, DUR,

GRA, LOD, HER, HUR, JOY}, możemy opisać jako "repliki o cenach i

rozmiarach lekko poniżej przeciętnej", natomiast pięcioelementową grupę

#2, {EXC, GLA, GUR, ORK, SIH}, jako "repliki o cenach i rozmiarach

lekko powyżej przeciętnej". Nie są to opisy wyczerpujące. Pozostałe

punkty, nienależące do żadnej grupy, czyli obiekty AER, AND, GOL, GWY,

UMB, URI oraz ZAD, zostały opisane adekwatnie do pozycji zajmowanych na

mapie liniowej.

Punktem odbiegającym jest obiekt AND. Kontrola pojedynczych

zmiennych nie wykazała istnienia punktu odbiegającego – okazało się

jednak, iż wyjątkowość obiektu AND objawia się dopiero po uwzględnieniu

większej liczby zmiennych.

Naturalny podział dendrytu, który jest metodą dalece bardziej

obiektywną, niźli subiektywne odczytanie mapy liniowej, doprowadził do

identycznych wniosków. Grupy, widoczne na powyższym dendrycie, mają, w

porównaniu do grup utworzonych na podstawie mapy liniowej, identyczny

skład. Wygląda na to, iż zaproponowany podział możemy uznać za

ostateczny i "obowiązujący".

Pojawia się jednak pytanie: czy jesteśmy w stanie nieco poszerzyć

charakterystykę utworzonych grup i uzasadnić ich jednorodność?

Odpowiedzi na to pytanie udziela konfrontacja składu uzyskanych

grup z tabelą danych wejściowych. Okazuje się bowiem, iż wszystkie

repliki należące do grupy #1 są mieczami jednoręcznymi, co tłumaczy ich

"rozmiary lekko poniżej przeciętnej", ponieważ średnia arytmetyczna

wartości zmiennej T wynosi 1,30. Z kolei grupa #2 zawiera wszystkie

miecze półtoraręczne obecne w zestawie danych, co tłumaczy ich

"rozmiary lekko powyżej przeciętnej". Trzy wyraźnie odstające od reszty

obiekty, tj. AND, UMB i URI, są replikami mieczy dwuręcznych o

skrajnych cenach.

Na koniec, chcielibyśmy odwołać się do dwóch uwag, zawartych w instrukcji do

ćwiczenia nr 2.

Po pierwsze, ostrzegaliśmy przed uwzględnianiem w danych zmiennych nieciągłych,

takich jak zmienna T, z uwagi na ich potencjalnie wysoki wpływ na wynik analizy

podobieństwa obiektów oraz analizy skupień. Jak się okazało – niebezpodstawnie.

100

Po drugie, wykonanie analiz chemometrycznych i przedstawienie ich wyników w formie

graficznej (dendryt, diagram wiązkowy, mapa liniowa obiektów, etc.) rzeczywiście

umożliwia odnajdywanie prawidłowości, których oko, w chemometryczne narzędzia

nieuzbrojone, nie jest w stanie dostrzec.

***

I taki był cel tych ćwiczeń. Mamy nadzieję, że dostarczyły one Studentom odrobiny

satysfakcji (i radości) z zabawy metodami chemometrycznymi. Na pierwszy rzut oka zdają

się one być trudne i nieprzystępne; zyskują jednak przy bliższym poznaniu. Iucundi acti

labores.29

Mamy nadzieję, że przekonaliśmy Czytelnika, iż nawet z pozoru chaotyczne zbiory

liczb mogą zawierać użyteczną informację i być atrakcyjnym obiektem dociekań.

29 "Miłe są trudy zakończone" - Cyceron.