Analiza składowych głównych (PCA) służy m.in. do redukcji liczby zmiennych opisujących zjawiska, czy do odkrycia prawidłowości między zmiennymi. Polega ona na wyznaczeniu składowych będących kombinacją liniową badanych zmiennych. Dokładna analiza składowych głównych umożliwia wskazanie tych zmiennych początkowych, które mają duży wpływ na wygląd poszczególnych składowych głównych czyli tych, które tworzą grupę jednorodną. Składowa główna (u której wariancja jest zmaksymalizowana) jest wówczas reprezentantem tej grupy.

Kolejne składowe:

• są wzajemnie nieskorelowane,
• są definiowane tak, aby zmaksymalizować zmienność, która nie została wyjaśniona przez poprzednią składową,

Liczba składowych jest mniejsza lub równa liczbie zmiennych początkowych. Wariancja składowej głównej $Z_i$ jest równa $i$-tej co do wielkości wartości własnej macierzy $\mathbb{A}.$ Całkowita wariancja układu jest równa $\lambda_1+\lambda_2+\ldots+\lambda_p$ (gdzie $\lambda_i$ dla $i \in{\{1,2,\ldots,p\}}$ są wszystkimi wartościami własnymi macierzy $\mathbb{A})$. Dzięki temu możemy zdefiniować część wariancji dla $i$-tej składowej według wzoru:

$\frac{\lambda_i}{\lambda_1+\lambda_2+\ldots+\lambda_p}$.

 

Każda składowa główna wyjaśnia pewną część zmienności zmiennych początkowych.

Główne zastosowania analizy składowych głównych to:  

• redukcja liczby zmiennych,
• wykrywanie struktury w związkach między zmiennymi,
• weryfikacja wykrytych prawidłowości i powiązań,
• klasyfikacja obiektów w nowych przestrzeniach zdefiniowanych przez utworzone czynniki.

Przykład

Załóżmy, że w losowo wybranej grupie osób pobraliśmy pięć pomiarów w różnych jednostkach pomiarowych. Ze względu na nieporównywalność danych, analizę składowych głównych wykonujemy w oparciu o macierz korelacji  

$\mathbb{R} = \begin{bmatrix} 1 & 0,71 &0,67 & -0,27 & -0,1 \\ 0,71 & 1 & 0,81 & 0,01 & 0,3 \\ 0,67 & 0,81 & 1 & 0,09 & 0,21 \\ -0,27 & 0,01 & 0,09 & 1 & 0,89 \\ -0,1 & 0,3 & 0,21 & 0,89 & 1 \\ \end{bmatrix}.$

Następnie liczymy wartości własne i wektory własne macierzy $\mathbb{R}.$ Otrzymujemy następujący wyniki:

• wartości własne:

$\lambda_1 = 2,51; \lambda_2 = 1,96; \lambda_3 = 0,27; \lambda_4 = 0,23; \lambda_5 = 0,04;$

• macierz wektorów własnych, w której kolumny zawierają współczynniki kolejnych składowych głównych:

 

 

Dodatkowo liczymy wariancje składowej głównej :

 

 

Obliczamy ładunki czynnikowe:

 

 

oraz współczynniki determinacji :

 

Do wyboru składowych głównych, posłużymy się wykresem osypiska. Jak widać na poniższym wykresie, osypiskiem czynnikowym są dwie ostanie wartości własne, więc wybieramy z całą pewnością dwie pierwsze składowe główne $(Z_1$ oraz $Z_2),$ uzyskalibyśmy w tedy 89,35% wyjaśnienia całkowitej wariancji (z tabeli powyżej). Składowa główna $Z_3,$ nie będzie brana pod uwagę, gdyż otrzymamy zadowalający podział zmiennych $x_1,x_2,\ldots,x_5$ na dwie grupy reprezentowane przez $Z_1$ oraz $Z_2:$

$Z_1 = 0,51x_1 + 0,59x_2 + 0,58x_3 + 0,07x_4 + 0,21x_5,$

$Z_2 = 0,3x_1 + 0,03x_2 + 0,02x_3 - 0,69x_4 - 0,66x_5.$

Podział ten wynika z obliczonych ładunków czynnikowych oraz współczynników determinacji. Ładunki czynnikowe dla trzech pierwszych zmiennych są największe dla pierwszej składowej głównej, a dwie ostatnie zmienne są dobrze skorelowane z drugą składowa główną. Obie składowe wyjaśniają powyżej 80% wariancji zmiennych.

 

Wyniki uzyskano stosując środowisko obliczeniowe R