Wartość własna, Wektor własny, Ładunki czynnikowe

W zależności od tego, czy zmienne na których dokonujemy analizy składowych głównych  są zmiennymi reprezentującymi porównywalne wielkości (np. dobowe wydobycie ton węgla różnych kopalni) tworzymy macierz kowariancji. Natomiast w przypadku  wartości zmiennych nieporównywalnych ze sobą (np. mające różne jednostki) tworzymy macierz korelacji. Następne kroki analizy składowych głównych są w zasadzie takie same niezależnie od tego czy wychodzimy od macierzy kowariancji, czy korelacji.

Macierz kowariancji lub korelacji  będziemy oznaczać jako macierz $\mathbb{A}$

Wartości własne

Wielomianem charakterystycznym macierzy kwadratowej $\mathbb{A}$ nazywamy wyznacznik macierzy $\mathbb{A} - \lambda I$, gdzie $I$ jest macierzą jednostkową, a $\lambda$ zmienną.

Wartościami własnymi macierzy $\mathbb{A}$ nazywamy pierwiastki jej wielomianu charakterystycznego.

Wartość własna daje informacje o tym, jaka część całkowitej zmienności jest tłumaczona przez daną składową główną

Wektory własne

Aby otrzymać wektor własny $X_i$ macierzy $\mathbb{A}$ odpowiadający wartości własnej $\lambda_i$tej macierzy, musimy rozwiązać równanie

$\begin{bmatrix} \mathbb{A} - \lambda_i I \end{bmatrix} X_i = 0$ .

Wszystkie wektory własne macierzy $\mathbb{A}$ obliczamy poprzez rozwiązanie powyższego równania dla każdej wartości własnej tej macierzy.

Wektor własny odzwierciedla wpływ poszczególnych zmiennych pierwotnych na daną składową główną.

Składowe główne

Składowe główne $Z_i$ to wektory, których współczynniki są wektorami własnymi odpowiadającymi poszczególnym wartościom własnym macierzy $\mathbb{A}$. Mają one więc następującą postać:

$Z_i = a_i1 X_1+ a_i2 X_2 + \ldots + a_in X_n$ .

Współczynniki powyższych składowych zapisuje się w postaci tzw. macierzy współczynników składowych głównych, która ma postać

$Z = \begin{bmatrix}a_{1,1}^2 & a_{2,1} & \cdots & a_{n,1} \\ a_{1,2} & a_{2,2} & \cdots & a_{n,2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1,n} & a_{2,n} & \cdots & a_{n,n} \end{bmatrix}$ . 

Jak widać, w powyższej macierzy współczynniki poszczególnych składowych głównych ustawione są w kolumnach.

Dokładniejszą interpretację składowych można uzyskać poprzez wyznaczenie tzw. macierzy ładunków czynnikowych (które są współczynnikami korelacji między $i$-tą zmienną i $j$-tą składową).

Ładunki czynnikowe, podobnie jak współczynniki zawarte w wektorze własnym, odzwierciedlają wpływ poszczególnych zmiennych na daną składową główną.

W przypadku, gdy macierz $\mathbb{A}$ jest macierzą kowariancji ładunek czynnikowy jest równy ilorazowi wartości $\lambda_j a_{ji}$ przez odchylenie standardowe.

Natomiast gdy macierz $\mathbb{A}$ jest macierzą korelacji, to ładunek czynnikowy ma postać:

$j_{ij} = \sqrt{ \lambda_j } a_{ji}$ . 

Poprzez podniesienie do kwadratu wartości ładunków czynnikowych uzyskujemy udział wyjaśnionej wariancji (współczynniki determinacji). Która oznacza ile procent wariancji i-tej zmiennej jest wyjaśniana przez j-tą składową główną. Dodatkowo sumę współczynników determinacji  w danym wierszu nazywamy zasobem zmienności i wynosi 100%.

Przykład

Dla danych  stanowiących losowo wybraną grupę osób pobrano pięć pomiarów w różnych jednostkach pomiarowych.Macierz korelacji dla danych wygląda następująco:

$\mathbb{A} = \begin{bmatrix}1 &0,71 &0,67 &-0,27 &-0,1 \\ 0,71 &1 &0,81 &0,01 &0,3 \\ 0,67 &0,81 &1 &0,09 &0,21 \\ -0,27 &0,01 &0,09 &1 &0,89 \\ -0,1 &0,3 &0,21 &0,89 &1 \end{bmatrix}$ . 

Aby obliczyć watości własne macierzy należy roziwązać równanie $\begin{bmatrix} \mathbb{A} - \lambda I \end{bmatrix} = 0$ czyli:

$0 = \begin{bmatrix}1 &0,71 &0,67 &-0,27 &-0,1 \\ 0,71 &1 &0,81 &0,01 &0,3 \\ 0,67 &0,81 &1 &0,09 &0,21 \\ -0,27 &0,01 &0,09 &1 &0,89 \\ -0,1 &0,3 &0,21 &0,89 &1 \end{bmatrix}$$* \lambda$$\begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{bmatrix} =$

$= \begin{bmatrix}1-\lambda &0,71 &0,67 &-0,27 &-0,1 \\ 0,71 &1-\lambda &0,81 &0,01 &0,3 \\ 0,67 &0,81 &1-\lambda &0,09 &0,21 \\ -0,27 &0,01 &0,09 &1-\lambda &0,89 \\ -0,1 &0,3 &0,21 &0,89 &1-\lambda \end{bmatrix}$ , 

 

co sprowadza się do odnalezienia współczynników wielomianu:

$0 = -\lambda^5 + 5 \lambda^4-7,37 \lambda^3 + 2,97 \lambda^2-0,40 \lambda + 0,01$

wynikiem tego działania są wartości własne macierzy:

$\lambda_1 = 2,51; \lambda_2 = 1,96; \lambda_3 = 0,27;\lambda_4 = 0,23;\lambda_5 = 0,04$ .

Podstawiając wartości własne do wzoru $\begin{bmatrix} \mathbb{A} - \lambda_i I \end{bmatrix} X_i = 0$ obliczamy wektory własne macierzy:

$v_1 = \begin{bmatrix} 0,51*X_1 & 0,59*X_2 & 0,58*X_3 & 0,07*X_4 & 0,21*X_5\end{bmatrix}$

$v_2 = \begin{bmatrix} 0,30*X_1 & 0,03*X_2 & 0,02*X_3 & -0,69*X_4 & -0,66*X_5\end{bmatrix}$

$v_3 = \begin{bmatrix} 0,72*X_1 & -0,08*X_2 & -0,65*X_3 & 0,08*X_4 & 0,22*X_5\end{bmatrix}$

$v_4 = \begin{bmatrix}-0,35*X_1 & 0,67*X_2 & -0,43*X_3 & -0,41*X_4 & 0,28*X_5\end{bmatrix}$

$v_5 = \begin{bmatrix} 0,05*X_1 & -0,44*X_2 & 0,25*X_3 & -0,59*X_4 & 0,63*X_5\end{bmatrix}$

Następnie wektory macierzy przemnożono przez odpowiednie współczynniki macierzy według wzoru:

$j_{ij} = \sqrt{ \lambda_j } a_{ji} ,$

$j_{11} = \sqrt{ \lambda_1 } a_{11} ,$

$a_{11} = 0,51 ,$

$\lambda_{11} = 2,51 ,$

$j_{11} = 0,81 ,$

$\vdots$

$j_{55} = 0,12 ,$

uzyskując tabelę ładunków czynnikowych:

Jeśli poszczególne ładunki czyynikowe podniesie się do kwadratu uzyska się współczynniki determinacji:

$d_{ij} = j_{ij}^2 ,$

$d_{11} = j_{11}^2 ,$

$d_{11} = 0,81^2 ,$

$d_{11} = 0,66 ,$

$\vdots$

$d_{55} = 0,01$