Statystyka – Porady | Analizy | Opracowania | Obliczenia | Pomoc statystyczna

Jest to metoda statystyczna, która:

  1. Kategoryzuje i modeluje zależności pomiędzy badanymi przez nas wielkościami danych.
  2. Jest naszą intuicją, gdy mamy oszacować nieznane wartości danych za pomocą znanych wartości oraz na podstawie zbadanych nam zależności (patrz pkt. 1.).
  3. Szacuje warunkową wartość oczekiwaną zmiennej losowej Y dla odpowiednich zmiennych X.

Ze względu na liczbę predyktorów regresję możemy dokonać podziału na:

  1. regresję jednoczynnikowa, czyli badającą zależność pomiędzy zmienną zależną i jedną zmienną niezależną
  2. regresję wieloczynnikową, czyli badającą zależnośc pomiędzy zmienną zależna i większą ilością zmiennych niezależnych.

Jednoczynnikowa regresja liniowa

Regresję liniową obserwujemy, gdy zakładamy, że pomiędzy zmienną zależną, a niezależną istnieje związak dający opisać się z dużą dokładnością za pomocą funkcji liniowej.

Wprowadźmy następujące oznaczenia:

 Y - zmienna objaśniana (zależna)

 X - zminna objaśniająca (predyktor)

 \alpha,~\beta - nieznane parametry, które będziemy estymować

 y_1, y_2, ..., y_n - empiryczne (obserwowane) wartości zmiennej objaśnianej Y

 x_1, x_2, ..., x_n - empiryczne (obserowane) wartości zmiennej objaśniającej X

 \epsilon - czynnik losowy

Dla tak przyjętych oznaczeń model regresji liniowej wyraża się wzorem:

 Y= \alpha + \beta X +\epsilon,

gdzie  E(\epsilon)=0 i  \sigma^2(\epsilon)=const.

Estymatory (wartości szacunkowe)  \hat{\alpha} i \hat{\beta} parametrów  \alpha i  \beta wyznaczyć możemy korzystając z Medody Najmniejszych Kwadratów - MNK.

Idea tej metody polega na takim wyznaczeniu ocen parametrów \alpha oraz  \beta , aby suma kwadratów odchyleń zaobserwowanych wartości zmiennej zależnej  Y od jej warrości uzyskanych z modelu (teoretycznych) była najmniejsza, tzn.

 \phi=\sum_{i=1}^n [y_i - (\hat{\alpha}+\hat{\beta}x_i)]^2 ~\rightarrow min

Warunkiem koniecznym, aby funkcja osiągnęła ekstremum jest zerowanie się obydwu pochodnych cząstkowych. Dlatego, aby wyznaczyć poszukiwane minimum obliczmy i przyrównajmy do 0 pochodne cząstkowe obliczone względem  \hat{\alpha} oraz  \hat{\beta} .

Wpierw jednak przekształćmy funkcję  \phi do prostszej postaci:

 \phi=\sum_{i=1}^n[y_i^2-2y_i(\hat{\alpha}+\hat{\beta}x_i)+(\hat{\alpha}+\hat{\beta}x_i)^2]=\sum_{i=1}^n (y_i^2-2\hat{\alpha}y_i-2\hat{\beta}x_iy_i+\hat{\alpha}^2+2\hat{\alpha}\hat{\beta}x_i+\hat{\beta}^2x_i^2)

Korzystając z rozdzielności mnożenia względem dodawania oraz grupując odpowiednie składniki otrzymujemy:

 \phi=\sum_{i=1}^n y_i^2-2\hat{\alpha}\sum_{i=1}^n y_i-2\hat{\beta}\sum_{i=1}^n x_iy_i+n\hat{\alpha}^2+2\hat{\alpha}\hat{\beta}\sum_{i=1}^nx_i+\hat{\beta}^2\sum_{i=1}^nx_i^2.

Przy tej postaci funkcji \phi łatwo możemy obliczyć pochodne cząstkowe:

 \frac{\partial\phi}{\partial\hat{\alpha}}=2\sum_{i=1}^ny_i+2n\hat{\alpha}+2\hat{\beta}\sum_{i=1}^nx_i

 \frac{\partial\phi}{\partial\hat{\beta}}=-2\sum_{i=1}^nx_iy_i+2\hat{\alpha}\sum_{i=1}^nx_i+2\hat{\beta}\sum_{i=1}^nx_i^2

Przyrównując pochodne do 0 otrzymujemy układ równań:

\left\{\begin{array}{l}0=2\sum_{i=1}^ny_i+2n\hat{\alpha}+2\hat{\beta}\sum_{i=1}^nx_i \\0=-2\sum_{i=1}^nx_iy_i+2\hat{\alpha}\sum_{i=1}^nx_i+2\hat{\beta}\sum_{i=1}^nx_i^2\end{array}\right.

Dla uproszczenia zapisu układ dzielimy przez 2, a następnie rozwiązujemy metodą podstawienia:

\left\{\begin{array}{l}\hat{\alpha}=\frac{\sum_{i=1}^ny_i-\hat{\beta}\sum_{i=1}^nx_i}{n} \\0=-\sum_{i=1}^nx_iy_i+\hat{\alpha}\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2\end{array}\right.

Wstawiając tak wyliczone \hat{\alpha} do równania drugiego dostajemy:

0=-\sum_{i=1}^nx_iy_i+\frac{\sum_{i=1}^ny_i-\hat{\beta}\sum_{i=1}^nx_i}{n}\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2

-\frac{\hat{\beta}}{n}\sum_{i=1}^nx_i\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2=\sum_{i=1}^nx_iy_i-\frac{1}{n}\sum_{i=1}^ny_i\sum_{i=1}^nx_i ,

co daje nam w wyniku:

\hat{\beta}=\frac{\sum_{i=1}^nx_iy_i-\frac{1}{n}\sum_{i=1}^ny_i\sum_{i=1}^nx_i}{\sum_{i=1}^nx_i^2-\frac{1}{n}\sum_{i=1}^nx_i\sum_{i=1}^nx_i}

Korzystając z wzorów na średnią arytmetyczną \overline{x}=\sum_{i=1}^nx_i oraz  \overline{y}=\sum_{i=1}^ny_i i dokonując odpowiednich podstawień otrzymujemy rozwiązanie:

\left\{\begin{array}{l}\hat{\beta}=\frac{\sum_{i=1}^nx_iy_i-n\overline{x}~\overline{y}}{\sum_{i=1}^nx_i^2-n\overline{x}^2}\\ \hat{\alpha}=\overline{y}-\hat{\beta}\overline{x}\end{array}\right.

Warunkiem wystarczającym, aby w punkcie (\hat{\alpha},\hat{\beta}) istniało minimum funkcji \phi jest  nieujemny znak pochodnych \frac{\partial^2\phi}{\partial^2\hat{\alpha}} oraz \frac{\partial^2\phi}{\partial^2\hat{\beta}} . Pochodne te wynoszą odpowiednio 2n oraz \sum_{i=1}^2x_i^n , a zatem, rozwiązanie (\hat{\alpha},\hat{\beta}) jest estymatorem (\alpha,\beta) wyznaczonym Metodą Najmniejszych Kwadratów.

Wszelkie uwagi mile widzane:
statystyka@biostat.com.pl
©2013 Statystyka.az.pl
Wszystkie prawa zastrzeżone.
Kontakt