\[\begin{equation*} Y_i=\beta_1x_{i1}+\beta_2x_{i2}+\cdots+\beta_px_{ip}+\varepsilon_i,\;\;i=1,2,...,n \end{equation*} \]
ili

\[\begin{equation*} Y_i=\beta_0+\beta1x_{i1}+\beta_2x_{i2}+\cdots+\beta_px_{ip}+\varepsilon_i,\;\;i=1,2,...,n \end{equation*} \]

\[ \begin{equation*} Y=X\beta +\varepsilon, \end{equation*} \] —

\[ Y=\left(\begin{array}{c} Y_1\\ Y_2\\ \vdots\\ Y_n \end{array} \right), \;\; X=\left(\begin{array}{c} x^T_1\\ x^T_2\\ \vdots\\ x^T_n \end{array} \right),\;\; \beta=\left(\begin{array}{c} \beta_1\\ \beta_2\\ \vdots\\ \beta_{p} \end{array} \right), \] ili

\[ Y=\left(\begin{array}{c} Y_1\\ Y_2\\ \vdots\\ Y_n \end{array} \right), \;\; X=\left(\begin{array}{cc} 1&x^T_1\\ 1&x^T_2\\ \vdots\\ 1&x^T_n \end{array} \right),\;\; \beta=\left(\begin{array}{c} \beta_0\\ \beta_1\\ \vdots\\ \beta_{p} \end{array} \right), \]

                                    $X$-DIZAJN MATRICA

• \(E(\varepsilon)=0\)
• \(Cov(\varepsilon)=\sigma^2I\)
• \(X\) i \(\varepsilon\) su nezavisni slučajni vektori

\[Y_i=ax_i+b+\varepsilon_i\] \[X=\left(\begin{array}{cc} 1&x_{1}\\ 1&x_{2}\\ \vdots&\vdots\\ 1&x_n \end{array} \right)\;\; \beta=\left(\begin{array}{c} b\\ a \end{array} \right).\;\;\]

\[x_i=\left\{\begin{array}{cc} 1,& \text{ element uzorka je iz prve kategorije }\\ 0, & \text{ inače }\end{array}\right . \] \[\begin{equation*} Y=\left(\begin{array}{c} Y_1\\ Y_2\\ \vdots\\ Y_n \end{array} \right), \;\; X=\left(\begin{array}{cc} 1 &1\\ \vdots & \vdots\\ 1&1\\ 1&0\\ \vdots&\vdots\\ 1&0 \end{array} \right),\;\; \beta=\left(\begin{array}{c} \beta_0\\ \beta_1\\ \end{array} \right).\;\; \end{equation*} \]

\[Y_i=\beta_0+\beta_1x_i+\beta_2x_i^2+\varepsilon_i,\;\;i=1,2,...,n \] \[\begin{equation*} X=\left(\begin{array}{ccc} 1&x_{1}&x_1^2\\ 1&x_{2}&x_2^2\\ \vdots&\vdots\\ 1&x_n&x_n^2 \end{array} \right)\;\; \beta=\left(\begin{array}{c} \beta_0\\ \beta_1\\ \beta_2 \end{array} \right).\;\; \end{equation*}\]

Koristimo metod najmanjih kvadrata, odnosno

\[\hat{\beta}:=\arg \min_{b\in R^{p+1}}\|Y-Xb\|^2.\]

Ukoliko je \(R(X)=p+1\) onda je \(X^TX\) invertibilna i dobija se da je \[\hat{\beta}=(X^TX)^{-1}X^TY.\] Ocenjena vrednost zavisne promenljive je tada \[\hat{Y}=X(X^TX)^{-1}X^TY=HY \]

• Kvadratna matrica \(M\) je ortogonalna ako je \(M^TM=I\)
• Rang \(n\times p\) matrice \(A\) u oznaci \(R(A)\) je maksimalan broj linearno nezavisnih kolona(vrsta)
• \(R(A^TA)=R(AA^T)=R(A)=R(A^T)\)
• Trag kvadratne matrice \(A=[a_{ij}]\) je \(tr A=\sum_{i}a_{ii}\)
• \(tr(A+B)=tr(A)+tr(B)\)
• Ako je \(A\) \(n\times n\) matrica i \(P\) nesingularna matrica, onda je \(tr(P^{-1}AP)=tr(A)\)
• Ako je \(A\) \(n\times n\) matrica i \(M\) ortogonalna matrica, onda je \(tr(M^{T}AM)=tr(A)\)
• \(tr(ABC)=tr(BCA)\)

• Kvadratna matrica \(A\) je simetrična ako je \(A=A^T\)
• sobine simetrične \(n\times n\) matrice \(A\):
  • Postoji ortogonalna matrica \(C=(c_1,...c_n)\) i dijagonalna matrica \(\Lambda=(\lambda_1,...\lambda_n)\) (sopstvene vrednosti matrice ) takva da je \(A=C\Lambda C^T\) (spektralna dekompozicija matrice \(A\)). Tada je \(A=\sum_{i=1}^{n}\lambda_ic_ic_i^T\)
  • \(R(A)\) je broj sopstvenih vrednosti različitih od nule
  • \(tr(A)=\sum_{i=1}^n \lambda_i\)
  • Ako je \(A\) nesingularna matrica onda je \(tr(A^{-1})=\sum_{i=1}^n \lambda_{i}^{-1}\)
  • Postoji ortogonalna transformacija \(y=M^Tx\) tako da je \[x^TAx=\sum \lambda_i y_i^2;\]
  • \(R(A+B)\leq R(A)+R(B)\)

• Neka je \(A\) simetrična matrica i \(Q(x)=x^TAx\) kvadratna forma vektora \(x\). \(Q\) pozitivno definitna ako za svako \(|x|>0,\) \(Q(x)>0\). Ako se dopušta jednakost onda je pozitivno semi-definitna
• Ako je \(A_{p\times p}\) pozitivno definitna i \(B_{k\times p}\) matrica ranga \(k\leq p\) onda je \(BAB^T\) pozitivno definitna
• Simetrična matrica \(A\) je pozitivno definitna akko postoji nesingularna matrica \(P\) takva da je \(A=P^TP\)
• Za matricu \(P\) za koju je \(P^2=P\) kažemo da je idempotenta. Ukoliko je i simetrična onda se naziva matricom projekcije ili projektorom
• Matrica \(A\) maksimalnog ranga ima inverz \(A^{-1}\). Ukoliko matrica nije maksimalnog ranga onda postoji uopšteni inverz \(A^{-}\) za koji vazhi \(AA^{-}A=A.\) Ovaj inverz ne mora biti jedinstven

Neka je \(X\) \(n\times p\) matrica i \(f\) skalarna funkcija. Tada je matrično diferenciranje definisano sa \[\begin{equation*} \frac{\partial f(X)}{\partial X}:=\Big(\frac{\partial f(X)}{\partial x_{ij}}\Big) \end{equation*}\]

• \(\frac{\partial a^Tx}{\partial x}=a=\frac{\partial x^Ta}{\partial x}\)
• \(\frac{\partial x^Tx}{\partial x}=2x\)
• \(\frac{\partial x^TAx}{\partial x}=(A+A^T)x\)
• \(\frac{\partial x^TAy}{\partial x}=Ay\)

Minimiziramo \(S(\beta)=(Y-X\beta)^T(Y-X\beta)=Y^TY-\beta^TX^TY-Y^TX\beta+\beta^TX^TX\beta\)

Uz odgovarajuće uslove regularnosti minimum se postiže u tački koja je rešenje jednačine \[\frac{\partial S(\beta)}{\partial \beta}=0\] odnosno \[-X^TY-X^TY+2X^TX\beta=0\]

Ukoliko je \(R(X)=p+1\) onda je \(X^TX\) invertibilna i dobija se da je \[\hat{\beta}=(X^TX)^{-1}X^TY.\] Ocenjena vrednost zavisne promenljive je tada \[\hat{Y}=X(X^TX)^{-1}X^TY=HY \]

• \(H\) je projektor
• \((Y-HY)^TX=0\) reziduali \(e=Y-HY\) su ortogonalni na ravan određenu sa \(X\)
• geometrijska interpretacija modela

• \(Ee=0\)
• \(Cov e=\sigma^2(I-H)(I-H)^T=\sigma^2(I-H)=(I-H)\sigma^2\)
• \[ \begin{equation*} SSE=\sum_{i=1}^ne_i^2=e^Te=Y^T(I-H)Y=Y^TY-Y^THY. \end{equation*}\]
• Neka je \(M=(I-H)=[m_{ij}].\)
  \[\begin{align*} E(SSE)=E(\sum_{ij}m_{ij}Y_iY_j)&=\sum_{ij}m_{ij}E(Y_iY_j)=\sum_{ij}m_{ij}E(\varepsilon_i \varepsilon_j)\\&=\sum_{i}m_{ii}E(\varepsilon^2_i)=\sigma^2\sum_{i}m_{ii}\\& =\sigma^2 tr(M)=\sigma^2(tr(I)-tr(H))=\sigma^2(n-tr((X^TX)(X^TX)^{-1}))\\&=\sigma^2(n-tr(I_{p+1}))=\sigma^2(n-p-1) \end{align*}\]

\[\begin{align*} E(SSE)&=E(tr(Y^TMY)=E(tr(MYY^T))=tr(ME(YY^T))\\&=tr(ME((X\beta+\varepsilon))(X\beta+\varepsilon)^T))=tr(M(X\beta\beta^TX^T+\sigma^2I))\\&=\sigma^2trM=\sigma^2(n-trH)=\sigma^2(n-p-1)\end{align*}\]

\[\hat{\sigma}^2=\frac{\sigma^2}{n-p-1}\]

\[\begin{align}\label{razlaganjeSSTO} \nonumber\sum_{i=1}^n(Y_i-\bar{Y})^2=&\sum_{i=1}^n(Y_i-\hat{Y})^2+\sum_{i=1}^n(\hat{Y}_i-\bar{Y})^2\\ SSTO=&SSE+SSR \end{align}\] \[\begin{align*} SSTO&=Y^T(I-\frac{J}{n})Y,\\ SSE&=Y^T(I-H)Y\\ SSR&=Y^T(H-\frac{J}{n})Y\\ \end{align*}\]

\[R^2=\frac{SSR}{SSTO}=1-\frac{SSE}{SSTO}\]

• \(R(I-\frac{J}{n})=n-1\)
• \(R(I-H)=n-p-1\)
• modifikovani koeficijent determinacije \[ \begin{equation*} R^2_A=1-\frac{\frac{SSE}{n-p-1}}{\frac{SSTO}{n-1}}. \end{equation*}\]

• \(E\hat{\beta}=0\)
• \(Cov\hat{\beta}=\sigma^2(X^TX)^{-1}\)
• Ukoliko \(tr((X^TX)^{-1})\to 0\), kad \(n\to \infty\) \(\hat{\beta}\) je postojana ocena parametra \(\beta\).
• Domaći: ako su prediktori međusobno ortogonalni onda se ocena za \(\beta\) poklapa sa ocenom koja se dobija jednostrukim regresijama.

• Teorema Gaus-Makova:

  Neka je \(\hat{\beta}\) ocena metodom najmanjih kvadrata i \(\tilde{\beta}=AY\) neka druga linearna nepristrasna ocena za \(\beta\). Tada je matrica \(Cov(\tilde{\beta}|X)-Cov(\hat{\beta}|X)\) pozitivno definitna.

Neka je \(B=(X^TX)^{-1}X^T\) i neka je \(A=B+C.\) \(E(\tilde{\beta}|X)=AX\beta=\beta.\) Odnosno \(I=AX=(B+C)X.\) Kako je \(BX=I\) zaključujemo da je \(CX=0.\) \[ \begin{align*}Cov(\tilde{\beta}|X)=AD(Y|X)A^T=Cov(\hat{\beta}|X)+BC^T+CB^T+CC^T.\end{align*}\] \[\begin{align*} CB^T&=CX(X^TX)^{-1}=0\\ BC^T&=(X^TX)^{-1}X^TC^T=(X^TX)^{-1}(CX)^{T}=0\end{align*}\]

Pretpostavimo da je cilj da ocenimo neku linearnu kombinaciju parametara modela ili više takvih linearnih kombinacija, odnosno da ocenimo \(l^T\beta\) u prvom slučaju, odnosno \((L^T\beta)\) u drugom slučaju.

Pretpostavimo da postoji nepristrasna linearna ocena (\(cY\)) ocena za \(l^T\beta\). Tada se od svih takvih ocena ocena sa najmanjom disperzijom naziva najbolja linearna nepristrasna ocena i označava sa BLUE

• \(l^T\hat{\beta}\) je \(BLUE\) za \(l^T\beta.\)
• \(L^T\hat{\beta}\) je \(BLUE\) za \(L^T\beta.\)

Uslovi Gaus-Markova \(+\) šum je Gausov

-Slučajni vektor \(X\) ima \(n\)-dimenziona normalnu raspodela \(N_n(\mu,\Sigma)\) ukoliko je njegova funckija gustine

\[f(x)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}e^{-\frac{(x-\mu)^T\Sigma^{-1}(x-\mu)}{2}},\;\;x\in R^n\] gde je \(\Sigma\) simetrična, pozitivno definitna kovarijaciona matrica a sa \(|\Sigma|\) je označena njena determinanta.

• Ukoliko \(X\) ima \(N(\mu,\Sigma)\) raspdelu onda \(AX+b\) ima \(N(A\mu+b,A\Sigma A^T)\)
• \(X\) se mozhe predstaviti u obliku \(X=AZ+\mu\) gde je \(AA^T=\Sigma\) a \(Z\) ima standardnu vishedimenzionalnu normalnu raspodelu
• Ako slučajni vektor \(Z=(X^T, Y^T)^T\) ima \(N\left(\left(\begin{array}{c} \mu_x\\ \mu_y \end{array} \right),\left( \begin{array}{cc} \Sigma_x&\Sigma_{xy}\\ \Sigma^T_{xy}&\Sigma_y \end{array}\right)\right)\) raspodelu onda su marginalne raspodele za \(X\) i \(Y\) redom \(N(\mu_x,\Sigma_x)\) i \(N(\mu_y,\Sigma_y)\), a uslovne raspodele \(Y|x\sim N(\mu_y+\Sigma_{xy}^T\Sigma^{-1}_{xx}(x-\mu_x),\Sigma_{y}-\Sigma_{xy}^T\Sigma_{x}^{-1}\Sigma_{xy})\)
• \(X\) ima višedimenzionu normalnu raspodelu akko za svaki vektor \(a\) (različit od nule) \(a^TX\) ima jednodimenzionalnu normalnu raspodelu

Neka su \(X_1,...,X_k\) nezavisne slučajne veličine sa \(N(\theta_1,1)\),…,\(N(\theta_k,1)\) raspodelma ,redom. Tada slučajna veličina \[\begin{equation}\label{chi2}Y=\sum_{j=1}^kX_j^2\end{equation}\] ima \(\chi^2_k(\mu)\) raspodelu, gde je parametar položaja \(\mu=\sum_{j=1}^k\theta_j^2.\) Ukoliko je \(\mu=0\) parametar položaja ćemo izostaviti u notaciji.

Neka \(X\sim\chi^2_{n_1}(\mu)\) i \(Y\sim\chi^2_{n_2}\) i nezavisne su. Tada \[\begin{equation*} \frac{\frac{X}{n_1}}{\frac{Y}{n_2}} \end{equation*}\] ima Fišerovu \(F_{n_1,n_2}(\mu)\) raspodelu.

Neka \(X\) ima normalnu \(N(\theta,1)\) raspodelu i \(Y\) ima \(\chi^2_m\) raspodelu i nezavisne su. Tada \[ \begin{equation*} \frac{X}{\sqrt{\frac{Y}{m}}} \end{equation*}\] ima Studentovu \(t_m(\theta)\) raspodelu, gde je \(\theta\) parametar položaja.