# Moniulotteinen data

Moniulotteinen havainnot $$\begin{cases} p \text{ muuttujia ja }n \text{ havaintoyksikköjä} \\ \text{havaintomatriisi } \begin{eqnarray} \boldsymbol{x}&=&\left[\begin{array}{ccc} x_{11} & \ldots &x_{1p} \\ \vdots & & \vdots \\ x_{n1} &\ldots & x_{np} \end{array} \right]=\left[\begin{array}{c} \boldsymbol{x}_{1}^T \\ \vdots \\ \boldsymbol{x}_{n}^T \end{array} \right].\end{eqnarray} \\ \bar x_k,\ s_k^2,\ \ i = 1,\dots p \text{ are for each row – muuttaja } \\ s_{ik} = \frac{1}{n-1} \sum_{j=1}^n (x_{ji}-\bar x_i)(x_{jk}-\bar x_k)\\ \boldsymbol{\bar x}=\left[\begin{array}{c} \bar x_{1} \\ \vdots \\ \bar x_{p} \end{array} \right],\ \ \boldsymbol{S}=\left[\begin{array}{ccc} s_{11} & \ldots &s_{1p} \\ \vdots & & \vdots \\ s_{p1} &\ldots & s_{pp} \end{array} \right] \end{cases}$$.

Covariance matrix $$\begin{cases} \boldsymbol{\Sigma}=\text{cov}(\boldsymbol{X}) =E[(\boldsymbol{X}-\boldsymbol{\mu})(\boldsymbol{X}-\boldsymbol{\mu})’] =\left[\begin{array}{cccc} \sigma_1^2 \\ \sigma_{21} & \sigma_2^2 \\ \vdots & \vdots & \ddots &\\ \sigma_{p1} & \sigma_{p2}& \ldots &\sigma_p^2 \end{array} \right] \\ {\boldsymbol P} = \left[\begin{array}{cccc} \frac{\sigma_1^2}{\sqrt{\sigma_1^2}\sqrt{\sigma_1^2}} & & & \\ \frac{\sigma_{21}}{\sqrt{\sigma_1^2}\sqrt{\sigma_2^2}} & \frac{\sigma_2^2}{\sqrt{\sigma_2^2}\sqrt{\sigma_2^2}} & & \\ \vdots & \vdots & \ddots &\\ \frac{\sigma_p^2}{\sqrt{\sigma_1^2}\sqrt{\sigma_p^2}}& \ldots & & \end{array} \right] = \left[\begin{array}{cccc} 1 &\rho_{12} & & \\ \rho_{21} & 1 & & \\ \vdots & \vdots & \ddots &\\ \rho_{p1}& \ldots & & 1 \end{array} \right] \\ \boldsymbol{D}^{1/2}=\left[\begin{array}{cccc} \sigma_1 & 0 & & \\ 0 & \sigma_2 & & \\ \vdots & \vdots & \ddots &\\ 0& \ldots & & \sigma_p \end{array} \right] \\ \ ⇒\ \boldsymbol{\Sigma}=\boldsymbol{D}^{1/2}\boldsymbol{P}\boldsymbol{D}^{1/2}\end{cases}$$.

Moniulotteinen normaalijakauma $$N_p(\boldsymbol{\mu},\boldsymbol{\Sigma}) \begin{cases} f(\boldsymbol{x})=(2\pi)^{-\frac{p}{2}} |\boldsymbol{\Sigma}|^{-\frac{1}{2}} e^{-\frac{1}{2} (\boldsymbol{x}-\boldsymbol{\mu})’\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})} \\ \boldsymbol{X}=\left[\begin{array}{c} X_1\\ X_2\\ \vdots\\ X_p \end{array} \right], \ \boldsymbol{\mu}=\left[\begin{array}{c} \mu_1\\ \mu_2\\ \vdots\\ \mu_p \end{array} \right],\ \boldsymbol{\Sigma}=\left[\begin{array}{cccc} \sigma_1^2 & & & \\ \sigma_{21} & \sigma_2^2 & & \\ \vdots & \vdots & \ddots &\\ \sigma_{p1} & \sigma_{p2}& \ldots &\sigma_p^2 \end{array} \right]. \end{cases}$$.

Lause Normaalijakauma
▻▻ $$\boldsymbol{X} \sim N_p(\boldsymbol{\mu},\boldsymbol{\Sigma}) \ \ ⇒\ (\boldsymbol{X}-\boldsymbol{\mu})’\boldsymbol{\Sigma}^{-1}(\boldsymbol{X}-\boldsymbol{\mu}) \sim \large\chi\normalsize_{ p}^2$$.
▻▻ $$\boldsymbol{X} \sim N_p(\boldsymbol{\mu},\boldsymbol{\Sigma}) \ ⇔ \ \forall \ \boldsymbol{a’\Sigma} \sim N(\boldsymbol{a’\mu},\boldsymbol{a’\Sigma a})$$ (mikä tahansa lineaarikombinaatio on yksiulotteinen normaalijakauma).

# Pääkomponenttianalyysi

Perusidea $$\begin{cases} \boldsymbol{X} ‘=(X_1,\dots,X_p) p \text{ suuri} \\ \boldsymbol{Z} ‘ = (Z_1,\dots,Z_q) q \text{ pieni} \\ Z \text{ ovat } X \text{:n lineaarikombinaatioita} \\ \text{muutujien määrää } p \to q \text{ vähentäa} \\ \text{jos } p = q\\ \ ⇒\ \boldsymbol{Z=BX} \\ \ ⇔ \ \begin{cases} Z_1 = b_{11} X_{1}+ \ldots +b_{1p} X_{p}= \boldsymbol{b}_1^T \boldsymbol{X}\\ \vdots\\ Z_p =b_{p1} X_{1}+ \ldots +b_{pp} X_{p}= \boldsymbol{b}_p^T \boldsymbol{X} \end{cases} \\ \text{Define } \boldsymbol{\Sigma} = cov(\boldsymbol{X} ) \ \ (p\times p ) \\ \ ⇒\ var(Z_i) = \boldsymbol{b}_i^T \boldsymbol{\Sigma} \boldsymbol{b}_i,\ \ cov(Z_i, Z_k) = \boldsymbol{b}_i^T \boldsymbol{\Sigma} \boldsymbol{b}_k\end{cases}$$.

Lagrangen menetelmä (1. pääkomponentin) $$\begin{cases} \text{Max } var(Z_1)=\boldsymbol{b}_1^T \boldsymbol{\Sigma} \boldsymbol{b}_1 \text{ rajoitteen } \boldsymbol{b}_1^T\boldsymbol{b}_1=1 \\ h(\boldsymbol{b}_1,\lambda_1)=\boldsymbol{b}_1^T\boldsymbol{\Sigma}\boldsymbol{b}_1- \lambda_1 \underbrace{ (\boldsymbol{b}_1^T\boldsymbol{b}_1-1) }_{=0} \\ \frac{\partial h (\boldsymbol{b}_1, \lambda_1)}{\partial\boldsymbol{b}_1} := \boldsymbol{0} \ ⇒\ \boldsymbol{\Sigma} \boldsymbol{b}_1 =\lambda_1 \boldsymbol{b}_1 \\ \text{eli, ominaisarvo ja ominaisvektori} \end{cases}$$.

Toinen pääkomponentin ja muita $$\begin{cases} \text{Conditions } \begin{cases} \boldsymbol{b} _{2}^{T} \boldsymbol{b}_2 =1 \\ cov(Z_1,Z_2) =0 \\ \text{Max } var(Z_2) \end{cases} \\ \ ⇒\ h(\boldsymbol{b}_2,\lambda_2,\delta) = \boldsymbol{b}_2^T \boldsymbol{\Sigma} \boldsymbol{b}_2 – \lambda_2 (\boldsymbol{b}_2^T\boldsymbol{b}_2-1) -\delta \boldsymbol{b}_2^T \boldsymbol{b}_1 \\ \ ⇒\ \boldsymbol{\Sigma}\boldsymbol{b}_2= \lambda_2 \boldsymbol{b}_2\end{cases}$$.

Huom Yleistä
▻▻ Käytetään niitä pääkomponentteja, joille $$\lambda_i \gt 1$$;
▻▻ 1.PK on usein summamuuttuja $$Z_1 = \sum X$$

# Riippumattomien komponenttien analysis | Independent Component

ICA model $$\begin{cases} \text{observe } x_1,\dots, x_n \text{, and } \forall j: \\ x_j = a _{j1} s_1 + a _{j2} s_2 + \cdots + a _{jn} s_n \\ \ ⇔ \ \boldsymbol{x} = \boldsymbol{As} = \sum\limits_{i=1}^{ n} \boldsymbol{a} _i s_i \\ \text{denote } \boldsymbol{W} = \boldsymbol{A } ^{-1} \ ⇒\ \boldsymbol{s} = \boldsymbol{Wx} \\ \text{Assume } \begin{cases} s_i \text{ are independent and NON-Gaussian} \\ E s_i^2 =1 \\ \boldsymbol{x} = \boldsymbol{AP} ^{-1} \underbrace{ \boldsymbol{Ps}}_{\text{the } s_j} \end{cases} \\ \text{idea is to estimate } s \text{ by } x \text{, i.e. the } \boldsymbol{A} \end{cases}$$.

# Faktorianalysis

Faktorianalyysin malli $$\begin{cases} X_1,\dots,X_p \text{ muuttujia (indikaattoreita)} \\ f_1, \dots, f_k \text{ faktoreita (ei havaittu)} \\ X_i=a_{i1} f_{1}+ \ldots +a_{ik} f_{k}+e_i, \ \ i=1,\dots,p \\ \underbrace{ \boldsymbol{X} } _{(p\times 1)} = \underbrace{ \boldsymbol{A}}_{(p \times k)} \underbrace{ \boldsymbol{f} }_{(k\times 1)} + \underbrace{ \boldsymbol{e}}_{(p \times 1)} \\ \text{ Latausmatriisi } \boldsymbol{A} = \begin{bmatrix} a_{11} & \ldots &a_{1k} \\ \vdots & & \vdots \\ a_{p1} &\ldots & a_{pk} \end{bmatrix} = \begin{bmatrix} \boldsymbol{a}_{1}’ \\ \vdots \\ \boldsymbol{a}_{p}’ \end{bmatrix} \end{cases}$$

Mallin oletukset $$\begin{cases} E(\boldsymbol{e} ) = E (\boldsymbol{f} ) = 0 \\ var(f_j) = 1 \\ \text{cov}(\boldsymbol{f})=\boldsymbol{\Phi} = \begin{bmatrix} 1 & \ldots & & \\ \Phi_{21} & 1 &\ldots& \\ \vdots & & \vdots & \\ \Phi_{k1} & \Phi_{k2} & \ldots & 1 \end{bmatrix} \\ \text{* jos faktorit korreloimattomia } ⇒ \boldsymbol{\Phi} = \boldsymbol{I} \\ \text{* jäännökset korreloimattomia } ⇒ cov(\boldsymbol{e} ) = \boldsymbol{\Psi} = diag\{\Psi_1,\dots, \Psi_p\} \\ cov(\boldsymbol{e, f} ) = \boldsymbol{0} \end{cases}$$.

Varianssi $$\begin{cases} \boldsymbol{P} := \boldsymbol{\Sigma } = \boldsymbol{A\Phi A} ‘ +\boldsymbol{\Psi} \\ var(X_i) = \underbrace{ \boldsymbol{a} _i’ \boldsymbol{\Phi a}_i }_{=:h_i^2} + \Psi_i \\ cov(X_i, X_j) = \boldsymbol{a} _i’ \boldsymbol{\Phi a}_j \end{cases}$$.

Faktorianalyysin suorittaminen (for each step, choose any one) $$\begin{cases} k \text{ arviointi} &\begin{cases} \text{PKA:n lukumäärä } \# \lambda_i \geq 1 \\ \text{Cattellin Scree-kriteeri: } \lambda \text{ graafisesti} \\ \text{subjektiivinen} \\ X \text{:n korrelaatiot } \boldsymbol{R} \approx \boldsymbol{A\Phi A} ‘ + \boldsymbol{\Psi} \text{ riittävän hyvin} \end{cases} \\ \text{Faktorointi} &\begin{cases} \text{Maks uskottavuus } F=-\ln\left(\frac{|\boldsymbol{AA}^T+{\boldsymbol{\Psi}}|}{|\boldsymbol{R}|}\right)-tr(\boldsymbol{T}) +p \\ \text{ ▻▻ missä } \boldsymbol{T}=(\boldsymbol{A}\boldsymbol{A}^T+ \boldsymbol{\Psi})^{-1}\boldsymbol{R} \\ \text{Pääakselifaktorointi/principal axis factoring (next section)} \\ \text{muita} \end{cases} \\ \text{Rotatointi} & \begin{cases} \text{Latausmatriisin muunnos } \boldsymbol{B} = \boldsymbol{AM},\ \boldsymbol{M} \text{ ortog.} \\ \text{Thurstonen yksinertaisen faktorirakenteen periaate} \end{cases} \end{cases}$$.

Faktoripistemääristä / factor scores $$\begin{cases} \text{faktoripistemäärämuuttujat } &z_i = f_i \text{ “havaittu” arvo} \\ \text{regressiomenetelmä} &\boldsymbol Z=\boldsymbol{XR}^{-1}\boldsymbol A \\ \text{Bartlettin menetelmä} &\boldsymbol Z=\boldsymbol X\pmb\Psi^{-1}\boldsymbol A(\boldsymbol A’\pmb\Psi^{-1} \boldsymbol A)^{-1} \end{cases}$$.

# Erotteluanalyysi | Discriminant Analysis

Perusideat $$\begin{cases} p \text{ muuttujaa } \boldsymbol{x} =(x_1,x_2,\dots,x_p)’ \\ k \text{ riippumatonta populaatiota} \\ \text{summamuttaja } d= \boldsymbol{v’x} =v_1x_1 + \cdots + v_px_p \\ \text{ ▻▻ erottelufunktio: to separate different “groups”} \\ \text{kulku: 1. erottellufunktio ⇒ 2., testeta merkitsevyys ⇒ end or 3…} \end{cases}$$.

1. erottelufunktio $$\begin{cases} d= \boldsymbol{v’x} & \text{ lineaarikombinaatio} \\ F(\boldsymbol{v} )= k \frac{\boldsymbol{v’Hv} }{\boldsymbol{v’Ev} } & \text{testisuure } d \text{:lle} \\ & \boldsymbol{H, E} \text{ 1-MANOVA:n ristitulomatriisi} \\ F (\boldsymbol{v}) \text{ maximoittu} & \ ⇒\ \boldsymbol v \\ d_1=v_{10}+\boldsymbol v_1’\boldsymbol x & \begin{cases} \boldsymbol v_1=\boldsymbol T^{-1}\boldsymbol a_1\sqrt{n-k}\\ E = T’T \\ A = (T’) ^{-1} H T ^{-1} \\ b=Tv,\ a= b/\sqrt{b’b} \end{cases} \end{cases}$$.

2. erottelufunktio: $$\begin{cases} F(\boldsymbol v)=k{\boldsymbol v’\boldsymbol{Hv}\over\boldsymbol v’\boldsymbol{Ev}} \text{ maksimoittu ehdolla } \boldsymbol v’\boldsymbol{Ev}_1=0 \\ d_2=v_{20}+\boldsymbol v_2’\boldsymbol x, \ \ \ \boldsymbol v_2=\boldsymbol T^{-1}\boldsymbol a_2\sqrt{n-k} \end{cases}$$.

Erottelukyvyn merkitsevyys $$\begin{cases} \Lambda_i = \prod\limits_{j=i}^{ g} \frac{1}{1+\lambda_j} \\ F= \frac{1-\Lambda _{i}^{1/t} }{\Lambda _{i}^{1/t}} \frac{rt-2u}{ab} \sim F(ab, rt-2u) \\ \text{missä } \begin{cases} a=p+1-i \\ b = k-i \\ r= n-k-(a-b+1)/2 \\ u=(ab-2)/4 \\ t = \sqrt{(a^2b^2-4)/(a^2+b^2-5)} \\ \text{ ▻▻ jos }a^2 + b^2 -5>0 \text{, muulloin } t=1 \end{cases} \\ H_0: \text{ merkiseviä on }i-1 \text{ kappaletta} \\ H_1: \text{ merkiseviä on ainakin }i \text{ kappaletta} \end{cases}$$.

Erottelufunktioiden selitysosuudet: $$\begin{cases} \boldsymbol{A} \text{:n ominairavot } \lambda_1,\dots,\lambda_g \\ \lambda_i \text{ kuvaa } d_i\text{:n erotteluinformaatio} \\ d_i \text{ selittää } \frac{100\lambda_i}{\lambda_1 + \cdots + \lambda_g} \% \text{ ryhmien keskiarvoeroista} \\ R_i = \sqrt{ \frac{\lambda_i}{1+\lambda_i} } \text{ kuvaa } d_i \text{ tärkeyttä} \\ R_i^2 \text{ selitysaste (% of variation explained)} \end{cases}$$.

Standardoidut kertoimet $$\begin{cases} c _{ij} = v _{ij} \sqrt { \frac{e_{jj}}{N-k} } \\ e_{jj} \ X_j \text{ virheneliösumma} \\ i \leftrightarrow \text{erottelufunktio},\ j \leftrightarrow x\text{-muuttuja} \\ \ ⇒\ \text{suuri itseisarvo = tärkeä muuttuja} \end{cases}$$.

Havaintojen luokittelusta $$\begin{cases} d_j(\boldsymbol{x} )=\sqrt{(\boldsymbol {x-\bar x_j} )’ \boldsymbol{S} _{j}^{-1} \boldsymbol {x-\bar x_j} )} &\text{Mahalanobis-etäisyys} \\ \hat f_j( \boldsymbol{x} ) = (2\pi)^{-p/2} | \boldsymbol{S} _j| ^{-1/2} e ^{- \frac{1}{2} d_j^2( \boldsymbol{x} )} & \text{tiheysfunktio } \boldsymbol{x} \text{ kuuluu ryhmään } j \\ \hat p(j| \boldsymbol{x} )= \frac{e^{- \frac{1}{2} D_j^2( \boldsymbol{x} )}}{\sum_j} e^{- \frac{1}{2} D_j^2( \boldsymbol{x} )} & \text{(Bayesin posterior)} \\ \ \begin{cases} D_j^2 ( \boldsymbol{x} ) = d_j^2 ( \boldsymbol{x} )+ g_1(j) + g_2(j) \\ g_1(j) = \begin{cases} \ln | \boldsymbol{S}_j | & \text{cov-mat yhtä suuri} \\ 0 & \text{mulloin} \end{cases} \\ g_2(j) = \begin{cases} -2\ln p_j & \text{tn eri ryhmiin }\neq \\ 0 & \text{mulloin} \end{cases} \end{cases} \end{cases}$$.

# Ordinaatiomenetelmiä | Ordination Methods

Poikkeavuumatriisi/Deviation matrix $$\begin{cases} p\times n \text{ havaintomatriisi:}\\ \ \boldsymbol{Y} = \begin{bmatrix} \boldsymbol{y} _1 &\cdots& \boldsymbol{y} _n \end{bmatrix},\ \boldsymbol{y}_i = \begin{bmatrix} \boldsymbol{y} _{i1} &\cdots& \boldsymbol{y} _{ip} \end{bmatrix}’ \\ \text{poikeavuusmitta/dissimilarity:} \\ \ \delta_{ij} = || \boldsymbol{y} _i – \boldsymbol{y} _j|| = \\ \ \ \ \begin{cases} \delta _{ij} = \bigg( \sum\limits_{k=1}^{ p} |y _{ik} – y _{jk} ^p| \bigg) ^ {1/p} & L_p\text{-normi Minkowskin etäisyys} \\ \delta _{ij} = \sum\limits_{k=1}^{ p} \frac{|y _{ik} -y _{jk} |}{y _{ik} +y _{jk} } & \text{Canberra etäisyys} \\ \delta _{ij} = \frac{ \sum_{k=1}^{ p} |y _{ik} – y _{jk} |}{\sum_{k=1}^{ p} y _{ik} + \sum_{k=1}^{ p} y _{jk} } & \text{Bray-Curtis poikkeavuusmitta} \\ \delta _{ij} = \sqrt{ \sum\limits_{k=1}^{ p} \frac{S _{\cdot\cdot}}{S_{\cdot k}} \big( \frac{y_{ik}}{S _{1\cdot} } -\frac{y_{jk}}{S _{2\cdot} } \big)^2 } & \text{Chi-square. } S _{\cdot k } = \sum\limits_{i}^{ } y _{ik},\ S _{\cdot\cdot} = \sum\limits_{i}^{ } \sum\limits_{k}^{ } y_{ik} \end{cases} \\ k \text{-ulotteisten ordinaatiopisteiden etäisyys} \\ \end{cases}$$.

Pääkorrdinaattianalyysi/Principal coordinate (PCoA) $$\begin{cases} \boldsymbol{\Delta} ^2 = [\delta _{ij} ^2] \\ \boldsymbol{B} = -\frac{1}{2} \boldsymbol{J\Delta^2 J} \\ \lambda_1,\dots,\lambda_k ,\ \boldsymbol{\Lambda} ,\ \boldsymbol{E}\ \boldsymbol{B} \text{:n suurinta ominais-} \\ \text{Nyt } k \text{-ulotteiset ordinaatiopisteet saadaan} \boldsymbol{X} = \boldsymbol{E\Lambda} ^{1/2} \end{cases}$$.

Korrespondenssianalyysi $$\begin{cases} \boldsymbol{P} = \boldsymbol{Y} /n_Y,\ \ n_Y= \sum\limits_{i,j}^{ } y_{ij}\\ \boldsymbol{r=P1} , \boldsymbol{c=P’1} \text{ *all-one-matrix, not I} \\ \boldsymbol{D_r} =diag(\boldsymbol{r} ),\ \boldsymbol{D_c} =diag(\boldsymbol{c} ) \\ \boldsymbol{S} = \boldsymbol{D_r} ^{-1/2} (\boldsymbol{P-rc’} ) \boldsymbol{D_c} ^{-1/2} \\ \boldsymbol{S=UDV} ‘ \text{ ominaisarvohajotelma, } \boldsymbol{U’U=VV’=I}\\ \text{⇒ faktoripistemäärät } \begin{cases} \boldsymbol{F=D_r} ^{-1/2} \boldsymbol{UD} \\ \boldsymbol{G=D_c} ^{-1/2} \boldsymbol{VD} \end{cases} \end{cases}$$.