Moniulotteiset Aikasarjat

Table of Contents

Johdanto

Table of Contents

Taustaa / background

Määr Moniulotteinen/Vektoriarvoinen aikasarja / multivariant/vector time-series on havaintoaineisto, jossa on vektoriarvoisia havaintoja peräkkäisinä ajankohtina eli:
▻▻ \( y_t = (y_{1t},…,y_{nt}), \ \ \ t = 1,…,T\) .

Määr Stokastinen prosessi
▻▻ \( \{y_t,\ t \in \mathbb{ Z} \}\) (diskreetti aika) tai \( \{ y_t, \ t \in \mathbb{ R} \}\) (jatkuva aika);
▻▻ Yleensä merkitään lyhyesti \( \{y_t\}\) tai vain \( y_t\) ;

Määr Äärellisuolotteisia jakaumia / finite distributions
▻▻ \( \mathbb{ P}(y_{t_1} \in A_1,…,y_{t_m} \in A_m), \ \ 1 \leq m \lt \infty \).

Määr (odotusarvo ja kovarianssi)
▻▻ Odotusarvo (funktio): \( \mu_t = \mathbb{ E}(y_t) \ \ \ (n \times 1) \) ;
▻▻ Kovarianssifunktio: \( \Gamma_{s,t} = Cov(y_s,y_t) = \mathbb{ E} [ (y_s-\mu_s)(y_t-\mu_t)’ ] \ \ \ (n \times n)\)
Lehtori: Pentti Saikkonen

Luentokirja:
Moniulotteiset aikasarjat (Pentti Saikkonen)
• New Introduction to Multiple Time Series Analysis (Helmut Lütkepohl, Springer 2005)
Kurssi: 57771 Moniulotteiset aikasarjat, kevät 2016, 5-8op (Multivariate time-series)
Helsingin Yliopisto, Suomi
print-logo

This course requires strong knowledge in matrix calculation (see “Matriisilaskentaa” page).

Stationaariset Prosessit

Stationaariset prosessit / Stationary process

Määr Stokastinen prosessi \( y_t\) on (vahvasti) stationaarinen / (strictly) stationary, jos:
▻▻ \( \mathbb{ P}(y_{t_1} \in A_1,…,y_{t_m} \in A_m) = \mathbb{ P}(y_{t_1+k} \in A_1,…,y_{t_m+k} \in A_m), \ \ \forall k,m\geq 1 \) .

Määr Heikosti stationaarinen / (weakly) stationary:
▻▻ \( \mathbb{ E}(y_t)=\mu \text{ , ja } Cov(y_t, y_{t+k})= \Gamma_k, \ \ \ \forall t,k \in \mathbb{ Z} / \mathbb{ R} \) .

Esim (i.i.d.)
Jos \( y_t\) on tällainen jono ja \( \mathbb{ E} (y_t) = \mu, Cov(y_t, y_{t+k})= \Sigma\) ovat äärellisinä olemassa, merkitään \( y_t \sim iid(\mu, \Sigma)\) .

Huom (Yksi- ja moniulotteisessa tapauksessa)
▻▻ Moni-ssa: \( \Gamma_{-k} = \Gamma_k’\);
▻▻ \( \Gamma_{-k} \overset{\mu =0 }{= } \underbrace {\mathbb{ E} [y_t y_{t-k}’]}_{n \times n} = \big( \mathbb{ E} [y_t’ y_{t-k}] \big)’ = \Gamma_k’ \) .

Määr Olkoon \( (y_t)={y_{1t},…,y_{nt}}\) ja \( \Gamma_k = [\gamma_{ab,k}]\) :
▻▻ Autokovarianssifunktio: \( \rho_{a,k} = \frac{\gamma_{a,k} }{ \gamma_{a,0}}, \text{ missä } \gamma_{a,k}:=\gamma_{aa,k}\) ;
▻▻ Ristivarianssifunktio: \( \rho_{ab,k} = \frac{ \gamma_{ab,k}}{ \sqrt{ \gamma_{a,0} \gamma_{b,0}}} \) .

Käytännössä: (suppeneminen) \( \Gamma_k \to 0 \text{, kun } |k|\to \infty\) ;

Lineaarinen prosessi / Linear process

Määr Yksiulotteisen (kausaalisen) lineaarissen prosessi:
▻▻ \( y_t = \sum \limits_{ j=0}^{ \infty} \psi_j \varepsilon_{t-j}, \text{ missä } \varepsilon_t \sim iid(0, \omega^2), \ t \in \mathbb{ Z} \) , ja
▻▻ ▻▻ \( \psi_0=1\) , ja
▻▻ ▻▻ \( \sum \limits_{ j=0}^{ \infty}\psi_j^2 \lt \infty\) .
Lause \( \{\varepsilon_t\}\) vahvasti stationaarinen, niin ⇒ \( \{y_t\}\) vahvasti stationaarinen

Määr Moniulotteisen (kausaalisen) lineaarissen prosessi \( y_t =\{ y_{1t},…,y_{nt} \}\) :
▻▻ \( y_t = \sum \limits_{ j=0}^{ \infty} \Psi_j \varepsilon_{t-j}, \text{ missä } \varepsilon_t \sim iid(0, \Omega), \ t \in \mathbb{ Z} \) , ja
▻▻ ▻▻ \( \psi_0=I_n (n \times n \text{ yksikkömatriisi} )\) , ja
▻▻ ▻▻ \( \sum \limits_{ j=0}^{ \infty}||\Psi_j||^2 \lt \infty\) .
• Matriisinormi
Normi: \( ||A|| = \sqrt {\sum \limits_{ i=1}^{ n} \sum \limits_{ j=1}^{ m}a_{ij}^2}\) ;
(Vectorization) Olkoon \( A = [a_1 : \cdots : a_m] \text{, ja sitten } vec(A) = \begin{bmatrix}a_1 \\ \vdots \\ a_m \end{bmatrix}\) .
Tällöin \( ||A||= \sqrt {vec'(A) vec(A)}\) .
Lause \( ||AB|| \leq ||A||\cdot ||B||\)
• Laskelu
\( \begin{align}\mathbb{ E} (y_t y_{t+k}’) &= \mathbb{ E} \bigg[ \sum \limits_{ i=0}^{ \infty} \Psi_j \varepsilon_{t-j} \underbrace{\big( \sum \limits_{ j=0}^{ \infty} \Psi_j \varepsilon_{t+k-j} \big)’}_{= \sum \limits_{ j=0}^{ \infty}\varepsilon_{t+k-j}’\Psi_j’ } \bigg] \\&=\mathbb{ E} \bigg( \sum \limits_{ i=0}^{ \infty} \sum \limits_{ j=0}^{ \infty} \Psi_i \varepsilon_{t-i} \varepsilon_{t+k-j}’\Psi_j’\bigg) \\ &= \sum \limits_{ i=0}^{ \infty} \sum \limits_{ j=0}^{ \infty} \Psi_i \underbrace{\mathbb{ E} \big( \varepsilon_{t-i} \varepsilon_{t+k-j}’ \big)}_{= \begin{cases} 0, &j \neq i+k \\ \Omega, &j=i+k\end{cases}} \Psi_j’ \\ &= \sum \limits_{ i=0}^{ \infty} \Psi_i \Omega \Psi_{i+k}’ \end{align}\)

Autoregressiivisen prosessin / Autoregression process

Määr VAR(p)-prosessin (vector autoregession):
▻▻ (yksiulotteisessa) \( y_t=a_1y_{t-1}+\cdots + a_py_{t-p}+\varepsilon_t, \ \ \ \varepsilon_t \sim iid(0, \omega^2), \ \ \ t \in \mathbb{ Z} \) ;
▻▻ (moniulotteisessa) \( y_t=A_1y_{t-1}+\cdots + A_p y_{t-p}+\varepsilon_t, \ \ \ \varepsilon_t \sim iid(0, \Omega), \ \ \ t \in \mathbb{ Z} \) , missä:
▻▻ ▻▻ \( A_1,\dots, A_p\ \ n \times n\) matriiseja, ja \( \varepsilon_t\ \ n \times 1\) eihavaittava virhetermi.

Esim (stationaarisuusehtoa varten, seuraavat ovat yhtäpitäviä )
▻▻ \( y_t = Ay_{t-1} + \varepsilon _t\) , jossa \( A = \begin{bmatrix} A_1 &A_2 & \dots &A_{p-1} & A_p\\ I_n &0 & \cdots &0 &0 \\ 0 &I_n & \cdots &0 &0 \\ \vdots & \vdots &\ddots &\vdots &\dots \\ 0&0 & \dots &I_n &0 \end{bmatrix} \) (\( np \times np\) matriisi);
▻▻ ⇔ \( \begin{bmatrix} y_t \\ y_{t-1} \\y_{t-2}\\ \vdots \\ y_{t-p+1} \end{bmatrix} = \begin{bmatrix} A_1 &A_2 & \dots &A_{p-1} & A_p\\ I_n &0 & \cdots &0 &0 \\ 0 &I_n & \cdots &0 &0 \\ \vdots & \vdots &\ddots &\vdots &\dots \\ 0&0 & \dots &I_n &0 \end{bmatrix} \begin{bmatrix} y_{t-1} \\ y_{t-2} \\y_{t-3}\\ \vdots \\ y_{t-p} \end{bmatrix}+ \begin{bmatrix} \varepsilon_t\\ 0 \\0 \\\vdots \\ 0 \end{bmatrix} \) ;
▻▻ ⇔ \( y_t=A_1y_{t-1}+\cdots + A_p y_{t-p}+\varepsilon_t, \ \ \ \varepsilon_t \sim iid(0, \Omega)\) .

Lause (stationaarisuusehdot)
(1) (Yhtäpitävä ehto) \( \textbf{y}_t = [ y_t’ \cdots y_{t-p+1}’ ] ‘ \) stationaarinen, joss ⇔ \( y_t\) on stationaarinen ;
(2) (Riittävä ehto) \( det(I_{np}-Az)\neq 0,\ \ \ |z|\leq 1,\ z\in \mathbb{ C} \) (eli. matriisin A kaikki ominaisarvot ovat itseisarvoltaan ykköstä pienempiä – todistus sivulla 9).

Lause (Stationaarisuusehdon vaihtoehtoinen muotoilu)
▻▻ Määritellään viivästysoperaattori \( B:B^k x_t = x_{t-k}\) .
▻▻ Täällöin VAR(p)-prosessi ⇔ \( A(B)y_t = \varepsilon_t\) , jossa \( A(B) = I_n -A_1B- \cdots – A_p B^p\);
▻▻ Polynomiatriisein avulla: \( det\ A(z) \neq 0, \ \ \ |z|\leq 1\) on riittävä stationaarisuusehto.
▻▻ ▻▻ Huom että \( det\ A(z)\) on myös polynominen.
▻▻ Nyt, \( \Psi(B) = \sum \limits_{ j=0}^{ \infty} \Psi_j B^j = A (B)^{-1}\), josta \( \Psi (A) A (B) = I_n\) ;
▻▻ Siis \( \begin{align} I_n &= (\Psi_0+\Psi_1B+\Psi_2B^2 \dots) (I_n-A_1B-\cdots – A_pB^p) \\ &= \Psi_0+(\Psi_1-\Psi_0A_1)B+(\Psi_2-\Psi_1A_1 – \Psi_0A_2)B^2 + \cdots\end{align} \) ;
▻▻ Tästä seuraa \( \begin{align} I_n &= \Psi_0 \\ 0 &=\Psi_1-\Psi_0A_1\\0 &= \Psi_2-\Psi_1A_1 – \Psi_0A_2\\ &\vdots \end{align} \).
▻▻ Voidaan laske: \( \Psi_j = \sum \limits_{ i=1}^{ j} \Psi_{j-1}A_i,\ \ \Psi_0=I_n\) .

VAR(p): odotusarvo, kovarianssifunktio ja ennustaminen

Lause (odotusarvo ja kovairanssifunktio)
▻▻ \( \mathbb{ E}(y_t)=0 \) ;
▻▻ \( \Gamma_k = \sum \limits_{ j=0}^{ \infty} \Psi_j \Omega \Psi_{j+k} = \Gamma_{-k}’ \);
▻▻ ▻▻ \( \Gamma_k \to 0\) gemeotrisesti kun \( j \to \infty\).
Lakeulu:
Koska VAR(p):n lineaarinen esitys \( y_t = \varepsilon_t + \Psi_1 \varepsilon_{t-1} + \Psi_2 \varepsilon_{t-2}+ \cdots\), niin:
▻▻ \( \varepsilon_t ⫫ y_(t-j)\) ja siis:
▻▻ \( \mathbb{ E}(y_{t-j}\varepsilon_t’)= \mathbb{ E}(y_{t-j})\mathbb{ E} (\varepsilon_t’)\) ja \( \mathbb{ E}(y_t\varepsilon_t’) = \mathbb{ E} (\varepsilon_t \varepsilon_t’) \) .


From the model (times \( y’_{t-k}\)):\( \underbrace{\mathbb{ E}(y_ty_{t-k}’)}_{=cov(y_ty’_{t-k})} =A_1 \mathbb{ E}(y_{t-1}y_{t-k}’)+\cdots + A_p \underbrace{\mathbb{ E}(y_{t-p}y_{t-k}’)}_{=\Gamma_{p-k} = \Gamma_{k-p}’} +\underbrace{\mathbb{ E}(\varepsilon_t y_{t-k}’)}_{=\begin{cases} 0, &k\gt0 \\ \Omega, & k=0\end{cases} } \) .
▻▻ (kun \( k = 0\) ) \( \Gamma_0 = A_1 \Gamma_1+\cdots A_p \Gamma_p + \Omega\);
▻▻ (kun \( k \gt 0\) ) \( \Gamma_{-k} = A_1 \Gamma_{1-k}+\cdots A_p \Gamma_{p-k} \);
▻▻ ⇔ (Yule-Walker ) \( \Gamma_{k}’ = A_1 \Gamma_{k-1}’+\cdots A_p \Gamma_{k-p}’ \).


\( \begin{align} Cov(\mathbf{ y}_t ) &= \mathbb{ E} \bigg( \begin{bmatrix}y_t \\\vdots \\y_{t-p+1} \\ \end{bmatrix} \begin{bmatrix} y’_t &\dots &y’_{t-p+1} \end{bmatrix} \bigg) \\&= \begin{bmatrix} \Gamma_{0} & \Gamma_{-1} & \dots &\Gamma_{-p+1}\\ \Gamma_{1} &\Gamma_{0} &\ddots &\vdots \\ \vdots &\ddots &\ddots &\Gamma_{-1}\\ \Gamma_{p-1} &\dots &\Gamma_{1} &\Gamma_{0}\end{bmatrix} \end{align}\).
▻▻ eli. \( \Gamma_0 = A \Gamma_0 A’ + \Omega\)
Määr Optimaalinen ennuste \( \mathbb{ E} (Y|X) \), missa \( Y\) on vektori, ja merkitään \( \tilde Y = g(X)\).
▻▻ (minimoi kekskinelilövirheen) \( MSE(\tilde{Y}) = \mathbb{ E} [(Y-\tilde Y)(Y- \tilde Y)’] = \mathbb{ E} [(Y-\tilde Y)^2] \) .
Here, we show that \( E(Y|X)\) is the best prediction, eli \( \forall \text{ vektorilla } a :\ a’MSE(\tilde Y)a \geq a’ MSE(E(Y|X))a\). Olkoon \( a= (0,\dots,0,1,0,\dots,0)\):
▻▻ \( a’MSE(\tilde Y)a = a’\mathbb{ E} [(Y-\tilde Y)(Y- \tilde Y)’] a= \underbrace{\mathbb{ E} [a'(Y-\tilde Y)(Y- \tilde Y)’a]}_{\text{a skalar}= (a'(Y-\tilde Y))^2} \geq \mathbb{ E}[\big(Y_i – \mathbb{ E}(Y_i|X) \big)^2] \),
Lause (VAR(p)-prosessi ennustaminen \( \mathbb{ E} \) )
▻▻ \( y_t(1)=A_1y_t+ \cdots + A_py_{t-p+1}\);
▻▻ \( \mathbb{ E}_t(y_{t+h})= A_1\mathbb{ E}_t(y_{t+h-1})+\cdots + A_p\mathbb{ E}_t(y_{t+h-j}),\ \ \ h\leq j \) .
Todistus: Merkitaan \( \mathbb{ E}_t(\cdot) = \mathbb{ E} (\cdot | y_{t-j},\ 0\leq j \leq p) \);
Käytetään malli ja linearisuus : \( \mathbb{ E}_t(y_{t+1}) = A_1 \underbrace{\mathbb{ E}_t(y_{t})}_{=y_t} + \cdots +A_p \underbrace{\mathbb{ E}_t(y_{t-p+1})}_{=y_{t-p+1}} + \underbrace{\mathbb{ E}_t(\varepsilon_{t+1})}_{=0} \) .
Then, use the properties of conditional probability, we get the result.
Esim Olkoon \( y_t = A_1y_{t-1} + \varepsilon_t\) Tällöin \( \mathbb{ E}_t(y_{t+h})=A_1^hy_t \) (inductive).

Lause (VAR(p)-prosessi ennustaminen 2: luottamusväli)
▻▻ \( \mathbb{ E}(y_{t+h}-y_t(h))=0 \) ;
▻▻ \( Cov(y_{t+h}-y_t(h))= \sum \limits_{ j=0}^{ h-1} \Psi_j \Omega \Psi_j’\) .
▻▻ Jos \( \varepsilon_t \sim n.i.d.(0, \Omega)\), niin ⇒ \( y_{t+h}-y_t(h) \sim N(0, \sum \limits_{ j=0}^{ h-1} \Psi_j \Omega \Psi_j’)\) :
▻▻ ▻▻ Jos \( \sigma_i^2(h) = diag( \sum \limits_{ j=0}^{ h-1} \Psi_j \Omega \Psi_j’\ _i)\) niin ⇒ \( \frac{ y_{i,t+h}-y_{i,t}(h)}{ \sigma_i(h)} \sim N(0,1) \) ▻▻ siis: \( 0.95= \mathbb{ P} \bigg( -1.96 \leq \frac{ y_{i,t+h}-y_{i,t}(h)}{ \sigma_i(h)} \leq 1.96 \bigg) \)
Todistus: Käyttäen mallin lineaarista esitystä: \( y_t = \sum \limits_{ j=0}^{ \infty} \Psi_j \varepsilon_{t-j} \), saadaan:
▻▻ \( y_t(h) = \mathbb{ E}_t(y_{t+h})=\sum \limits_{ j=h}^{ \infty}\Psi_j\varepsilon_{t+h-j} \) .
Siis, ennusteelle vaihtoehtoinen yhtälö: \( y_{t+h} -y_t(h) = \sum \limits_{ j=0}^{ h-1}\Psi_j\varepsilon_{t+h-j}\), missa \( \Psi_0 = I_n\).
Esim Jos \( \mu:=\mathbb{ E}(y_t) \neq 0 \), käytetään \( y_t^* = y_t – \mu\) , tai vaihtoehtoisesti tarkastella prosessia:
▻▻ \( y_t = v+ A_1y_{t-1} + \cdots A_p y_{t-p}+ \varepsilon_t\), missä \( v=A(1)\mu \) .

VARMA(p,q)-prosessi*

Määr VARMA(p,q)-prosessi:
▻▻ \( y_t = A_1y_{t-1} + \cdots + A_py_{t-p} + \varepsilon_t -M_1\varepsilon_{t-1}-\cdots – M_q\varepsilon_{t-q}\ \ \ \varepsilon_t \sim iid(0, \Omega)\).

Lause Viivästysoperaattoria: (sama)
▻▻ \( (I_n -A_1 B – \cdots – A_p B^p) y_t = (I_n -M_1 B – \cdots – M_q B^q) \varepsilon_t\) (polynomial matrix).
▻▻ eli. \( A(B)y_t = M(B) \varepsilon_t\) .

1st and 2nd momenttien estimointi

Sopimus: Olkoon \( y_t\) stationaarinen prosessi, \( \mathbb{ E}(y_t) =\mu,\ Cov(y_t,y_{t+k}) = \Gamma_k = [ \gamma_{ij,k} ] \) . Oletetaan että \( \sum \limits_{ k=-\infty}^{ \infty} ||\Gamma_k || \lt \infty \).

Otoskeskiarvon ja otoskovarianssifunktion tarkentuvuus

Lause (otoskeskiarvo )
▻▻ \( \tilde y = T^{-1}\sum \limits_{ t=1}^{ T}y_t \) on odotusarvon \( \mu\) estimaattori, eli. \( \mathbb{ E}(\tilde y) = \mu \);
▻▻ \( Var(\tilde y_i) \to 0 \text{, kun } T \to \infty \);
▻▻ pätee stokastinne kovergenssi \( \tilde y \overset{p}\to \mu\).
Todistus: Olkoon \( z_{it} = y_{it}-\mu_i, \ \overline{ z}_i = \frac{ 1}{ T} \sum \limits_{ t=1}^{ T}z_{it} \):
\( \begin{align} Var(\overline{ y}_i ) &= \mathbb{ E}(\overline{ z}_i^2 ) \\&= \frac{ 1}{ T^2 }\sum \limits_{ t=1}^{T} \sum \limits_{ s=1}^{T} \underbrace{\mathbb{ E} (z_{it}z_{is}) }_{=cov(y_{it},y_{is})= \gamma_{i_t-s}} \\& \overset{( *)}{= } \frac{ 1}{ T^2} \sum \limits_{ s-t=-T+1}^{ T-1} (T-|s-t|)\gamma_{i,s-t} \\&= \frac{ 1}{ T} \sum \limits_{ k=-T+1}^{ T-1} (1-\frac{ |k|}{ T}\gamma_{i,k} ) \end{align} \) ;
Missä (*): \( Cov(\begin{bmatrix} y_{i,1}\\\vdots \\y_{i,T} \end{bmatrix} ) = \begin{bmatrix} \gamma_{i,0} &\gamma_{i,1} &\dots & \gamma_{i,T-1}\\ \gamma_{i,-1} &\ddots &\ddots & \vdots \\\vdots &\ddots &\ddots &\vdots \\\gamma_{i,-T+1} &\dots &\gamma_{i,-1} &\gamma_{i,0} \end{bmatrix} \).
Lause (otoskovarianssifunktio)
▻▻ \( C_k = [c_{ij,k}]=(T-k)^{-1} \sum \limits_{ t=1}^{ T-k} (y_t- \overline{ y} )(y_{t+k}-\overline{ y} )’ \);
▻▻ ▻▻ Merkitään \( x_t = y_{it}y_{j,t+k}\) (se on estimaattoria \( c_{ij,k}\) )
▻▻ \( \overline{ x} = (T-k)^{-1} \sum \limits_{ t=1}^{ T} y_{it}y_{j,t+k} \overset{p }\to \mathbb{ E}(y_{it}y_{j,t+k} ) \), jossa:
▻▻ ▻▻ \( \mathbb{ E}(y_{it}y_{j,t+k} ) = \gamma_{ij,k}+\mathbb{ E}(y_{it})\mathbb{ E}(y_{j,t+k})= \gamma_{ij,k}+ \mu_i \mu_j \) ;
▻▻ \( c_{ij,k} \overset{p}\to \gamma_{ij,k}\), eli. \( C_k \overset{p}\to \Gamma_k\)

Asymptoottinen normaalisuus

Lause (rewrite the equation)
▻▻ \( y_t – \mu = \Psi(1) \varepsilon _t + \Delta u_t,\ \ \ u_t = G(B) \varepsilon_t\) .
Todistus: Tarkastellaan lineaarista prosessia \( y_t = \mu + \Psi (B) \varepsilon_t, \ \ \ \varepsilon_t \sim iid( 0,\Omega),\ \ \ \Psi(B) = \sum \Psi_j B^j\);
▻▻ Oletettaan aiemapaa vahvemmin \( \sum j ||\Psi_j|| \lt \infty\) ;
▻▻ Tällöin voidaan kirjoittaa \( \Psi(B) = \Psi(1) + \Delta G (B)\), jossa:
▻▻ ▻▻ \( \Delta = 1 -B,\ G(B)= \sum \limits_{ j=0}^{ \infty}G_j B^j \).
▻▻ Lopuksi, soveltamalla tätä prosessin yhtälössa:
Lause (using Central Limit Theorem)
▻▻ \( \sqrt{T} (\overline{ y}-\mu ) \overset{d}{\to} N\big(0, \Psi(1)\Omega\Psi(1)’\big)\)
\( \sqrt{T} (\overline{ y}-\mu ) = \frac{ 1}{ \sqrt{T}} \sum \limits_{ t=1}^{ T} \Psi(1)\varepsilon_t + \frac{ 1}{ \sqrt{T}} \sum \limits_{ t=1}^{ T}(u_t – u_{t-1}) = \Psi(1)\frac{ 1}{ \sqrt{T}} \underbrace{\sum \limits_{ t=1}^{ T}\varepsilon_t}_{\overset{d}{\to} N(0,\Omega) } + \frac{ 1} {\sqrt{T} }\underbrace{ (u_t – u_0)}_{\overset{P}{\to } 0}\)

VAR-Mallin teoria

Parametrien rajoittamation estimointi

Määr Mallin määrittely
▻▻ \( y_t = \nu + A_1 y_{t-1} + \cdots + A_p y_{t-p} + \varepsilon_t,\ \ \ t=1,2,\dots,T\),
▻▻ ▻▻ \( A_1, \dots, A_p \ \ (n\times n )\) matriisejä, \( \varepsilon \sim nid(0, \Omega)\) .

▻▻ Malli voidaan kirjoittaa: \( y_t = \Pi x_t +\varepsilon_t\), jos:
▻▻ ▻▻ Merkitään \( x_t = \begin{bmatrix} 1 \\ y_{t-1}’ \\ \vdots \\ y_{t-p}’ \end{bmatrix} = \begin{bmatrix} 1\\ \mathbf{ y}_{t-1}’ \end{bmatrix} \ \ ((np+1)\times 1) \) matriisi. ja \( \Pi = \begin{bmatrix} \pi_1’\\ \vdots \\ \pi_n’ \end{bmatrix} = \begin{bmatrix} \nu:A_1:\cdots:A_p \end{bmatrix} \ \ \ (n\times(np+1))\) matriisi.

▻▻ Kirjoitetaan myös: \( y_t = X_t’ \pi + \varepsilon_t\), jossa:
▻▻ ▻▻ \( \pi = \begin{bmatrix} \pi_1’\\ \vdots \\ \pi_n’ \end{bmatrix},\ \ X_t’= diag \begin{bmatrix} x_t’ \cdots x_t’ \end{bmatrix} = I_n \otimes x_t’ \ \ (n \times n(np+1))\) matriisi ( \( \otimes\) Kronecker product – Wikipedia ).

Lause Tiheysfunktio
▻▻ Tiheysfunktio/Density: \( y_t | \mathbf{ Y}_{t-1} \sim y_t | y_{t-1} \sim N (X_t’ \pi, \Omega) \) .
▻▻ ▻▻ \( f_{y_t |\mathbf{ Y}_{t-1} } =\frac{ 1}{ \sqrt{2\pi}} det(\Omega)^{-1/2} \exp \bigg( -\frac{ 1}{ 2} (y_t -X_t’\pi)’ \Omega^{-1}(y_t – X_t’ \pi) \bigg) \)
Todistus: merkitään \( \mathbf{ Y}_t = \begin{bmatrix} y_{-p+1}’ & \cdots &y_0′ & y_1′ & y_t’\end{bmatrix} \).
Jos tiheysfunktio on \( f_{\mathbf{ Y}_t} \), niin \( f_{\mathbf{ Y}_t} = \prod \limits_{ t=1}^{ T} f_{y_t |\mathbf{ Y}_{t-1} } \cdot f_{\mathbf{ Y}_0} \) VAR(p) lineaarinen esitys ⇒ \( y_{t-j} ⫫ \varepsilon_t ⇒ \mathbf{ Y}_{t-1} ⫫ \varepsilon_t ⇒ X_t ⫫ \varepsilon_t \). Sitten saadaan tulos.
Lause Uskottavuusfunktion maksimointi (from conditional probability function above)
▻▻ Log-Uskottavuusfunktio : \( l(\pi, \Omega) = -\frac{ T}{ 2} \log det(\Omega) – \frac{ 1}{ 2} \sum \limits_{ t=1}^{ T} ( y_t -X_t’\pi)’ \Omega^{-1}(y_t – X_t’ \pi) \);
▻▻ PNS-estimaattori/ LSE: \( \hat\pi = \bigg( \sum \limits_{ t=1}^{ T}X_t X_t’ \bigg)^{-1} \sum \limits_{ t=1}^{ T}X_t y_t = (\mathbf{ X’X} )^{-1} \mathbf{ X’y} \) .
▻▻ ▻▻ \( y_t = X’_t \hat\pi + \varepsilon _t\) muodostettu \( \pi\):n PNS-estimaattori/ LSE.
Todistus: (derivointi \( \pi\):n suhteen ):
\( \frac{ \partial}{ \partial \pi} l (\pi, \Omega) = \sum \limits_{ t=1}^{ T} X_t \Omega ^{-1}(y_t – X_t’\pi) \overset{(*)}{= } (\Omega^{-1} \otimes I_{np+1}) \sum \limits_{ t=1}^{ T} X_t(y_t – X_t’ \pi) \).
▻▻ (*) Koska \( X-t \Omega^{-1} =(I_n \otimes x_t) (\Omega^{-1} \otimes 1) = \Omega^{-1} \otimes x_t = (\Omega^{-1} \otimes 1)(I_n \otimes x_t)\) Asettamalla \( \frac{ \partial}{ \partial \pi} l (\pi, \Omega) =0\), saadaan \( \pi\):n uskottavuusyhtälö on \( \sum \limits_{ t=1}^{ T}X_t X_t’ \pi = \sum \limits_{ t=1}^{ T}X_t\pi \);
Lause Kovarianssimatriisin \( \Omega\) SU/Suurimman Uskottavuuden-estimointia.
▻▻ \( \pi,\Omega\) SU-estimaattoreita : \( \hat\Omega =\frac{ 1}{ T} \sum \limits_{ t=1}^{ T} (y_t – X_t’\hat\pi) (y_t – X_t’\hat\pi)’ \) .
Todistus: Merkitään \( \Phi := \Omega^{-1}\) ja lyhytetään \( \varepsilon_t (\pi) = y_t – X_t’\pi\) :
Sitten että, \( l(\pi, \Phi) = \frac{ T}{ 2} \log det(\Phi) – \frac{ 1}{ 2} \sum \limits_{ t=1}^{ T}\varepsilon_t(\pi)’ \Phi \varepsilon_t(\pi) \) ;
▻▻ selvästi, että \( \frac{ \partial }{ \partial \Phi} \log det(\Phi) = \Phi^{-1} = \Omega \) ja \( \frac{ \partial }{ \partial \Phi} \varepsilon_t(\pi)’ \Phi \varepsilon_t(\pi) = \varepsilon_t(\pi) \varepsilon_t'(\pi)\);
Saadaan \( \Omega\):n uskottavuusyhtälö \( \frac{ \partial}{ \partial \Phi}l(\pi, \Phi) = \frac{ T}{ 2} \Omega – \frac{ 1}{ 2} \sum \limits_{ t=1}^{ T} \varepsilon_t(\pi) \varepsilon_t'(\pi) \);
Lause (SU-estimaattorien asymptoottiset ominaisuudet)
▻▻ Havaittu informaatiomatriisi: \( – \frac{ \partial^2 }{ \partial \pi \partial \pi’}l(\pi, \Omega) =-\Omega^{-1} \otimes \sum \limits_{ t=1}^{ T} x_t x_t’ \);
▻▻ Fisherin informaatio : \( \mathcal{ I}_{\pi\pi} (\pi, \Omega):= -\mathbb{ E} \bigg[ – \frac{ \partial^2}{ \partial \pi \partial \pi’} l(\pi, \Omega) \bigg] = T(\Omega^{-1} \otimes \Gamma_x ) \), jossa:
▻▻ ▻▻ \( \boldsymbol{ \Gamma}_x= \mathbb{ E} (x_tx_t’) = \begin{bmatrix} 1 & \mathbb{ E}(\mathbf{ y}_{t-1}’ ) \\ \mathbb{ E}(\mathbf{ y}_{t-1}) & \mathbb{ E}(\mathbf{ y}_{t-1} \mathbf{ y}_{t-1}’ ) \end{bmatrix} \) .
▻▻ \( \hat\pi \underset{as}{\sim} N \bigg( \pi, \mathcal{ I}_{\pi\pi} (\pi,\Omega)^{-1} \bigg) = N \bigg( \pi, T^{-1}(\Omega \otimes \boldsymbol{ \Gamma}_x ) \bigg) \) .
▻▻ \( \hat\Omega \overset{P}{\to} \Omega\).
Todistus:
\( \begin{align} \frac{ \partial^2 l(\pi, \Omega)}{ \partial \pi \partial \pi’}&= \frac{ \partial^2 l(\pi, \Omega)}{ \partial \pi_i \partial \pi’_j}= \bigg( \frac{ \partial}{ \partial \pi} \underbrace{\big( \frac{ \partial}{ \partial \pi} l(\pi, \Omega) \big)}_{\text{ a vector, see above } } \bigg)’ \\ &= -\frac{ \partial}{ \partial \pi} (\Omega^{-1} \otimes I_{np+1}) \sum \limits_{ t=1}^{ T} X_t(y_t – X_t’ \pi) \\&= -\frac{ \partial}{ \partial \pi} (\Omega^{-1} \otimes I_{np+1}) \sum \limits_{ t=1}^{ T} X_tX_t’ \pi \\& \overset{(*)}{= } -\Omega^{-1} \otimes \sum \limits_{ t=1}^{ T} x_t x_t’ \end{align} \).
Here (*) use the property \( \begin{cases} \frac{ \partial a’x}{ \partial x} = a ⇒ \frac{ \partial Ax}{ \partial x} = A’\\ A \otimes (B+C) = A \otimes B + A \otimes C \\X_t = I_n \otimes X_t ⇒ X_tX_t’ = (I_n \otimes X_t)(I_n \otimes X_t’)=I_n \otimes X_tX_t’ \end{cases} \).

Estimointi lineaarisin rajoittein / Parameter linear constrains

Määr Tarkastellaan mallia \( y_t=X_t’\pi +\varepsilon_t\):
▻▻ lineaarisin rajoittein: \( \pi = H \delta +a \) , jossa:
▻▻ ▻▻ \( H: n(np+1)\times m\) matriisi ja \( r(H)=m \);
▻▻ ▻▻ \( a: n(np+1)\) tunnettu vektori;
▻▻ ▻▻ \( \delta:m\times 1\) tunnematon parametrivektori.
Esim \( H = [ I_{n^2p}:0 ]’,\ \ a=0\) ⇔
▻▻ \( \pi\):n n viimeistä komponenttia = 0 ⇔ \( y_{t-p}\) ei selitä \( y_t\)_n viimeistä komponettia \( y_{nt}\) Lause Fisher-informaatio ja estimaattori:
Koska \( \frac{ \partial^2 }{ \partial \delta \partial \delta’}l(\delta, \Omega) = – \sum \limits_{ t=1}^{ T} W_t \Omega^{-1} W_t’,\ \ \ W_t = H’X_t \), niin:
▻▻ \( \delta\):n Fisherin informaatiomatriisi: \( \mathcal{ I}_{\delta\delta} (\delta, \Omega) = \sum \limits_{ t=1}^{ T}\mathbb{ E} \big( W_t \Omega^{-1} W_t’ \big) \) .
▻▻ \( \tilde \delta \overset{as}{\sim} N (\delta, \mathcal{ I}_{\delta\delta}(\delta, \Omega)^{-1} ) \);
▻▻ \( \tilde \Omega \overset{p}{\to} \Omega\).
Koska \( y_t = X_t’\pi + \varepsilon_t\) ja \( \pi = H \delta +a\), niin
▻▻ \( \varepsilon_t = y_t – X_t’a – X_t’H \delta := z_t -W_t’\delta \).
log-ukottavuusfunktioita: \( l(\delta, \Omega) = -\frac{ T}{ 2} \log det(\Omega) – \frac{ 1}{ 2} \sum \limits_{ t=1}^{ T} (z_t – W_t’\delta )’ \Omega^{-1} (z_t – W_t’\delta) \) ;
derivoidaan: \( \frac{ \partial}{ \partial \delta} l(\delta, \Omega) = \sum \limits_{ t=1}^{ T}W_t \Omega ^{-1} (z_t – W_t’ \delta) = 0 \);
ratkaisu: \( \delta = \bigg( \sum \limits_{ t=1}^{ T}W_t \Omega ^{-1}W_t’ \bigg)’\sum \limits_{ t=1}^{ T}W_t \Omega ^{-1}z_t \), kirjoitetaan \( UY(\delta)\);
derivoidaan \( \Omega\):n suhteen, saadaan \( \Omega = \frac{ 1}{ T} \sum \limits_{ t=1}^{ T} (z_t – W_t’\delta)(z_t – W_t’\delta)’ \) , kirjoitetaan \( UY(\Omega)\);
▻▻ \( UY(\delta), \ UY(\Omega)\) ei voida ratkaista rajoitetussa/suljetussa tapauksessa (closed form), vaan joudutaan käyttämään numeerisia menetelmiä

Hypoteesien testaus

Määr Waldin testi rajoittamattomassa mallissa:
▻▻ \( H_0: R \pi = b\) mallissa \( y_t = X_t’ \pi + \varepsilon_t\).
▻▻ \( (R \hat \pi – b)’ \big( \frac{ 1}{ T} R\underbrace{(\Omega \otimes \boldsymbol{ \Gamma}_x’)}_{\sim \hat\Omega \otimes \hat \Gamma} \big)^{-1} (R \hat \pi – b) \sim \large\chi\normalsize_{ q}^2 \) ;
▻▻ eli. Waldin testuure: \( W = T(R \hat \pi – b)’ \big( R(\hat\Omega \otimes \boldsymbol{ \hat\Gamma}_x’) \big)^{-1} (R \hat \pi – b) \sim \large\chi\normalsize_{ q}^2\);
▻▻ \( p=P_{H_0} \{W \geq W (\mathbf{ y} ) \} ≈ P \{ \large\chi\normalsize_{ q}^2 \geq W (\mathbf{ y} ) \}\) .
Todistus:
SU-estimaattoria \( \hat \delta, \hat\Omega\) asympoottiset ominaisuudet:
▻▻ \( \sqrt{T}(\hat\pi -\pi ) \overset{d}{\to} N(0, \Omega \otimes \boldsymbol{ \Gamma}_x^{-1} ) \).
▻▻ ▻▻ \( \boldsymbol{ \Gamma}_x = \mathbb{ E}(x_t x_t’), \ x_t = \begin{bmatrix} 1 &y_{t-1}’ &\dots & y_{t-p}’ \end{bmatrix}’ \).
▻▻ \( \sqrt{T}(R \hat\pi -b ) = R \sqrt{T} ( \hat \pi -\pi) \overset{d}{\to} Z \sim N(0, R(\Omega \otimes \boldsymbol{ \Gamma}_x^{-1} )R’)\).
Lause \( X \sim N (\mu, \Sigma) ⇒ (x-\mu)’\Sigma^{-1} (x-\mu) \sim \large\chi\normalsize_{ k}^2 \)
Lause Uskottavuusosamäärätesti
▻▻ \( LR = 2 \big( l(\hat \pi, \hat \Omega) – l (\tilde \pi, \tilde \Omega) \big) \);
▻▻ ▻▻ \( \tilde \pi, \tilde \Omega\) ovat rajoitetut SU-estimaattorit.
▻▻ \( LR = T \big( \log det(\tilde \Omega)-\log det(\hat \Omega) \big) \overset{d}{\to} \large\chi\normalsize_{ q}^2 \) .
▻▻ p-value approximoidi kuten Waldin-testi.
Lause SU-estimaatori \( \delta\) :
▻▻ \( \sqrt{T} (\tilde \delta – \delta) \sim N \bigg( 0, \big( \sum \limits_{ t=1}^{ T} \mathbb{ E}(W_t \Omega ^{-1} W_t’) \big)^{-1} \bigg) \) ;
▻▻ \( \frac{ \tilde \delta_i}{ s.e.(\tilde \delta_i)} \sim N (0,1) \), missä s.e. on \( i\):nnen komponentin keskivirhe
▻▻ ▻▻ niin, 95%:n luottamusväli on \( \tilde \delta_i ± 1.96\ s.e.(\tilde \delta_i)\) .

Mallinvalinta / Model

Usein VAR-mallin rakentaminen aloitetaan rajoittamattomasta mallista. Tällöin on ensin valittava mallin tuntematon aste. (must select a model of unknown order of \( p\) )

Lause VAR(p+s) Hypoteesi
▻▻ \( y_t = \nu + \sum \limits_{ j=1}^{ p+s} A_j y_{t-j} +\varepsilon_t \);
▻▻ Testataan hypoteesia: \( H_0: A_{p+1}= \cdots = A_{p+s} =0\).
▻▻ \( LR= T \big( \log det(\hat \Omega_p – \log det(\hat \Omega_{p+s}) \big) \sim \large\chi\normalsize_{ n^2s}^2 \) . (LR is defined same as the previous section)
Esim “tarpeeksi suuriasteisesta / sufficiently large”
▻▻ \( H_{p0}:A_p =0\) eli \( VAR(p-1)\) riittävä jää voimaan, testataan \( H_{(p-1)0}: A_{p-1}=0\)…

Määr Mallivalintarkriteerit / Model selection criteria
▻▻ Eräs yleinen kriteerityyppi: \( C(k) = \underbrace{\log det(\hat \Omega(k))}_{\text{evaluates degree of fit} }+ \underbrace{\frac{ f(T)}{ T} n(nk+1)}_{\text{penalty for complexity} },\ \ \ k =1,\dots,p \);
▻▻ ▻▻ \( k\) on mallin aste, \( f\) on sakkofunktio/penalty function ja \( f(T)/T \overset{N\to \infty}{\longrightarrow} 0\).
▻▻ Tunnettuja sakkofunktioita: \( \begin{cases} AIC: &f(T)=2 \\HQ:& f(T) = 2\log (\log T) \\BIC:&f(T)=\log T\end{cases} \). (katso teoreettinen tilastotiede )
Huom log-uskottavuusfunktio \( l(\hat\pi, \hat\Omega) = -\frac{ T}{ 2} \log det(\hat\Omega)- \frac{ Tn}{ 2} \) on myös eräs kiriteeri (\( -l \geq 0\) ).

Määr Mallivalintarkriteerit rajoitettujen mallien vertailuun:
▻▻ Eräs yleinen kriteerityyppi: \( C(k) = \underbrace{\log det(\hat \Omega(k))}_{\text{evaluates degree of fit} }+ \underbrace{\frac{ f(T)}{ T} (\text{dim}(\delta) +n)}_{\text{penalty for complexity} },\ \ \ k =1,\dots,p \);
▻▻ ▻▻ \( \hat\Omega\) on SU-estimaattori.

Valitun mallin sopivuuden tutkiminen / Model Suitability Check

Määr Rajoittamattoman mallin tapuaksessa:
▻▻ residuaalia: \( \hat \varepsilon_t = y_t – \hat \mu – \hat A_1y_{t-1}-\cdots-\hat A_py_{t-p }\).
Lause Residuaalien tarkistaminen.
▻▻ \( \hat\varepsilon_t\) muistuttaa ominaisuuksiltaan teoreettisia virheitä \( \varepsilon_t \sim iid(0,\Omega)\);
▻▻ Piirtään residuaalisarjojen kuvat ja tutkia:
(1) löytyykö poikkeavia residuaaleja tai residuaaliryhmiä (abnormal residuals);
(2) varianssin vaihtelua tai muita selviä systemaattisia piirteitä (variance of variance);
(3) residuaalien normaalisuutta on hyvä tutkia, vaikka testiteoria ei normaalisuutta vaadikaan (even normality is not required).

Lause Residuaalien auto-/ristikorreloitus
▻▻ Voidaan tutkia laskemalla residuaalisarjoista auto- ja ristikorrelaatiofunktiot.
▻▻ Käytetään portmanteau-testi:
▻▻ ▻▻ eräs versio: \( Q_K^* = T^2 \sum \limits_{ k=1}^{ K} \frac{ 1}{ T-k} tr(S_k’ S_0^{-1} S_k S_0^{-1}),\ \ \ S_k = \sum \limits_{ t=1}^{ T-k} \hat\varepsilon_t \hat\varepsilon_{t+k}’ \);
▻▻ ▻▻ \( Q_K^* \sim \large\chi\normalsize_{ n^2(K-p)}^2 \), tai rajoitetussa mallissa \( \large\chi\normalsize_{ n^2K – dim(\delta)}^2\) . (\( K\) on “suuri”).

Grangerin kausaalisuus / Granger’s causality

Määr Yleinen määritelmä (Grangerin kausaalisuus)
Jos muuttuja \( x\) on muuttujan \( z\) syy/reason, täytyisi \( x\):sta olla siten hyötyä ennustettaessa \( z\) (be useful in predicting).
▻▻ Olkoon hypoteettinen muuttujajoukko/informaatiojoukko \( \mathcal{ F}_t \), joka \( x_t\)_n sisältää kaikki relevantit muuttujat, jotka ajakohtana \( t\) voivat tulla kysymykseen \( z_t\)_n tulevia arvoja \( z_{t+h}\). (at time t can “consider”)
▻▻ Olkoot \( \begin{cases} z_t(h\ | \ \mathcal{ F}_t ) = \mathbb{ E} (z_{t+h} \ | \ \mathcal{ F}_t ) \text{ perustuva } z_{t+h} \text{:n optimaalinen ennuste}\\ z_t(h\ | \ \mathcal{ F}_t \setminus \mathcal{ F}_t^x ) = \mathbb{ E}(z_{t+h}\ | \ \mathcal{ F}_t \setminus \mathcal{ F}_t^x ) \text{ optimaalinen ennuste, kun poistettu } \mathcal{ F}_t^x \\ \sum_z(h\ | \ \mathcal{ F}_t ) \text{ ja } \sum _z (h\ | \ \mathcal{ F}_t\setminus \mathcal{ F}_t^x ) \text{ vastaavat keskineliövirheet} \end{cases} \).
Prosessien \( x_t\) ja \( z_t\) välillä sanotaan olevan Grangerin kausalisuus, eli \( x \to z\):
▻▻ jos \( \sum _z (h\ | \ \mathcal{ F}_t ) \lt \sum _z (h\ | \ \mathcal{ F}_t\setminus \mathcal{ F}_t^x )\).

Lause Olkoon VAR(p)-prosessi:
Mallissa \( \begin{bmatrix} z_t\\x_t \end{bmatrix} = \sum \limits_{ j=1}^{ p} \begin{bmatrix} A_{11,j} & A_{12,j}\\A_{21,j} & A_{22,j} \end{bmatrix} \begin{bmatrix} z_{t-j}\\x_{t-j} \end{bmatrix} + \begin{bmatrix} \zeta_t \\ \varepsilon_t\end{bmatrix} \) :
▻▻ \( x \not\to z\) joss ⇔ \( A_{12,j} =0\); eli \( x\to z\) joss ⇔ \( A_{12,j}\neq 0\).

HUOM Recall that \( a’MSE(\tilde y) a \geq a’ MSE \big( \mathbb{ E}(y\ | \ w,x ) \big)a \) is the same idea.

Lause Grangerin kausaalisuutta testi (use same model above)
▻▻ \( H_0:A_{12,1} = \cdots = A_{12,p} =0\);
▻▻ Waldin testiä tai uskottavuusosamäärätestä: \( \sim \large\chi\normalsize_{ n_1n_2p}^2 \), missä \( z_t\ n_1 \times 1\) vektori, ja \( x_t \ n_2 \times 1\) vektori (siis \( A_{12,j}\ n_1 \times n_2\) matriisi )