Tilastollinen Päättely

Satunnaisvaihtelu

en. variations

Populaatiovaihtelu ja havaintovirhe

Esim Jatkuva populaatio
▻▻ Kertymäfunktio / distribution : \( F(x) = \displaystyle\int_{ -\infty } ^x f(u) du\).
▻▻ Välttöfunktio / survival : \( S(x)=1-F(x)\).
▻▻ Vaarafunktio / harzard : \( h(x)= \frac{f(x)}{S(x)} \).
Lause Vaarafunktio:
▻▻ \( h(x)\Delta \approx\) todennäkköisyys.
▻▻ \( f(x)=h(x) e ^{\int_{ 0 } ^x h(u)du}\).
Määr Weibull-jakauma on parametrinen malli
▻▻ \( f(x;\lambda,\beta)=\lambda\beta x ^{\beta-1} e ^{-\lambda x^\beta},\ \ x,\lambda,\beta\gt0\).
Määr Havaintovirhe \( X=\theta+\epsilon\).
▻▻ usein tehdään oletus \( E(\epsilon)=0\);
▻▻ Jos \( \epsilon\sim N(0,\sigma^2)\), niin \( X\sim N(\theta, \sigma^2)\).
Määr Laplace’n virhe
▻▻ \( f(x;\sigma)= \frac{1}{2\sigma} e ^ \frac{-|x|}{\sigma} \).

Tilastollinen malli

Määr \( n\)-ulotteisen jakauman tiheysfunktio: \( f(x_1,\dots, x_n;\theta)\). (sanomme \( f\) malliksi)
Lause riippumattomat havainnot: \( f(x_1,\dots, x_n;\theta)=f(x_1;\theta)\cdots f(x_2;\theta)\);
▻▻ ts. marginaalijakaumat määräävät koko yhteisjakauman.

Uskottavuus

Määr Bayesiläinen lähestymistapa (Bayes approach): \( f(\theta|x_1,\dots,x_n)\).
▻▻ \( f(\theta|x_1,\dots,x_n)= \frac{\pi(\theta)f(x_1,\dots,x_n;\theta)}{\int\pi(\theta’)f(x_1,\dots,x_n;\theta’)d\theta’},\ \ \pi \) on priori.
Määr Uskottavuusfunktio ja suurimman uskottavuuden ratkaisu
▻▻ \( \begin{cases} L(\theta)=p(x_1,\dots, x_n;\theta)\\ \hat\theta = \text{argmax}_\theta L(\theta)\end{cases} \).
Esim Oletetaan, että \( X_1 ⫫ \dots ⫫ X_n\) otos jakaumasta \( exp(\theta)\):
(1) \( L(\theta) = f( x_1,\dots, x_n ;\theta)= \prod\limits_{i=1}^{ n} \theta e ^{-\theta x_i} = \theta^n e ^{-\theta \sum\limits_{i=1}^{ n} x_i } \).
(2) \( l'(\theta)= \frac{d}{d\theta} \log L(\theta) = \frac{d}{d\theta} (n \log\theta – \theta \sum\limits_{i=1}^{ n} x_i) = \frac{n}{\theta} -\sum\limits_{i=1}^{ n} x_i\).
(3) Asettamalla \( l'(\theta)=0\) saadaan \( \hat\theta =\frac{n}{\sum x_i} \).

Satunnaismuuttujien muunnoksista

Pyrkimyksenä on löytää muunnetun testisuureen jakauma analyyttisesti (the aim is to find test-stat distribution analytically)

Diskreetin esimerkkejä

Esim \( X\sim Pois (\theta),\ \ p_x(x;\theta)=\theta^x \frac{x ^{-\theta} }{x!} \). Olkoon \(Y= \mathbb{1} _{\{0\}} \).
▻▻ Sitten \(\begin{cases} p_y(0) = p(X\gt 0) = 1- e ^{-\theta} \\ p_y(1) = p(X=1) = e ^{-\theta}\end{cases} \ ⇒ \ Y \sim Bin(1,e ^{-\theta} )\).
Esim \(X_1\sim Pois(\theta_1),\ X_2 \sim Pois(\theta_2),\ S=X_1+X_2\).
\(\begin{align} P(S=s)&= \sum\limits_{j=0}^{ n} p(X_1=j, X_2=s-j)\\ &= \frac{1}{s!} e ^{-(\theta_1 + \theta_2)} \sum\limits_{j=0}^{ s} {s \choose j} \theta _1^j \theta_2 ^{s-j} \\ &= \frac{1}{s!} \frac{(\theta_1 + \theta_2)^s}{e ^{-(\theta_1+\theta_2)} } \sim Pois(\theta_1+\theta_2) \\ \end{align} \).

Jatkuvan esimerkkejä

kertymfunktiomenetelmä / cumulative distribution method
Esim \(X\sim Tas(0,1),\ Y = – \log(1-X)\).
\(\begin{align} F_Y(y) &= P(-\log(1-x)\leq y) \\ &= P(1-X \geq e ^{-y} ) \\ &= F_X(1-e ^{-y} ) \\ &= 1-e^y \\ ⇒ &P(y)=\frac{dF(y)}{dy} = e ^{-y} \end{align} \).
Lause Muunnoskaava / Conversion formula Olk \(Y = g(X) \text{, eli } x= g^{-1}(y) \).
▻▻ Silloin \(F_Y(y) = P(X\leq g^{-1}(y) ) = \displaystyle\int_{ -\infty } ^ { g^{-1}(y) } f_X(x)dx\).
▻▻ Oikotie: \(f_Y(y) = f_X \big( x(y) \big) \bigg| \frac{dx}{dy} \bigg| \).

Moniulottteinen muunnoskaava

Esim Olk \(X_1 ⫫ X_2, \ X_1,X_2\sim exp(\theta),\ f(x)=\theta e ^{-\theta x},\ \ Y_1=X_1+X_2 \).
▻▻ Lisätäan \(Y_2 = X_2\), jolloin \( (X_1,X_2)\to (Y_1,Y_2)\).
▻▻ Saadaan \(\begin{cases} \text{kuvaus} \begin{cases} y_1 = x_1 + x_2 \\ y_2 = x)2 \end{cases} \\ f_X:\ f(x_1,x_2)= \theta ^2 e ^{-\theta(x_1+x_2)} \\ \text{oikotie} : f(y_1,y_2) = f \big( x_1(y_1,y_2), x_2(y_1,y_2) \big)|J| \\ \ \ \ J= \begin{bmatrix} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{bmatrix} \end{cases} \).
▻▻ Siten, \(f(y_1,y_2)=\theta ^2 e ^{-\theta y_1} \text{, missä } y_1\gt y_2 \gt 0 \).
▻▻ \(f(y_1) = \displaystyle\int_{ 0 } ^{y_1} \theta^2 e ^{-\theta y_{1} }\ dy_2 = \theta^2 y_1 e ^{-\theta y_1} \sim Gamma(1,\theta) \).

Generoivien funktio

Määr \(G(t)=E t^X\).
Esim \(X_1,\dots,X_n\sim Pois(\theta),\ \ S= \sum\limits_{i=1}^{ n} X_i\).
▻▻ \(G(t) = E(t^X) = \sum\limits_{s=0}^{ \infty} = \sum\limits_{x=0}^{ \infty} t^x \frac{\theta^x}{n!} e ^{-\theta} = e ^{-\theta(1-t)} \).
▻▻ \(G_S(t) = E(t ^{\sum X_i} )= \prod\limits_{i=1}^{ n} E(t ^{tX_i} )= e ^{-n\theta(1-t)} \).
▻▻ ▻▻ \(S\sim Pois(n\theta)\).
Määr \(M(t)=E(e ^{tX} )\).

Aineiston reduktio

Tunnusluvut ja otantajakauma

Määr Oletetan, että \(X\) on satunnaismuuttuja.
▻▻ Riippumattomat toistot/independent repetitions \(X_1,\dots, X_n,\ \ X_i \overset{d}{=} X\).
▻▻ \(X_i\):t ovat i.i.d independent, identically distributed..
Määr Jakaumasta laskettuja suureita/calculated distribution parameters on tunnus / characteristics tai parametri
Määr Tunnusluku/Statistic on ostoksen funktio, usein alempidimensioinen/lower dimensional kuin otos.
▻▻ \(T= t(X_1,\dots, X_n)\).
▻▻ tunnusluvut ovat otoksen informaation tiivistelmiä/summary.
Esim Tunnusluvut tiivistävät otoksen infomaatiota:
(1) Possson-jakauma: \(\bar X\) riittää (includes all information for parameter);
(2) Normaalijakauma: \(\bar X, S^2\) riittävät.
(3) \((\bar X, S^2),\ (\bar X, \frac{1}{n} \sum\limits_{i=1}^{ n} X _{i}^{2} )\) ovat ekvivalentteja, koska:
▻▻ \((n-1)S^2 = \sum\limits_{i=1}^{ n} X _{i}^{2} -n(\bar X)^2\).

Tunnusluvun jakauman laskeminen

Lause (Analyyttiset menetelmät) Lasketaan kertymäfunktio.
▻▻ Esim, \(T= \max\{X_1,\dots, X_n\} \):
▻▻ \(\begin{align} F_T(t) &= P(T\leq t) = P(X_1\leq t,\dots, X_n\leq t) \\&= P(X_1\leq t) \cdots P(X_n\leq t) \\ &= F^n(t) \\ f_T(t) &= n f(t) F ^ {n-1} (t) \end{align} \).
Lause Asymptoottiset menetelmät: Keskeinen raja-arvolause / CLT
▻▻ Esim, \(T= \sum\limits_{i=1}^{ n} X_n \):
▻▻ niin, \( \sqrt{n} \frac{T-n\mu}{n\sigma} = \sqrt n \frac{\bar X – \mu}{\sigma} \overset{d}{\longrightarrow} N(0,1)\), eli \(T\sim N(n\mu, n\sigma^2)\).
Lause Empiiriset menetelmät – Simulointi, parametri on kiinnitetty.
▻▻ Simuloidaan \(n\) riippumatonta satunnaiskulua, ja sitten lasketaan tunnusluku;
▻▻ Toistetaan proseduuri \(m\) kertaa.
Lause Empiiriset menetlemät – Parametriton bootstrap

Esimerkkejä tunnusluvuista

Määr Otosmomentit \(\bar X ^ k = \frac{1}{n} \sum\limits_{i=1}^{ n} X _{i}^{k} \).
▻▻ myös, \(E(X ^k) = \int x^k f(x)dx\).
Lause Momenttien laskeminen:
▻▻ \(\begin{cases} M(t)=E(e^{tX}) \\ \frac{d^k}{dt^k} M(t) \big |_{t=0}= E[X^{(k)}]\end{cases} \).
Määr Järjestystunnusluku / order statistic \(T _{ord} = t(X _{(1)} ,X _{(2)} \dots,X _{(n)} )\).
▻▻ mediaani, alakvartiili, yläkvartiili, minimi ja maksimi (boxplot-esitys)
Määr Otoksen \(X_1,\dots,X_n\) empiirinen kertymäfunktio on \(\tilde F_n(x)= \frac{1}{n} \#\{X_i|X_i\leq x\}\).
▻▻ se on porrasfunktio. \(\tilde F_n(\cdot)\) funktionaalinen tunnusluku.
Lause Empiirinen kertymäfunktion ominaisuukset:
(1) Järjestetty otos ja \(\tilde F_n(x)\) ovat kääntäen yksikäsitteisiä.
(2) \(\lim\limits_{x \to -\infty}\tilde F_n(x)=0,\ \lim\limits_{x \to \infty} \tilde F_n(x)=1 \) ja se on oikealta jatkuva ja monotonisesti kasvava.
(3) \(x\in \mathbb{R} \) kiinteä. \(n\tilde F_n(x)\sim Bin(n, F(x))\).
▻▻ \(\begin{cases} E(\tilde F_n(x))&= F(x) \\ Var (\tilde F_n(x)) &= \frac{F(x) (1-F(x))}{n} \end{cases} \).
(4) \(\tilde F_n(x) \overset{P}{\longrightarrow} F(x)\).
Määr Histogrammi
▻▻ Luokan frekvenssi \(f_j = \#\{X_i: a _{j-1} \lt X_i \leq a_j\}\);
▻▻ Luokan todennäköisyys \(\pi_j = \displaystyle\int_{ a _{j-1} } ^{a_j}f(x)dx = F(a_j) = F(a _{j-1} )\).
▻▻ \((f_1,\dots,f_p)\sim Mult (n,\pi_1,\dots,\pi_p)\),
▻▻ ▻▻ Multinomiaalijakauma \(p(f_1,\dots, f_p ) = {n \choose f_1\ \cdots\ f_p } \pi _{1}^{f_1} \cdots \pi _{p}^{f_p}\).

Tunnuslukujen ominaisuuksista

Oletetaan tilastollinen malli on parametrinen (\(\theta\) ).
Tunnusluku: \(T=t(X_1,\dots,X_n)\).

Harha, varianssi ja MSE

Määr Keskineliövirhe / mean square error \(MSE(T)=E(T-\theta)^2\).
Huom MSE ei välttämättä ole varianssi. \(MSE(T)= Var(T) + (ET-\theta)^2\).
Määr Harha / bias estimoitaessa parametria on \(B(T)=ET-\theta\).
▻▻ \(B(T)=0 \ ⇒ \ \theta\) on harhaton.
Huom Joskus, harhaisella estimaatorilla on pienempi MSE:
▻▻ \(\begin{cases} S^2 = \frac{1}{n-1} \sum\limits_{i=1}^{ n} (X_i – \bar X)^2 & \text{ on harhaton } \\ \hat\sigma^2 = \frac{1}{n-1} \sum\limits_{i=1}^{ n} (X_i – \bar X)^2 & \text{ on harhaton } \end{cases} \);
▻▻ mutta, \(\begin{cases} MSE(S^2) = \frac{2}{n-1} \sigma^4 \\ MSE(\hat\sigma^2) = \frac{2n-1}{n^2} \sigma^4\end{cases} \ ⇒ \ \frac{MSE(\hat\sigma^2)}{MSE(S^2)} \lt 1\) aina.

Tyhjentävyys

Esim Oletetaan, että \(X_1,\dots,X_n\sim Pois(\theta)\) rippumattomia ja \(T= \sum X_i\).
▻▻ \(P(X_1=x_1,\dots, X_n=n|T=t) = \frac{P(X_1=x_1,\dots, X_n=n)}{P(T=t)}= \frac{t!}{n^t \prod x_i !} \).
▻▻ ▻▻ koska \(T\sim Pois (n\theta)\) genroivien funkion avulla.
▻▻ Sitten, se ei riipu \(\theta\):sta.
Määr Tunnuslku T on tyhjentävä/sufficient θ :lle, jos havaintojen ehdollinen jakauma ehdolla T ei riipu θ :lla.
Lause Tekijöihinjakolause / Factorization Theorem T on tyhjentävä θ :lle, ⇔ otoksen tiheysfunktio voidaan jakaa tekijöihin:
▻▻ \(f(x_1,\dots,x_n;\theta)= \underbrace{ g(t(x_1,\dots,x_n);\theta)}_{ \text{riippuu vain } t} \cdot \underbrace {h(x_1,\dots, x_n)}_{ ⫫ \theta}\).
Esim Mikä on tyhjentävä tunnuslku?
(1) Pareto-jakuama: \(f(x;\theta)=\theta x ^{-(\theta+1)},\ \ x\gt 1 \) \( \begin{align} f(x_1,\dots,x_n;\theta) &= \prod\limits_{i=1}^{ n} \bigg[ \theta x_i ^{-(\theta+1)} \bigg] \\ &= \underbrace{ \theta^n e^{-\theta \sum\log x_i} }_{g(t;\theta)} \cdot \underbrace{e ^{-\sum \log x_i} }_{h} \end{align} \).
▻▻ siis, \( T= \sum\limits_{i=1}^{ n} \log X_i \text{, eli } T’= \prod \limits_{i=1}^{ n} X_i\).
(2) Gamma-jakauma: \( f(x;\alpha,\beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} x ^{\alpha-1} e ^{-\beta x} \).
\( \begin{align} f(x_1,\dots,x_n;\alpha,\beta) &= \prod \limits_{i=1}^{n} \frac{\beta^\alpha}{\Gamma(\alpha)} x ^{\alpha-1} e ^{-\beta x} \\ &= \bigg( \frac{\beta^\alpha}{\Gamma(\alpha)} \bigg)^n \bigg( \prod x_i \bigg)^\alpha e ^{-\beta\sum x_i} \cdot \frac{1}{\prod x_i} \end{align} \).
▻▻ siis \(T= (\prod X_i,\sum X_i)\).

Eksponettinen jakaumaperhe

Määr 1-parametrien eksponenttinen jakaumaperhe on muotoa:
▻▻ 1-parametrien: \(f(x;\theta) = A(\theta) e ^{Q(\theta) R(x)} h(x),\ \ A ⫫ x,\ h ⫫ \theta\);
▻▻ p-ulotteinen: \(f(x;\theta_1,\dots \theta_p) = A(\boldsymbol{\theta} ) e ^{\sum _{j=1}^{p} Q_j(\boldsymbol\theta) R_j(x)} h(x),\ \ A ⫫ x,\ h ⫫ \boldsymbol{\theta} \).
Lause \(T= \sum\limits_{i=1}^{ n} R(X_i) \text{ tai } T= \bigg( \sum\limits_{i=1}^{ n} R_1(X_i),\dots, \sum\limits_{i=1}^{ n} R_p(X_i) \bigg) \) on tyhjentävä θ:lle.

Uskottavuus

Suurimman uskottavuuden menetelmä

Esim i.i.d. otos \(X_1,\dots,X_n\sim N(\mu,\sigma^2)\).
▻▻ \( l(\mu,\sigma^2)= \log L(\mu,\sigma^2) = – \frac{n}{2} \log(\sigma^2) -\frac{1}{2\sigma^2} \sum\limits_{i=1}^{ n} (x_i-\mu)^2 + \text{vakio} \);
▻▻ \(\begin{cases} \frac{\partial}{\partial \mu} l(\mu,\sigma^2) = \frac{1}{\sigma^2} \sum\limits_{i=1}^{ n} (x_i-\mu) &:=0\\ \frac{\partial}{\partial \sigma^2}l(\mu,\sigma^2)= – \frac{n}{2\sigma^2} + \frac{1}{\sigma^4} \sum\limits_{i=1}^{ n} (x_i-\mu)^2 &:=0 \end{cases} \);
▻▻ Ratkaisuksi saadaan \( \begin{cases} \hat\mu = \bar X \\ \hat\sigma^2 = \frac{1}{n} \sum\limits_{i=1}^{ n} (X_i-\bar X)^2 \end{cases} \).

Uskottavuus ja informaatio

Esim Uskottavuusfunktion normeeraus/normalizing osamääränä \(R(\theta) = \frac{L(\theta)}{L(\hat\theta)} \in [0,1]\) ja silla on sama maksimikohta kuin L(θ):lla.
Määr \(V= \frac{d}{d\theta} \log f(\boldsymbol{X} ; \theta) \) on pisteytysfunktio / scoring function .
▻▻ \(V=l'(\theta)\) vain jos ostosta ei ole vielä tehty.
▻▻ \(E(V) =0 \text{ aina, } ⇒ Var(V)=E(V^2)\).
Määr Otoksen Fiser-informaatio \(J(\theta)=E(V^2) = E \bigg[ \bigg( \frac{d}{d\theta} \log f(X;\theta) \bigg) ^2\bigg] = E(l'(\theta)^2)\).
▻▻ myös \(J(\theta)=E \bigg( -\frac{d^2}{d\theta^2} \log f(X;\theta) \bigg) = E(-l”(\theta))\).

Us-yhtälön numeerinen ratkaiseminen

Esim Oletetaan, että \(X_1,\dots,X_n\) on riippumaton ostos vinosta/skewed normallijakaumasta.
▻▻ Tiheyhsfunktio: \(f(x;\alpha)=2\phi(x)\Phi(\alpha x),\ \alpha\in \mathbb{R} \) on vinousparametri. \(\phi(x)= \frac{1}{\sqrt{2\pi}} e ^{- \frac{1}{2} x^2},\ \ \Phi(x)= \displaystyle\int_{ -\infty } ^x\phi(u)du \).
▻▻ \(l'(\alpha)= \sum\limits_{i=1}^{ n} \frac{x_i \phi(\alpha x_i)}{\Phi(\alpha x_i)}:=0 \) ei saada suljetussa muodossa.
Esim Uskottavuusyhtälön algoritmin yleiskuvaus
(1) Asetetaan alkuarvo \(\hat\theta ^{(0)} \). Se voi olla arvaus;
(2) Algoritmi on päivityskaava, jossa k:s askel perusttuu \(\hat\theta ^{(k-1)} \);
(3) Algoritmi konvergoi kohta ratkaisua \(\hat\theta\).
Lause Newtonin algoritmi
▻▻ Alkuarvo \(x_0\to \text{ iteroi } x _{k+1} =x_k – \frac{g(x_k)}{g'(x_k)} \to x _{k+1} – x_k \) riittävän pieni.
▻▻ Alkuarvo \(\hat\theta ^{(0)} \to \text{ iteroi } \hat\theta^{(k+1)} =\hat\theta^{(k)} – \frac{l'(\hat\theta^{(k)})}{l”(\hat\theta^{(k)})} \to \hat\theta^{(k+1)} -\hat\theta^{(k)} \) riittävän pieni.

Parametrien estimoinnista – luottamusväli

Epävarmuuden esittäminen keskivirheen avulla

Määr Estimaattorin T keskivirhe / standard error, s.e. on \(\sqrt{Var(T)}\).
▻▻ actually \(\sqrt{MSE(T)}\), but the bias is negligible in most cases.
Esim \( s.e. (\hat\theta) = \sqrt \frac{1}{J(\theta)} \).
Lause Olkoon \(\psi=a\theta + b\), jollekin tunnetuille a,b. Tällöin:
▻▻ \(\tilde \psi= g(\tilde \theta)\) on su-estimaattori;
▻▻ \(Var(\tilde\psi)=a^2 Var(\tilde\theta)\);
Lause Yleisesti, olkoon \(\psi=g(\theta)\). Taylorin sarjan avulla, saadaan
▻▻ \( \tilde\psi=g(\tilde\theta) \);
▻▻ \(Var(\tilde\psi)=[g'(\theta)]^2 Var(\tilde\theta)\).

Epävarmuuden esittäminen luottamusvälin avulla

Esim Olkoon \(X_1,\dots,X_n\) riippumaton otos jakaumasta \(N(\mu,\sigma_0^2),\ \ \sigma_0^2\) tunnettu vakio.
▻▻ (harhaton) \(E(\bar X)=\mu,\ \ Var(\bar X)=\sigma_0^2 /n\);
▻▻ \(\frac{\bar X-\mu}{\sigma_0 / \sqrt n} \sim N(0,1)\).
▻▻ 95% väli \( \big( \bar X – 1.96 \frac{\sigma_0}{\sqrt n} ,\bar X + 1.96 \frac{\sigma_0}{\sqrt n} \big) \).
Esim Jos \(\sigma_0^2\) on tuntematon.
▻▻ (harhaton) \(S^2 = \frac{1}{n-1} \sum\limits_{i=1}^{ n} (X_i-\bar X)^2\);
▻▻ \(\frac{\bar X – \mu}{S/\sqrt n} \sim t(n-1)\).
Lause Luottamusvälin perusvälin perusyhtälö \(P(z(X_1,\dots,X_n,\theta)\leq z_1)=1-\alpha\).

Luottamusvälin simulointi

Esim Parametrinen bootstrap: tehdään simuloinnit otoksen yhteisjakaumasta \(f(X_1,\dots,X_n;\tilde\theta)\).
(S1) \(X_1 ^{(j)} ,\dots, X_n ^{(j)} \) on simuloitu f:sta;
(S2) Lasketaan \(\tilde\theta ^{(j)} = \tilde\theta(X_1 ^{(j)} ,\dots, X_n ^{(j)})\).
(S3) Määrätään välin alaraja siten, että \(100\cdot \frac{\alpha}{2} \%\ \ \ \tilde\theta ^{(j)} \):stä.
(S4) yläraja, ja taso \(1-\alpha\) ovat samaa.

Suurten otosten teoriaa

Estimaatorit ovat tunnuslukuja ja \(T_n \to \theta\) stokastisesti, eli \(\lim\limits_{ n \to \infty} P(|T_n-\theta|\geq \epsilon)=0\).

Estimaattorin tarkentuvuus

Lause Tsebyshevin epäyhtälö \(P(|X-\mu|\geq k)\leq \frac{\sigma^2}{k^2} \).
Lause Vahva suurten lukujen laki (Kolmogorov) / Strong law of large numbers Jos \(X_1,\dots,X_n,\dots\) on jono i.i.d., joiille \(E|X_k|\lt\infty,\ E(X_k)=\mu,\ \forall k\):
▻▻ niin \(\bar X_n \overset{m.v.}{\longrightarrow} \mu\) (melkein varmasti, almost surely).
Lause Heikko suurten lukujen laki / Weak law of large numbers Jos \(X_1,\dots,X_n,\dots\) on jono i.i.d., joiille \(var(X_k)\lt\infty,\ E(X_k)=\mu,\ \forall k\):
▻▻ niin \(\bar X_n \overset{P}{\longrightarrow} \mu\).
Määr Estimaattori Tn on tarkentuva / consistent θ:lle, jos \( T_n \overset{P}{\longrightarrow} \theta,\ \ \ n\to\infty \).

Asymptoottinen normaalisuus

Lause Keskeinen raja-arvolause / Central limit theorem Olkoon \( X_1,\dots,X_n,\dots \) i.i.d. Kun \( n\to\infty \), niin
▻▻ \( Z_n=\sqrt n \big( \frac{\bar X_n-\mu}{\sigma}\big) \overset{d}{\to} Z,\ \ \ Z\sim N(0,1) \);
▻▻ tämä tarkoittaa \( \bar X_n \sim N \big( \mu, \frac{\sigma^2}{n} \big) \).
Huom myös \( Z_n = \frac{\bar X_n – E(\bar X_n)}{\text{s.e.} (\bar X_n)} \). on standardoitu keskiarvo.
Määr Tn on asymptoottisesti normaali, jos se on tarkentuva ja \( \sqrt n (T_n-\theta) \overset{d}{\to} N(0,v) \).
Huom \( \lim\limits_{ n \to \infty} Var (T_n),\ v \) eivät ole sama asia.

Liite: Konvergensseja

Määr \( \begin{cases} X_n \overset{d}{\to} X & \lim\limits_{ n \to \infty} F _{X_n} (x) = F_X (x) &(a)\\ X_n \overset{L^2}{\to} X & \lim\limits_{ n \to \infty} E(X_n-X)^2=0 &(b) \\ X_n \overset{P}{\to} X & \lim\limits_{ n \to \infty} P(|X_n-X|\geq \epsilon) =0 &(c) \\ X_n \overset{mv}{\to} X & P(\lim\limits_{ n \to \infty} X=X)=1 & (d) \end{cases} \).
(a) Jakaumakonvergenssi/in distribution tai heikosti/weakly;
(b) L 2-konvergenssi;
(c) Stokastinen konvergenssi / in probability;
(d) Vahva konvergenssi tai melkein varmasti / almost surely.
Lause vahva ⇒ stokastinen ⇒ jakaumakonv; L 2 ⇒ stokastinen.

Newtonin algoritmi (vektori)

Lause Newtonin algoritmi, vektoriparametrin tapaus
▻▻ \(\begin{cases} 1. \text{ Alkuarvot } \theta ^{(0)} = (\theta _{1}^{(0)} ,\dots, \theta _{p}^{(0)} )\\ 2.\ \hat\theta ^{(k+1)} = \hat\theta ^{(k)} – \mathbb{H} ^{-1} (\hat\theta ^{(k)} )V (\hat\theta ^{(k)} ) \\ \ \ \ V(\theta) = \begin{pmatrix} \frac{\partial}{\partial \theta_1} l(\theta) \\ \vdots \\ \frac{\partial}{\partial \theta_p} l(\theta) \end{pmatrix} \\ \ \ \ \mathbb{H} (\theta) = \begin{pmatrix} \frac{\partial^2}{\partial \theta_1^2} l(\theta) & \cdots & \frac{\partial^2}{\partial\theta_1 \partial\theta_p} l(\theta) \\ \vdots & \vdots & \vdots \\ \frac{\partial^2}{\partial \theta_p \partial \theta_1} l(\theta) & \cdots & \frac{\partial^2}{\partial \theta_p^2} l(\theta)\end{pmatrix} \\ \ \ \ – \mathbb{H} ^{-1} (\hat\theta) \approx cov(\hat\theta) \\ 2. \text{ Fisher-informaatiolla } \hat\theta ^{(k+1)} = \hat\theta ^{(k)} + \frac{l'(\hat\theta ^{(k)} )}{J(\hat\theta ^{(k)} )} \\ \ \ \ J= E(-l”) = – \mathbb{H} \end{cases} \).

Ukottavuustarkasteluja

Määr Uskottavuus \(L(\theta)=f(x_1,\dots,x_n;\theta) \overset{iid}{=} \prod\limits_{i=1}^{ n} f_i(x_i;\theta) \).
Määr Sensurointi: esim, \( X_i \leq a \) havainto tehdäan, \( X_i \gt a \) arvoa ei saada.
▻▻ \(\begin{align} L(\theta)&= \overbrace{ \prod\limits_{i=1}^{m} f(x_i;\theta)}^{\text{havaitut} } \cdot \overbrace{ \prod\limits_{j=m+1}^{n} P_\theta(X_j\gt a )}^{\text{sensuroidut} } \\ &= \prod\limits_{i=1}^{m} f(x_i;\theta) \cdot (1-F(a)) ^{n-m} \end{align} \).
Määr Sekoitetut jakaumat/ finite mixture
▻▻ \(\begin{cases} P(X_i\leq x) = P(I_i =1) P(X_i \leq x | I_i =1) + P(I_i =2) P(X_i \leq x | I_i =2) \\ f(x;\theta_1,\theta_2,\pi)= \pi f_1(x;\theta_1) + (1-\pi) f_2 (x;\theta_2)\end{cases} \).
▻▻ \( L(\theta_1,\theta_2,\pi) = \prod\limits_{i=1}^{n} f(x_i;\theta_1,\theta_2,\pi) \).
Määr Autorgressivinen prosessi \(X_i=\alpha X _{i-1} +\epsilon_i \).
▻▻ Ei ole rippumaton, mutta
▻▻ \( \begin{align} f(x_1,\dots,x_n)&= f(x_1) f(x_2|x_1)\dots f(x_n|x_1,\dots,x _{n-1} ) \\ &= f(x_1)f(x_2|x_1)f(x_3|x_2) \cdots f(x_n|x_{n-1}) \end{align} \).
▻▻ Koska \((X_i | X_{i-1}=x _{i-1} )\sim N (\alpha x _{i-1} ,\sigma^2) \), sasda \( L(\alpha,\sigma^2) \).
Määr Satunnaisesti puuttuva tieto \( I_j \sim bin(1,\pi),\ \ I_j=0\) havainto puuttuu.
▻▻ \(L(\theta,\pi) = \underbrace{ \prod\limits_{j=1}^{n} f(x_j;\theta) ^{i_j} }_{ \text{havaittu otos} }\cdot \underbrace{ \pi^m (1-\pi) ^{n-m} }_{ \text{puuttuminen} } \).
Määr Satunnaisefektien malli / random effect \( X _{ij} =\mu+a_i + \epsilon _{ij} \).

Profiiliuskottavuus

Määr Olk \(\theta=(\theta_1,\theta_2) \).
▻▻ Profiiliuskottavuus \( \theta_1 \):lle on \( L_P(\theta_1) = \max \limits_{\theta_2} L(\theta_1,\theta_2) = L(\theta_1, \widehat{\theta_2(\theta_1)})\).
▻▻ \(\begin{cases} \log L(\theta_i) \approx – \frac{1}{2} (J ^{ii} ) ^{-1} (\theta_i – \hat\theta_i)^2 \\ \boldsymbol{J} ^{-1} (\hat\theta_1,\hat\theta_2) = \begin{pmatrix} J ^{11} & J ^{12} \\ J ^{21} & J ^{22} \end{pmatrix} \\ s.e. (\hat\theta_i) = \sqrt {J ^{ii} } \end{cases} \).

Suurten otosten teorian perusteluja

Lause \(\sqrt n (\hat\theta_n – \theta) \overset{d}{\longrightarrow} N(0, J_1(\theta) ^{-1} ) \). (1-havainnon Fisher)
▻▻ ts. \( \hat\theta_n \sim N(\theta, \frac{1}{J(\theta)} ) \).
▻▻ muista, että \(J_1(\theta) = E_\theta [-l”] \).

Hypoteesintestaus

Määr \(H_0:\theta = 1/2 \):
▻▻ \(R = \frac{p(x; 1/2)}{p(s;\hat\theta)} \), kuinka hyvin aineisto tukee \( H_0 \) verrattuna.
▻▻ \(D= – 2\log(R) \sim \large\chi\normalsize_1^2\).
Määr \(p _{obs} = P(T \geq T _{obs} ; H) \).
Määr Uskottavuustesti
▻▻ \(R(\theta_0) = \frac{f(x_1,\dots,x_n;\theta_0)}{f(x_1,\dots,x_n;\hat\theta)} \).
▻▻ \(D= -2 [l(\theta_0-l(\hat\theta))]\sim \large\chi\normalsize_1^2 \).
Lause Monte-Carlo simulation \(P= \frac{1}{m} \# \{k | D ^{(k)} \geq D _{obs} \} \).

Ei yksinkertainen hypoteesi

Määr \(H:\theta\in \Theta_0 \).
▻▻ \(R= \frac{L(\tilde\theta)}{L(\hat\theta)} = \frac{\text{rajoitettu} }{\text{rajoittamaton} } \).
▻▻ \(D=-2[l(\tilde\theta)-l(\hat\theta)] \).
▻▻ ▻▻ rajoittettu \(\theta \in \Theta \), rajoittamaton \(\hat\theta_1,\hat\theta_2,\dots \).
Määr Waldin testisuure \(W=(\hat\theta-\theta_0)^T \boldsymbol{J} (\hat\theta) (\hat\theta-\theta_0) \sim \large\chi\normalsize_{ dim(\Theta)}^2\).
Määr Raon pisteytysfunktiotestisuure / score statistic \( W_R = V^T(\theta_0) \boldsymbol{J} ^{-1} (\theta_0) V (\theta_0),\ \ \ V= l’ \).

Testin voimakkuus

Määr Testin voimakkuus (Neyman-Pearson) \( C_\alpha \) hylkäysalue.
▻▻ \(K _{\alpha} = P((X_1,\dots,X_n)\in C_\alpha | H_1) \).
▻▻ K is defined in \(P \bigg( \frac{f(X;\theta_0)}{f(X;\theta_1)} \lt K | H_0 \bigg) = \alpha \).
▻▻ \(\begin{cases} \text{hylkäysvirhe} & \alpha &= P(X\in C _\alpha | \theta= \theta_0) \\ \text{hyväksymisvirhe} & 1-\beta &= P(X\in C _\alpha^c | \theta= \theta_1) \end{cases} \).

Bootstrap

Määr Jackknife \(\theta_{n-1} \) saadaan pois yksi havainto vuoronperään
▻▻ \(\begin{cases} \bar\theta _{n-1} = \frac{1}{n} \sum\limits_{j=1}^{n} \hat\theta _{n-1,j} \\ \hat\theta_n ^J = n\hat\theta_n – (n-1)\bar\theta _{n-1} \end{cases} \).
Määr Pseudohavainnot, keskiarvotyyppistä estimaattoria.
▻▻ \(\begin{cases} \hat\theta_n = \frac{1}{n} \sum\limits_{j=1}^{n} h(X_j) \\ \hat\theta_j ^P = n \hat\theta_n – (n-1)\hat\theta _{n-1,j} \\ \widehat{Var} (\hat\theta_n) = \frac{1}{n(n-1)} \sum\limits_{j=1}^{n} \big( \hat\theta_j^P – \hat\theta_n^J \big)^2 \end{cases} \).
Lause \(\frac{1}{n} \sum\limits_{j=1}^{n} \hat\theta_j^P = \hat\theta_n^J \).

Vaihtoehtoisia estimointi-menetelmiä

Määr Momenttimenetelmä
▻▻ \(\begin{cases} m_k = E(X^k) \\ \overline{ X^k} = \frac{1}{n} \sum\limits_{i=1}^{n} X_i^k \\ \overline{X^k} \overset{P}{\to} m_k \end{cases} \).
Määr Pienimmän neliösumman menetelmä. Esim minimoidaan jäännösneliösumma.
Määr Varianssin pienentämminen.
▻▻ \(\begin{cases} T=t(X_1,\dots,X_n) \text{ tyhjentävä tunnusluku} \\ g(t)= E(\tilde\theta|T=t) \\ \tilde\theta^* = g(T) = E(\tilde\theta|T) \end{cases} \).
Lause \(\begin{cases} E(Y)= E_X E(Y|X) \\ Var(Y) = E_X [Var(Y|X)] + Var_x [E(Y|X)]\end{cases} \).

You must be logged in to post a comment.