Teoreettinen Tilastotiede

Table of Contents

Lähtö

Lehtori: Juha Karvanen
Karvanen, J. (2016) Teoreettinen tilastotiede 1: Kausaalisuus ja tilastolliset mallit.
Pearl, J. (2009). Causality: Models, Reasoning, and Inference (Second ed.). Cambridge University Press.
Further Topics on Causality: Judea Pearl, lectures, slides, seminars and excerpts | Seminar notes: REASONING WITH CAUSE AND EFFECT (Pearl, 1999)

• Tilastotieteen kokonaiskuva / An overview on Statistics:

▻▻ \( \text{Tieteellinen päättely / Scienteific reasoning} \begin{cases} \text{ Kausaalioletukset / Assumptions} \\ \text{ Tutkimusasetelma / Design} \\ \text{ Aineisto / Material} \end{cases} \).

Kausaalipäättely

Jokausaalisuuden arviointiin / Assessment of causality

Bradford Hill criteria (Wikipedia)

1. Ajallinen suhde / Temporality;
2. Assosiaation voimakuus / Intensity of assosiation;
3. Annosvaste / Biological gradient (kun altistusta kasvatetaan, vaste kasvaa);
4. Konsistenssi / Consistency (useissa riippumattomissa tutkimuksissa saadaan samanlaisia tuloksia);
5. Uskottavuus / Credibility(Plausibility);
6. Analogia ja vaihtoehtoisten selitysten puute / Analog and lack of alternative explanations;
7. Kokeellinen tai puolikokeellinen näyttö / Experimental display (Vaikuttamalla altistukseen voidaan vaikuttaa vasteeseen);
8. Johdomukaisuus / Coherence.

Graafiteorian peruskäsitteet / Basic concept of graph theory

Read more – Chapter 1.2 (Pearl, Judea. Causality (2nd Edition). Cambridge, GBR: Cambridge University Press, 2009.)
Introduction to Graph Theory (Allen Dickson)

Määr Suuntaamaton graafi / non-directional graph on pari \( \langle V,E \rangle\) , missä:
▻▻ \( V\) ei-tyhjä äärellinen joukko;
▻▻ \( E\) on joukko järjestettyjä pareja \( (u,v): \ u,v \in V,\ u \neq v\) .
Määr Solmu / Node: Joukon \( V\) alkioita/embryos; Särmä / Edge : Joukon \( E\) alkioita.
Esim Polku / Path
Polku suuntaamattoman graafin \( G\) solmusta \( u\) solmuun \( v\) on äärellinen jono:
▻▻ \( u=v_{i_0},e_{j_1},v_{i_1},e_{j_2},v_{i_2}…,e_{j_m},v_{i_m}=v\) ;
▻▻ missä \( e_{j_k} = \{ v_{i_{k-1}}, v_{i_{k}} \} \in E\) .
Määr \( G_1=(V_1, E_1) \text{ ja } G_2=(V_2,E_2)\) ovat isomorfisia (yhdenmuotoisia) / isomorphic (same format) jos \( \exists\ f:V_1 \to V_2\) , joka:
(1) \( f\) on bijektio;
(2) Jos \( a,b \text{ ovat } G_1\) :n solmuja, \( G_2\) :ssa on särmä \( f(a)\text{:sta } f(b) \text{:hin} \) joss ⇔ \( G_1\) :ssa on särmä \( a \text{:sta }b \text{:hin} \).
Määr (\( G_\overline{ X}, G_\underline{ X} \))
▻▻ \( G_\overline{ X} \): poistamalla kaikki solmujoukon \( X \) saapuvat särmät / removing all nodes towards;
▻▻ \( G_\underline{ X} \): poistamalla kaikki solmujoukon \( X \) lähtevät särmät / revmoving all nodes departs from;
▻▻ ▻▻ \( G_{\overline{ X} \underline{Z}} \): poistamalla \( X \) saapuvat särmät ja \( Z \) lähtevät särmät.

Pearlin kausaalimalli / Pearl’s causal model

Määr 3.1 Kausaalimalli / Causal Model on kolmio \( \mathcal{ M} = \langle U,V,F \rangle \) , missä:
▻▻ \( U\) on joukko taustamuuttujia / set of background variables (decided by outside effects);
▻▻ \( V\) on joukko \( \{V_1,V_2,…,V_n\}\) muuttujia (decided by other variables in \( U \cup V\) )
▻▻ \( F\) on joukko funktioita \( \{f_1,f_2,…,f_n\}\) , missä \( v_i = f_i (pa_i, u_i),\ \ \ u_i \in U_i \subset U,\ pa_i \in PA_i \subset V \setminus V_i\) .
Määr 3.2 Probabilistinen kausaalimalli / Probalitistic Causal Model on pari \( \langle \mathcal{ M}, P(u) \rangle \) , missä:
▻▻ \( \mathcal{ M} \) on kausaalimalli;
▻▻ \( P(u)\) on todennäköisyysjakauma \( U\):lle / probability distribution of \( U\).
Määr 3.3 ( d-separoituvuus / d-separability) Suuntaamaton polku \( s\) on solmujoukon \( Z\) d-separoima (d=directional, seperated/blocked by set Z), joss ⇔
(1) \( s\) sisältää ketjun \( i \to m \to j\) tai haarukan \( i \leftarrow m \to j\) sitten, että keskisolmu \( m \in Z\) ; tai
(2) \( s\) sisältää käänteisen haarukan (inverted fork / collider) \( i \to m \leftarrow j\) sitten, että \( m \notin Z\) eikä sen jälkeläinen / descendants.
Lause (solmujoukon \( Z\) d-separoima)
▻▻ \( X,\ Y\) ovat \( Z\) d-separoima, joss ⇔ \( Z\) d-separoi (i.e. blocks) kaikki polut X:stä Y:hyn / d-seperates all paths;
▻▻ Kausaalirakenteessa / In causal structure: d-separoi \( X,Y\) joss ⇔ \( X,Y\) rippumattomia edolla \( Z\) .

7V1tk5s4Ev41rrv7kCswL7Y/ZrxJ9l52L3VJ1e7eN8bINhts5jCeyeyv3xZ0M4AEZmJAAsflso0MQjxPS2q1uqWZtT58/RB7D/ufIp+Fs7nhf51ZP8zm88XKhk+e8JwlOC4m7OLAz5LMl4RPwR8MEw1MPQc+O5VOTKIoTIIHTMTzNtHxyDZJ6UQvjqOn8rXbKCzf9cHb0R1fEj5tvFBM/SXwk32Wupy7L+k/smC3pzub7ir7597bfNnF0fmI9ztGR5b9c/AoG8z8q4GHrpUlPFPCku5yLF3wRxQdSgkxO+XIISDbAIuEx0fvsXQcBscvZQjvo9hncSHJegfExlEEGfFfh69rFnJyibjsuvc1/+bIxexYKkrdBa6ztDfMtNhmsWSuZbyBc3kOj154xmfLEk7JM9GTAsx4BubMunvaBwn79OBt+L9PII+Qtk8OIf592nt+9AQHAO/dLvRO/Pn571MSR1/YOgqj7PEtI33l/xDzPJNtEIaFM7fpC9J977TPC8IPPnpJwmJOHCBh2JAKMpp4wTHFmGeOj8fihGF1kWCWJiFgH1h0YEn8zGWGRAarE1av+crJjp9ehNVyUVj3JUFF1j0Ugl2e9wtF8ANZqmHMXm4t5lueaVreZuu8sfABmijjleKh9tGxHnv3dDoW89shMV3MogCJSzVrAEgw08lIcSuprZEMkTQ1cjrHRrpfOW0NAmZNeZDginLrrCRyu+oAIcda3bvGyrE22+W9wdw3JlaiJoQgC+iG4eCSyFakLZfLbxOljLxaFLEBpAZRBJFwLYlZL1I2VghtfTCkTIuY+aCh4WGqVVl3Lw0ox6QAG0AQP/+K6enBb/zg70566L/lGuJLNpDyHnDG039nSfKMGql3TiJIiuJkH+2ioxf+O4qAofQeWQF5qV5LADxWdI5TxpvqYOLFO1abk5zJmIVeEjyWi9RtxzZW6V5qJN34ODcg3XWtY6NwpzKmQrhH2/uZGvV/pgS0W5FubB0bpTsVMhXSjSIydt1OMrAbTLZJBq4VbZRmEu7JqCUpUypk20QZ6bTRyf7RvMnB0bOeHSoWbvRjIZVtDlW8G2h0vklbTGVMSZuDvf0tKjpYPTQlZtFLjRlFd4CWQj01UCzc+MdXSvsD7FS/j68ahExJsyOK91uBKpBKKHiRkHQWF2cUOMgPUXBM0nI5dzPnB0jhUONML7/AC4Mdn5oJ2ZZnxUU9gKnrt5iccBruTlBxguPuc8oJ1PiuK0ZB8snYUJR8SusWYHH+JmtDpggwKaJiSzMY3pRpAe93U8d7qRJvcR79/dTxNiWmyuEAF+fq8CknCDiqLguVeIuzR5DJbTTgOsAvzm98uJn2RQf8RQv8X0FLD2JwKQFVnTtDgjPl32ZzN+S4+cEj/Nzxn5R0H1dToBCl8ybO5gJ1bHKWwQa8OA6TDcTIHatbOmXWTahi9sxZzxZ30HWvP6Q/4R9j9m4+e3vH3/A7/R/GBms4WsON1wA+nQc/4HORfvLfrnfgAB/vT/yLp1aSQCVLb3qZ+mEoEV0RbVkN64cStPwIlADYJQpyeItQC9BmRHGScoJ0gtpSCrXMmJOhY1yP9nwNYr1+ryPqjkrULZl3WdYTbMHPmHuAZwYzSP3/mftw330ODuBKPzd+Zk/w+d/oAG7l+Z9CB0MJ/psTA9SiIDk/ns/wCMBp3uPkZxXSstuXkyU9WCelDCihWKg8Ea7/3cvkq3x2sbjFs6NHj5dJOF/S+orXp0AxAOqA9yxfAbVguZjxeAgx/5rSiznkHUfbJ8JqJnugyzds5nTcCscFJ/KKkxgZnIrK4mDqha2BV71NUynU9omArCTu2y5e1W3Tp6/rYUZVvVipmywgFWF8oC1VoibT7Ctt6a/ytnTk4686UqhBFEkZbPRsyRTOCim/3RQpFG2J0qoDR/p60F4AkXrbPHxMYesjG8RWBP1/tyjoTlnQSbaUCHpXnqCNk/AbHucXbErz8PzyPufhqSI0z8O3mYjPGgMlbocdeWblByNjp413lkJ2xttJUKQ+tkcKVVRXpthXO4m/fO8l5jb2psWQ46F6CQpt7td1V992qE3IQNYaKIn2ahGp27eBZb5CRYKmJ0XjsszAQisudIuHxgaWmnhX9QYWW98QhwugqTSw2C3G8hM1sNSQosHg3ZYtj3Eb487mmkKWJ+SIgh9UcEQq53eOmjkyJW4Iw5EkW/znNiyVzSRpZKm0tRmENiuIFlmaNIg8oaHU6I1ebQYvJCDNkVTKYtycqZi4uuNCWZSz06It6X39u2W5AyTTg4qBJHlIaTgmyqjScSBJZqvxgUa2ICWoTaVLqm1UmsOw21j6M8lS0jDqG/B7QaZVGkfIyepWZbrNiiaZZCmZvWoxuJum6aquymgwmnNv1ixyqW+uLC6rkqN61/WJW0UucKSRVYQcd/sKLyhVxouu9cJVqTf9kr/TmJJ2zvPc/T7di4AiGmod3Kfkyp6LUS5V4jy4NFSuE7mqrunfYmax/wFydc38lgttmwbWz04R0ccHRspVvWJ8KQKtNzVZ2CdCVMTGt9zK68Avux8NOcUhlFOfVc5fB2E5nkXibjGY/LbZNUNLCCtrI0riIYfDcKzN6KpclZXKoT7W2tdhaFY8/ZQKYoutRfQEsdKjD7lyuKATtdg0R08QXY1AHGu3ksdzkG6pEsSxqjewWkEJRApoVgKiPv6kr6zOy4rPxYDBYAKIY9Vwqr3zasAZFQFE0az1j4kPFecVvyGVg0WJt+8/b2mRq1cyR51PfcXpbbmZaknJk7FTL6PKOtrXTkTWb4DYZoqyxlJZmqGsG7mXZiilBr4hJigFzvrYXWr8nMm2EpATq4S0jjZN6tedTwFtMs8/jWjryP1oarRRF9bcQg7msCnQhgpJtx42o69rMmcyfUiTON78a+KqoLmqLL81oGuAAH9X2/r1GsusoKlrpQwOtl+rQFtXu0dNrYfCOtJMmzLFQrIC2ehWSr/kj1G2D1nkBqVkOls0EE3NH4j218k9N1TCLRqERreRywW4K0591kKylOhg9jdxhnd0+7hciJI0KhNwK5XmTrHtHt02LhfgJnOFFnCLU+8/TgzuiuOXRfNTKuC+OvBUD6VRFnYqNz5dof7hpR+5aBXorCwjZpHjCmWR6aR4VYWqvBjfyN61w4ERsVezrH/X7FHvOgR71+5yPR72snnvHtgrOy8OWveuXQ3u5tmzjWpHOCB7opoxus2zXqfVWRLv/uHMjTekZvTUUZGmRnSSC0j3lcX2HNu1Ld9fzj3DcTa0b3uj05Kw13CBPt877VNa6eCjlyQs5hUAcDC4wNfTUt6zODvvFxRhAKs1bY2b3pJnRLEiUNrVrVwlIJBMzJRFJk0CcRczoumDAQRA5vrXUxyhAQIwN9K1bgeOKPz5P59vIpbQrgYe0c53PcQSwmEccc5fJJFvivhT5DN+xp8=

Further reading: d-seperation without tears (Pearl, 2009; available at UCLA, external link)
Esim Katso kuva:
▻▻ \( A ⫫ D \ | \ B\), koska \( D\to B \to A\) eikä muita polkuja;
▻▻ \( C ⫫ D\) , koska \( D\to B \leftarrow C\); mutta \( A \not ⫫D \ | \ B \) (ainakin yhdelle jakaumalle);
▻▻ Turkistan \( \{D,E\}\text{ ja } \{I,J\}\), niin välillä kulkee 7 polkua (3 avointa ja 4 suljettua).
▻▻ ▻▻ Nopeasti ehdoilla \( \{F;G\}\), muuta huomattaa että \( E \to G \leftarrow H \to J\) ja \( D \to G \leftarrow H \to J\):
▻▻ ▻▻ pätee siis \( \{D,E\} ⫫ \{I,J\}\ | \ \{F,G,H\}\).

Kausaalilaskenta / A calculus of intervention

Muuttajaan \( X\) kohdistetaan toiminta eli interventio/intervention \( \text{do}(X=x)\ / \ \text{do}(x)\) ;
Halutaan tietää muutujan \( Y\) jakauma intervention jälkeen \( p(Y=y \ | \ \text{do}(X=x)) = p(y \ | \ \text{do}(x))\) ;
Huom Yleisesti \( p(y\ | \ \text{do} (x) ) \neq p(y\ | \ x) = p (y \ | \ \text{do}(x) )\) .
Kausaalilaskennassa, kausaulijakauma \( p(y\ | \ \text{do}(x) )\) pyritään kirjoittamaan havaintojakauman/obsevation distribution avulla.
ggg
Lause Kausaalilaskennan Säännöt / Rule of do calculus
(1) Havaintojen poistaminen ja lisääminen / Insertion-deletion of observations:
▻▻ \( p(y\ | \ \text{do}(x) , z, w) = p (y \ | \ \text{do}(x),w )\) jos \( (Y ⫫ Z \ | \ X,W)_{G_{\overline{ X} }}\);
(2) Toiminnan ja havainnon vaihtaminen / action-obeservations exchange:
▻▻ \( p(y\ | \ \text{do}(x), \text{do}(z),w )= p(y\ | \ \text{do}(x),z, w )\) jos \( (Y ⫫ Z \ | \ X,W)_{G_{\overline{ X} \underline{Z} }}\);
(3) Toiminnan poistaminen ja lisääminen / Insertion-deletion or actions:
▻▻ \( p(y\ | \ \text{do}(x), \text{do}(z),w )= p(y\ | \ \text{do}(x), w )\) jos \( (Y ⫫ Z \ | \ X,W)_{G_{\overline{ X} \overline{ Z(W)}}}\);
▻▻ ▻▻ missä \( Z(W)\) muodostuu niistä joukon \( Z\) solmusta, jotka eivät ole mikään joukon \( W\) solmun esivanhempia/ \( G_{\overline{ X}}\):ssä / is the set of Z_nodes that are not ancestor of any W-node in \( G_{\overline{ X}}\).
Esim ( Takaoviksiteeri / The back-door adjustment) )

Määritä \( p(y\ | \ \text{do}( x) ) \)

7Vpdk6I4FP01PrYVEj7kceyZ6X3YrZqq3qrt3petCBHZRmKFaLfz6yeBGySCs23pCK2rlkUOkIRzTpJ7oyNyv3x7EHS1+IPHLBthFL+NyOcRxh4O1bcGthVAAr8CEpHGFeTsgMf0OwMQAbpOY1ZYF0rOM5muAITrIp7nLJLWhVQI/mrfO+eZ3eqKJqbFHfAY0ayN/pXGclGhEwxPofHfWJosTMuODw88o9FLIvg6h/ZynrPqzJKaaqDyN1QVDVdbU64bya3rv3O+tADBipo44GOeQo+gnNONVc7S/MVmcMZFzEQDIl+UroJzVZE+Wr7ds0xra3Sr7vt64GxNnGC51ZVDN3gknPko9Eg0n8wQ8++AjQ3N1vBsFVDIrVFH1aCMoArT10Uq2eOKRvrMq7KiwhZymamSow7naZbd84xXz0dQ+VJ4u5PQ7w0TkoGJSwg6/cD4kkmx1bLBWWJkMxaA8uvOL8bNi6ZVAKMgQ1LXvCNJHQBP3ZyRuUNpGFDHRT4KJt4daVMUKz9DsfQgmZauZLoKTUGDJUWC2D4BXhaedWHslcX4kx5PCogyWhRpVIFfFbNw+79Myi0MYbqWXEFcyAVPeE6z3zlXmpTXFVLwF3ZYDt3lgyYCqOBrUWrd5RwHaJBUJAzu67ZXW1XBMirTjd2BUzQ62LuhG3sCBh2Cr43qp/oarGyc/dF87b7D15W9LmDslkgdNj598rlGifqbeqB3Q596Anvq8aGXl5h52JyhMMA+ixzfiR2zolqM+ZlqcRqnG3WY6MPjoEIHdDWmJFEf9PDPk/o2xepC1Vn72hruqPV96J7YSg+NN1QtY0k6Ky/Qaq54msuSUG868j4rRI8viDf1DTRLEx2fZmyuq9Iipyp+/gSw1GNPP3KU5smf5UC8c8/jEmK7BActlxgfNV1i4t2TBlYwZ7MwjpyYsACH8zto2nIJCPt3Q9ZrYt+D5wH2XSg22Pd/EfuthadrVgP2m4NqYOy3qO4Q5PAMCVNiHZxBrtgH/d5h+p+vlH7HhXWh5n/SH/8g/QUW9ZM4I8SeMRwzf/eRUIBcQ+cMBzC4hsAZ5H9XloQ1w/l23mn2HBvh/CEvHaMqGoeui4kf+hPsIRjAoPEEj0MHIaJackNEzMx+3nwa/HFVudrpStYbru9XkownAXadEHu+p74hEDRSOmPHx0pkV+npEwRnzyulidyGPpX59lQWwAray3YSUHSBrG7k3etBJNSGOxsF06dRoFq7uTzvNOdg2zmkHWvV6+IvD7Y6d2+Hn+qdJoBr/8ThgR59BLudW1hXnuxhfy/b6NjquJwAN5jukb11vV8BPki+5wZYRfqDyV4ckOzKfhv9edALK+VPg17jpyOUxaSlLJTPK9kHydJdp81Hj043s87tJHf1X4PO7HMHj0m/2V29Lz/0IYD2h0Cf+Z0h6TL5HVfMQXpXBqH/Z3hHx1f+vnt6zfHwDeZ4ZBLsSdBnlmfYvaUsz0XefhTRZ5phNl1uKc9zA39QErwj09uFcZq6/wgAigWNy/BN65DoEA6OY1os6kp04RuVkglNt2IMaXpbEdu0fNdnzN+j9wMNCDeNqJGSQv/N+Cz7Imhv0WjPWMTY2Io5DHiEWqq4+y90ea7xh3fy5Qc=
\( p(y\ | \ \text{do}( x) ) = \displaystyle\int_{} p(y\ | \ \text{do}( x),z )\ p(z \ | \ \text{do}(x ) )\ dz \) ;
1. \( p(y\ | \ \text{do}( x),z ) = p (y \ | \ x,z)\) , koska \( (Y ⫫ X)_{ G_{\underline{X}}}\);
2. \( p(z\ | \ \text{do}( x) ) = p(z)\) , koska \( (Z ⫫ X)_{ G_{\overline{ X} }}\);
Yhdistämällä 1 ja 2 saadaan \( p(y\ | \ \text{do}( x) ) = \displaystyle\int p(y\ | \ x,z) p(z)\ dz \) (nimellä takaovikorjaus)
Esim (Etuoviksiteeri, tupakointi-keuhosyöpä / The front-door adjustment)

7Vzdk6I4EP9rfJwpIATkcWf24x7uqq5q7+p29+UKISq3SKaQ+dq/fhPoRojI6SoEYdRS03yFX/+6092Jzsj95uVT6j+s/+Ahi2eWEb7MyPuZZVHLE+9S8FoIiOsUglUahYXI3Ak+Rz8YCA2QPkYh29Z2zDiPs+gBhLBfwJOEBVltRz9N+XP92CWP61d98Fd4xZ3gc+DH+9J/ojBbF9K5BXch5b+xaLXGK5sO3PDCD76vUv6YwPUSnrBiy8bH08DJX4yi6dhF+xXaJsWLJLX9f3C+qQlSti2BAzyWEfQI2on/VGvHUfK9juCCpyFLKyLyQeg15VycSH7bvNyzWOoW9VYc9/HA1hK4lCW1rhw6YEkNw5kvGKWex5bBjdhVnmCbvaIuWChUA80cTnKXA8zkGQRmd+tsE4uvpvgqLpq+fgF53vgqG7c0b4bvJDWEIIj97TYKCuHHSHSoOPw/lmWvwEb/MeNCxNNszVc88ePfOX+A/bZZyr+zex7zAjli5A+xpei97PJBPEC05Y9pAHtR4i0cw6MkWM4XBnNugE2Zn64YHKYClZ8GMP3E+IaJm81JEftZ9FS/vA86X5X77TQivoBSmhV0qG9PfvwIV9lXWRwLS5Wael5HGfv84Od3+ix8RV1fS4H9YRgbUHtiacbAyxxAALdaYEfggkwTOv68M2h0N+uqLYPsHMzI0vR9z/VN23AMd05vyBhYfSqJTbjrKosPsUmxGB28xu4OndhzIOgQeI00OJfXQGVkdl+8Dv3tOu+Y3E02/vSzjKVy3BV3Zti/Tn0Y01upj4Trn/vqWNKJexqcEs8elZu0OphhGTs3/HG57r9stz/3xZbM8FzLYYHpmKGJvK9B5sTiindh9CS+ruTX00RbGbaXMqET8TI+/ftFvGOz2FF0tr5vKW4463FSRdtCIVJeUWueMfiLfAepzgceJVkOKL2b0fdCIk0Qsgp5gB9HK2lIMVvKU0ktRyJLegfiTJqnvOUgSlZ/5bZ60+o0j6eJo0RvkHlVWOI2sAS5dZZluUu28MLADAlzLW95AwStsQQU+3dFrWNCvwwqDsPvdAT/XozR5NcA/qpVjQl+F44oQ7y5PvjBDpvg/zpW9jswMAwBf6w5tY3ru9BMAvc/Y/t27Yd5SCa1sJJhGXw/IpDai8Lu8me5BYtlagwBISSqNBC6kUWnSyhLQFZTFgElVHRFsBRQVRYxwK9fMpDG3ncfg+0B1ABjC8Gx5th/DqlC1uLevw3Xv5wHvzq6ouPowb+o8INljKzeWk3j1DsGf9qaxJV1/mNVSpSsxiTA2Uvq6oiRYAjehaCbKOmtz7uAj58QvSFUaaP3yey2XCUb64Ld0PGhs3svM9XIbjzn1Ap3bfw3cb74sv7dtG6p7c4dx7OJQakJjgVI4Di3xBBmQb05nZs27SK0vJLYUqBTgwax0GEegFAP9b0ZvecCNjG/zmau2CBKE664nuNvJPLJYis/9tvTKgie53dpParAvLjKK8z9ug6aG6cKh18SPNOu6zljA/595SyNUx3DLwmeSX/Auww7+qtJ7eF/nTXB8+hvA95DwP9aEkFbrXNoDJVbZnHGWmdSXXY5PurgbH/Lxs7CTMT4g+Es6mFC1YtytW9b9gYaOUGptjKh00X9opy6GDrDiQKGToZPdOVRqwkcscoIVXaC1ufC8LUWMPC+hj8C1O1DYwED5y37KGCIqkVzDcMQcml/uOEbSIv3txLGCczCdQSHU+hGanURjzUuKxh5CcN2wePoL2FYLenIWEsYNt7QAFJovPSUShgU6wZDwP9K0kE1TtIZLGP2PqUShuqydXKWXOrXLteTjhNAvy0XsWGfUyZT6+tbLQ+UelFtNU3+DXK+VAUD0g8dHuZKUjR1MkQrZtCVtxJGBRMYNC/sNgzSVsIQ2zuvYeCNDd5APMVA8BQ6DKQp1O5rFUZRrHhbhnG5eWhb+W2Ktz+nJH670FNE1pRFjLyIYXnK+sMGBfQVEaOeJ7UQw67jb3lwgzrwb5pyGvtCDDT6En8YgnXgfy05BhrqAOJlnIqdUhVD9dlafcY+tmOvYqDHbktHaPmvW8fPqCqzOV1UMbDr17ZsRquHuZIkTV2IoRUzUN/o/8nnJMeBS85b6xjAtlP0rtiKKFwI5+HMPZcQatk4WFxUvxA0vVWpTtPurwwLrQtt+qhS4Y1d20obnVUq2pRKdValqq6nqSy0kZdtKmO9VbEuPa2If/7QUkQp/0mi85/gN2WRE1uKo7OKRVsy0vGuxVFjT30ZKW35OddU1uLorGJhjHNta3F05ks4AT3ltTgd+gzR3P0Feb6t8j/z5MNP

Lauseke \( p(z\ | \ \text{do}( x) ) \)

\( p(z\ | \ \text{do}( x) ) = p(z \ | \ x) \), koska \( (X ⫫ Z)_{G_\underline{X}} \).

Lauseke \( p(y\ | \ \text{do}( x),z )\)

\( p(y\ | \ \text{do}( x) ,z)=p(y\ | \ \text{do}( x),\text{do}( z) )\) ;
\( p(y\ | \ \text{do}( x),\text{do}( z) ) = p(y\ | \ \text{do}( z) )\) koska \( (Y ⫫ X \ | \ Z)_{G_{\overline{ XZ} }}\) ;
\( p(y\ | \ \text{do}( z) ) = \displaystyle\int_{A} p(y \ | \ \text{do}( z),x ) p(x \ | \ \text{do}( z) )\ dx \) ;
\( p(y\ | \ \text{do}( z),x ) = p(y \ | \ z,x)\) koska \( (Y ⫫ Z \ | \ X)_{G_{\underline{ Z}}}\) ;
\( p(x \ | \ \text{do}( z) ) = p(x)\) koska \( (X ⫫ Z)_{G_{\overline{ Z} }}\) ;
Todetaan siis, että \( p(y\ | \ \text{do}( x),z ) = p (y\ | \ \text{do}( z) ) = \displaystyle\int p(y\ | \ z,x)p(x)\ dx \)

Lauseke \( p(z \ | \ \text{do}( z) )\)

\( p(z \ | \ \text{do}( x) ) = p (z \ | \ X)\) , koska \( (Z ⫫ X)_{G_{\underline{X}}}\) ;
siis \( p(y \ | \ \text{do}( x) )= \displaystyle\int \displaystyle\int p(y\ | \ z,x’)p(x’)\ dx’\ p(z\ | \ x)\ dz \) , missä \( x’\) käytetään muuttujan \( X\) arvoille sisimmässä integraalissa erotukeksi kiinnitetystä arvosta \( x\) , jonka muuttuja \( X\) saa interventiossa.
Esim Example: Smoking and Genotype Theory (Pearl, 2009)
Määr (Identifioituvuus)
Kausaaalivaikutus \( p(y\ | \ \text{do}( x) )\) on identifioituva / identified graafin \( G\) määräämässä kausaalirakenteessa, jos \( G’\) :ssa ei ole olemassa ainostaan havaitsemattomia särmiä sisältävää suuntaamatonta polkua \( X\) :stä \( Z\) :hin, missä:
(1) \( G’= G\) poistamalla solmut, jotka eivät kuulu \( Y\) ja sen esivanhempien;
(2) Havaistsematon särmi / bi-directed arc: särmää, jonka jompikumpi solmu on havaitsematon / either node is unobserved;
(3) \( Z\) on \( X\) :n lapsi;
(4) \( Z\) on \( Y\) :n esivanhempi tai \( Y\)

(Pearl, 2009/Chap.3.6.1/P105) A sufficient condition for identifying the causal effect \( P (y \ | \ \text{do}( x) )\) is that there exists no bi-directed path between \( X\) and any of its children.

Neymanin-Rubinin kausaalimalli / Neyman-Rubin Causal Model

Määr (Neymanin-Rubinin)
▻▻ Populaatio \( U\) ;
▻▻ Jokainen jäsen \( u\in U \) voidaan ainakin käsittelylle \( S=t\) tai kontrollille \( S=c\) ;
▻▻ Vasteet \( Y_t(u)\) ja \( Y_c(u)\) potentiaaliset lopputulokset;
▻▻ SUTVA: \( Y_t(u)\) ja \( Y_c(u)\) eivät muiden yksilöiden käsittelyistä tai tavasta, jotka \( S\) valitaan. / stable-unit-treatment-value assumption;
▻▻ Kausaalivalkutus \( Y_t(u)-Y_c(u)\).
Määr Kausaalipäättelyn perusongelma ja ratkaisu:
▻▻ On mahdotonta mitata sammaikuirsesti \( Y_t(u)\) ja \( Y_c(u)\).
▻▻ ▻▻ Kontrafaktuaali/Counter factual: vaste, jota ei ole voitu mitata.
On kaksi pääratkaisua:
(1) Tieteellinen/Scientific ratkaisu
▻▻ (a) ajallinen stabiilisuus: mitataan \( Y_t(u),\ Y_c(u)\) riippumattomia käsittelyn ajankohdasta ja mahdollisesta aiemmasta käsittelystä.
▻▻ (b) yksilöiden homogeenisuus: yksilölle pätee \( Y_t(u_1)=Y_t(u_2),\ Y_c(u_1)= Y_c(u_2)\).
(2) Tilastotieteellinen ratkaisu
▻▻ tarkastellaan keskimääräistä kausaalivaikutusta: \( T=\mathbb{ E} (Y_t)-\mathbb{ E}(Y_c) \) ▻▻ Data \( (S,Y_S):\ \mathbb{ E}(Y_t \ | \ S=t) \text{ ja } \mathbb{ E} (Y_c \ | \ S=c) \) voidaan estimoida, mutta yleisesti \( \mathbb{ E} (Y_t) \neq \mathbb{ E}(Y_t \ | \ S=t) \);
▻▻ Ratkaisu: \( S\) satunnaistetaan jolloin \( S ⫫ Y_t\) ja \( S ⫫ Y_c\). Tällöin “prima facie” (ensi näkemältä/at first glance) kausaalivakutsusta:
▻▻ ▻▻ \( T_{PF} = \mathbb{ E}(Y_t \ | \ S=t) – \mathbb{ E} (Y_c \ | \ S=c)\) .

7Vhdj6s2EP01SHsfIvERSHi8yd5uH1qpUlq1+1QZcMBdg6kx+bi//o7NOEBCdldtVrutbhQlnmN7bM6cjMdxgnV5eJCkLn4WGeWO72YHJ7h3fH8Rz+FTA8cOCCMEcsmyDvJ6YMO+UgRdRFuW0WY0UAnBFasRxHGpqCqaqtFAIqXYj+duBR+vWpPcrtgDm5TwS/R3lqmiQ5d+1OM/UpYXdmUviruehKRPuRRthetVoqJdT0msG3R+cNGc49wjAgHaNalGD/tViHLkQdKmZw6flOGWcE5FdiObs+ppTGEiZEblAAq+QGClEOBIt8rDmnIdXBu4bt4PV3pPzElajbZybUIYxEnkxmGQbpeJS6MZPv2O8BafrQMadbThAQ+gBDBW+4IpuqlJqnv2oEXAClVysDxobhnna8FF93yBa16AX24S972jUlFUsYFw0w9UlFTJo45b13vSKko8QnPf68WOKIZSQYxgFPKT454jaCBNr6TMC/4bnHnLMWde8J6kYUr68EKzyrKk+eE7kra45CiD1ImmSXfByiRAqn1oDgY0AQvy+AfixnhE4y+q1BEPAtIqAZCQqhC5qAj/SQjg23jISFMYz9b4hShFpc6UQKM7f47zRrTSxO+ZtKOIzClOuyoZ/cjPhk5SThTbjXPzbQOxfINA6J7XBuKfsWwz1UelOaOem8xJ6pLYny+Dmf21DnNExGHjq0Yfz0P+o79bfWautqJSs+5g/gwDvHl96DuhleO38cIs8JtFYIsncIB1y1n4LPKQSTQ+iG+jpHiiNiOhGoZJCiHCWa5/OylEUVcBK52XGBRCn7GjZFmml5lMgAJGb7nYA1LAOAoTbnJMxOOMN788JSw0THi2ormpAPBMeHsBbL4LoBfA+ZH3ngqYqq3eRAGP3xXQFz0B0n6qFPHqNVBAiHXQrRUQ0C1144Uf0dSLvMx7UQE2JHBswdt9/HNz136CgfUdhNR1QljRdRbms2ubhonYYpUJZ3F/B9Dmk+OvW2jAd+fpSuQ7OGO7c2hqWCJfVNIJHrl8UV/m9kkSM0BXEbVglTK0hysnvNfKgvIBb6h6ghUap1vt6lxmSpcW+hlSVuW/mjpj1pdzF9KZENj1fBKe5ZOJy9pkDW3vJzeV09S9Qwdcy2VCKxEpNTFV0uivK8LpRfN/ipsf43XDxs1Fe3j1sbH9l2kAzP5PD9M3+Gsr+PIN

Granger-kausaalisuus / Granger causality model

Määr (Granger-syy/reason)
Olkoon \( X(t),\ Y(t)\) samoina ajanhetkinä havainnoitua aikasarjaa. \( X\) on \( Y\):n Granger-syy, jos malli:
▻▻ \( \mathbb{ E} (Y(t)) = \sum \limits_{ j=1}^{ m}a_jY(t-j)+ \sum \limits_{ j=1}^{ m}b_j X(t-j) \) ; antaa selvästi parempia ennusteita kuin malli \( \mathbb{ E} (Y(t)) = \sum \limits_{ j=1}^{ m}a_jY(t-j)\).

7VjLcuI6EP0aVyULpvzABi9DXrOYWeVW3WR2si2MJsKihHjl69OSWtiK4U4WDJWkLkWB+0hqSee01A1Bcj3f3kuymP0UFeVBHFbbILkJ4niUD+FTAzsLpBkCtWSVhaIWeGAvFMEQ0RWr6NLrqITgii0QxH6laBpaKq8jkVJs/LFTwf1ZF6R2M7bAQ0l4H/2XVWpm0XGctfh3yuqZmznKcttSkPK5lmLV4HyNaKhtmRPnBp1vQzSHYGlgh8Bw7GZpvM2+CDH3PEi6bJnDnTJcEo5pyNqzOWuefQoLISsqO1ByC8JKIcCRfppvrynX4jrh7Li7I6175iRtvKUcG5AmeZGFeZqU03ER0myATK4JX+HeLLBUOycPeIBIAGOymTFFHxak1C0biEXAZmrOwYrgcco4vxZc2P0loXkB3l8krntNpaIYxQbCRd9TMadK7rRutnUfqxjiGZqbNl5cj1k3VBAjqEK9d9xyBA9I0zspi5LPwlnqcRZFo/ORNprSIq/KqEroKM6nA+SsS1EFlwCa5uAmE3OUqXahKeiwBCTI3SPixnjat1RX+goCs+RkuWSlBe+AV+zymyq1w1uPrJQASEg1E7VoCP8hBChi+tkV6mUdPVwILcVKGj0PhgdevorImuK4w8eur5yknCi29hdwUh0wJE6qQ/gt/bxK2NN8DimOLe+j3yPR0L9H8vPdvQmd0jAfxRktoyyqIneNeJRlHGacLHUCj7NaPwcxUAvv8OlCXcKXDrdfF2oQX4Jlm+wgmN8fZ+GKrd9Ch7oV8i1yxB/Anss3IoMOGu+oaWoNUpgOWsWFYI0yPKaTIL0BRB8frEf0AMJZresXTqfalRaXQYF1hbDSR0vvoWRN/Y85Z4PhibJMiiUERscQzW50uOqnGx7J38gymOA64QGyg+YfjPAeuwc0+I/jiIfApfUQ6+QO447cLuFOhJMSjsVzh/DHL0c4bPtPEX42vvvlur3ivhbf/o0Sxf269WyEuyz23oxjwj+5KXS6iUzuuY2D8SjItRNo1CA2x/8no5OHjvtdiKEz6pcqMZRFp0hGYLY/201b58+Z5PYV

Kontrafaktuaalit / Counterfactual

Määr Jos data \( d\) on havaittu,
Berlin kausaalimallissa \( \langle \mathcal{ M},P(u) \rangle \) vastaus saadaan seuraavien askelien avulla:
(1) Päivitetään/update \( P(u)\) datalla \( d\), ja saadaan \( P(u|d)\);
(2) Sovelletaan/apply toimintaa \( do(x)\ \ \mathcal{ M} \):ssä, ja saadaan \( \mathcal{ M}_x \) ;
(3) Käytetään \( \langle \mathcal{ M}_x,P(u|d) \rangle \ \ Y \):n jakauman määrittämiseen.
Määr Ennustaminen, toiminta ja kontrafaktuaali
▻▻ Ennustaminen/prediction (mikä \( Y\)_n jakauma on, jos havaitaan \( X=x\)) : \( P(Y\ | \ X=x )\);
▻▻ Toiminta/action (mikä \( Y\)_n jakauma on, jos havaitaan \( X=x\), jos tehdään interventio \( X=x\) ): \( P(Y\ | \ \text{do}( X=x) )\) ;
▻▻ Kontrafaktuaali/counterfactual (minkä jakauma olisi ollut jos toiminta olisi toteutettu)

Counterfactual: “Y would be y, had X been x”, interpreted as \( Y_x(u)=y\)

Esim
5VnLkuI2FP0aqiYLUn60DSwbZiZZJKnU9KSSLIUt20rLliOLBubr517rythtSKXSFO5MswDr6Olzjq4ezMJNefhBs7r4WaVczgIvPczC97MgCFcL+EbgaIFgCSkEci1SC/kn4EF84QR6hO5EyptBQaOUNKImkMolqqp4YgYFmdZqP6ybKTnstWa56/EEPCRMjtHfRWoKiy6D+IT/yEVeuJ79eGVztix5zLXaVdRfpSpuc0rmmqHGDx5xQ1wdKe13nVSD8l+UKgeA5k1HHPGRCRoRpSv2NEhLUT0OGdwqnXLdg8IPoKtWChrCp/Kw4RK1dbrZeh8v5HbEaV4NhnKpwp2/jcNFHPhByBhfJPPIttCYoxODp6ANJVs+w3XLMMcmgLR1YUoJjz48Qq/6+Ec/8ScW+j5qk+k9egOARLKmEYkFPwoYka3xFzfmSHZkO6MAUtoUKlcVkz8pVVO5xmj1yDdKKktd6LWfLseZBsva98GXuEgRQY3a6YRKReFqG3urKEyy5dbj8ZwMZpjOOVUbcRd2AsLE5Krk8P6tUSQz4mnYPyMf5F25k0rwQEKdF+3S4J6Y3FEvYxWlhNmL4u0LYfhDzdpX3UP8GEqYgRznmL1I2xPXhlPkaaExAy7XX9Jc6+atTe9Pk9yFoKI/vwl7CWcjse6uY3TEvymj+62LX6vT3eheu9VDsuwETh9zRlZ/7ZwtaO0hzmIKFjegLMx8xlYL5t95sbdYRnM3UV4aHCgeuPBwq+DwH2c++aQ/8y9OwGdx5gaxYCTSGRe/PIJ/AxLRbuD2Co2WCQp6/9dpdK01dsQLOfefJ1or9RSq0ehusFyM1oYzVP7b5SKg5BR7ydttSq7JmB9NSBkt7gPKYgk9rjMFbwNnaUsQoH/v8DS8/ixKuJMIvF/4Hr4/qRIO6F3mgGwHYktze0i/hwLL+tCvEOf4+xtkwDMrUYZq2+DPuw1MXsjESu35HLs1BdwkePzAk50RqvrODRfe3I7YtjcSHuRCvKdwe3HAtm0BVLZWojItt9F6Fr0HBMMVXS5gBSZFjpcRkmfYFHpAwGXJPcEGQ9m6AUeJKv/cxjU43VzFMatn21i6K+kbxt1k9B3jsKs6xtlwcsvA0M9YhtWGCZADq+UQn7Ffhn2ASEy+SbtE53bwN7OLO39MbRfMwNrvcDSfRCZ5ycknTQEXfc3b8IY/OhJTE9O449wmZwp3QPFxMPlViwY2x7AFwHqp4G/FI07/bodC6Z5HFtexCCRPt+xtXu+vlPDDVw==

▻▻ Prediction: \( \neg A ⇒ \neg D\) (A not shoot, then prisoner not die);
▻▻ Abduction: \( \neg D ⇒ \neg C\) (prisoner not die, then captain not signal);
▻▻ Transduction: \( A ⇒ B\) (A shoots, then B also shoots);
▻▻ Action: \( \neg C ⇒ D_A \& \neg B_A\) . (captain not signal and A shoots, then prisoner die and B not shoot);
▻▻ Counterfactual: \( D ⇒ D_{\neg A}\) (Prisoner die, then then prisoner would be dead even if A had not shoot).

Kausaalipäättelyn käsitteitä / Concepts on Causality

Määr Kokonaisvaikutus
\( X\) kokonaisvaikutus/total effect \( Y\):hyn \( := p(y\ | \ \text{do}( x) ) = \underbrace{p(y\ | \ \text{do}( x),\text{do}( S_{XY}=s_{XY}) )}_{\text{ suora vaikutus} } + \text{ epäsuora vaikutus} \).
Määr Sekoittuminen/ Confounding
▻▻ \( X-Y\) välillä havaittu assosiaatio on seurausta muistakin tekijöistä kuin kausaalivaikutus \( X \to Y\) . / Observed association is the result other than causality.
▻▻ Tällaista muuta tekijää kutsutaan sekoittavaksi tekijäksi (confounder).
Lause (ei sekoittunet)
Pealin mallissa: \( X, Y\) eivät ole sekoittuneita/ not confounding, joss ⇔ \( p(y \ | \ \text{do}( x) ) = p(y\ | \ x)\).
Määr Endogeeninen, eksogeeninen ja instrumenttimuuttuja.
▻▻ \( X\) on eksogeeninen/exogenous suhteessa \( Y\) , jos kausaalirakenteessa muuttujilla ei ole yhteistä esivanhempaa. / do not have common ancestors;
▻▻ Endogeeninen/endogenous: ei ole exogenous.
▻▻ \( Z\) on instrumenttimuuttuja suhteessa \( X \to Y\) jos
▻▻ (1) \( (Z ⫫ X)_{G_\overline{ X} }\);
▻▻ (2) \( (Z \not ⫫ X)_{G}\)

Kausaalimallit ja rakenneyhtälömallit / Structural model equations

Määr Rakenneyhtälö/Structural Equations (Pearl 2009, 5.4.1)
Yhtälö \( y= \beta x + \epsilon\) on rakeeneyhtälö/structural mikäli tulkinta on seuraava:
▻▻ in an ideal experiment where we control \( X = x\) and any other \( Z = z\) (set of variables not containing \( X,Y\) ):
▻▻ ▻▻ the value \( y\) of \( Y \) is given by \( \beta x + \varepsilon\), where \( \varepsilon \) is not a function of the settings \( x,z\) Esim Gaussisessa lineaarisessa mallissa, kausaalilaskenan avulla päädytään usein tulokseen:
▻▻ \( p(y\ | \ \text{do}( x) )= \displaystyle\int_{} p(y\ | \ x,z)p(z)\ dz \) (back-door criterion)
▻▻ Tällöin kausaalivaikutusta kuvaa regressiokerroin: \( \beta_{Y\ X\cdot Z} = \frac{ \partial}{ \partial x}\displaystyle\int_{} \mathbb{ E} (y\ | \ x,z)p(z)\ dz = \frac{ \partial}{ \partial x} \mathbb{ E}(y\ | \ x,z) \) .

Informaatio ja riippuvuuden voimakkuus / Information and degree of dependence

Määr Keskinäisinformaatio/Mutual information
On teoreettisesti erinomainen mitta riippuvuuden voimakkuudelle (excellent measure of degree of dependence )
▻▻ \( I_{MI}(X,Y) = \displaystyle\int_{} \displaystyle\int_{} \log \bigg( \frac{ p(x,y)}{ p(x)p(y)} p(x,y)\bigg) \ dxdy \) .
▻▻ ▻▻ Jos \( X,Y\) ovat riippuvia, saa positiivisia arvoja
▻▻ ▻▻ \( X ⫫ Y\) joss ⇔ \( I_{MI}(X,Y)=0\) .
Määr Shannon entropi/entrop (Wikipedia)
kuvaa yhden symbolin välittämiseen tarvittavien bittien tai nattien määrän odotusarvo. / expection of bits or nats required to transmit a symbol.
▻▻ (diskreetin) \( H(X) = \mathbb{ E}(-\log p(X)) \);
▻▻ ▻▻ \( \log_2\) on bitti, ja \( \log_e = \ln\) on natti.
▻▻ (jatkuva): \( \mathbb{ R} \) :ssa. normaalijakaumalla | \( \mathbb{ R}^+ \):ssa eksponentiaalinen jakaumalla | äärellisellä välillä, tasajakaumalla on maksimaalinen entropia / maximal entropi.
Määr Kullback-Leibler divergenssi (Wikipedia)
Suhteellinen entropia on epäsymmetrinen esimitta \( f_X \to f_Y\) / Asymmetric pre-measure of difference between two distributions.
▻▻ \( K(f_X || f_Y) = \mathbb{ E}_X \log \frac{ f_X(x)}{ f_Y(x)} \) ;
▻▻ ▻▻ mittaa informaation menetystä/loss, kun jakaumaa \( f_Y\) käytetään approksimoimaan \( f_X\) .
Määr Moniulotteisen satunnaismuuttujan keskinäisinformaatio:
▻▻ \( I_{MI}(\mathbf{ X} ) = K(f_\mathbf{ X} || f_{\tilde{\mathbf{ X}}} ) = \mathbb{ E}_\mathbf{ X} \log \frac{ f_\mathbf{ X}(\mathbf{ x} ) }{ f_{X_1}(x_1)f_{X_2}(x_2)\cdots f_{X_p}(x_p)} \) .
Lause Keskinäsinformaation ja entropian yhtälö:
▻▻ \( \begin{align} I_{MI}(X,Y) = I_{MI}(Y,X) &= H(X) + H(Y)-H(X,Y) \\ & = H(X) – H(X | Y) = H (X) – H (Y| X) \end{align}\)

Mallintaminen

Sopimus: Käytettävissä on yksinkertainen satunaisotos kiinnostuksen kohteena olevasta populaatiosta. / simple random sampling assumed

Kausaalimallista tilastolliseen malliin / From causality model to statistical model

Esim Sestimaattori (Takaovikriteerin / back-door criterion)
▻▻ Takaovikriteerin: \( p(y\ | \ \text{do}( x) ) = \displaystyle\int_{} p(y \ | \ x,z)p(z)\ dz \), niin usein estimaattori voidaan esittää muodossa:
▻▻ \( \hat p (y\ | \ \text{do}( x) ) = \frac{ 1}{ n} \sum \hat p (y \ | \ x,z_i)p(z) \) , missä:
▻▻ ▻▻ \( n=\) otoskoko (sample size); \( \hat p\) viittaa jakauman estimaattiin.
Määr Parametrinen tilastollinen malli määrittää satunnaismuuttujan jakauman parametrinen funktiona.
▻▻ esim, lineaarinen malli \( Y=\beta x + \epsilon,\ \ \epsilon \sim N (0, \sigma^2)\) määritellään \( Y\):n ehdollisen jakauman ehdolla kovariaatti \( x\) (ja ehdolla parametrit \( \beta, \sigma\) Bayes-tilastotieteessä)
Havainnot ovat riippumattomat: \( f(x_1,x_2,\dots,x_n;\theta) = \prod \limits_{ i=1}^{ \infty}f(x_i;\underbrace{\theta}_{\text{parametrivektori} }) = \prod \limits_{ i=1}^{ \infty}f(x_i;\underbrace{S_i}_{ = \{x_1,\dots,x_{i-1}\} };\theta) \)

Aineiston tarkastelu ja tunnusluvut / Data examination and key stats

Määr Perustuvia tunnuslukuja:
▻▻ \( \begin{cases} \text{ mean:}& \mu_1 = \mathbb{ E}X \\ \text{ variance:}& \mu_2 = \mathbb{ E} (X-\mu_1)^2 \\ \text{ skewness:}&\gamma_1 =\mathbb{ E} \bigg( \frac{ (X-\mu_1)}{ \sqrt{\mu_2}} \bigg)^3 = \frac{ \mathbb{ E}(X-\mu_1)^3 }{ \big( \mathbb{ E}(X-\mu_1)^2 \big)^{3/2} }\\\text{ kurtosis:}& \gamma_2 = \frac{ \mathbb{ E} (X-\mu_1)^4 }{ \big( \mathbb{ E}(X-\mu_1)^2 \big)^2 }-3 \end{cases} \) .
Määr L-momentteihin perustuvia tunnuslukuja ( Wikipedia ):
▻▻ Huom: \( X_{q:n}\) tarkoittaa havaintoa \( q\) järjestetyssä \( n\) havainnon konseptuaalisessa otoksessa/q-th smaller in sample size of n.
▻▻ \( \begin{cases} \text{ L-sijainti:}& \lambda_1 = \mathbb{ E}X \\ \text{ L-hajonta:}& \lambda_2 = \frac{ \mathbb{ E}(X_{2:2}-X_{1:2} ) }{ 2} \\ \text{ L-vinous:}& \tau_3 = \frac{ \lambda_3}{ \lambda_2} = \frac{ \mathbb{ E} (X_{3:3}-2X_{2:3}+X_{1:3}) /3 }{ \lambda_2} \\ \text{ L-huipukkuus:}& \tau_3 = \frac{ \lambda_4}{ \lambda_2} = \frac{ \mathbb{ E} (X_{4:4}-3X_{3:4}+3X_{2:4}-X_{1:4}) /4 }{ \lambda_2} \end{cases} \) .
Määr Histogrammi
Histogrammi \( \tilde f(x) = = \frac{ 1}{ n} \frac{ \text{ havaintojen määrä luokassa, johon } x \text{ kuluu} }{ \text{ luokkavälin pituus} } \), eli.
▻▻ \( \tilde f(x) =\frac{ 1}{ nh} \sum \limits_{ i=1}^{ n} K(\frac{ x-x_i}{ h} ) \) , missä
▻▻ ▻▻ luokkavälin pituus on \( 2h\), ja \( K(x) = \begin{cases} 1/2 &\text{ jos } |x| \lt 1\\0 & \text{ muutoin} \end{cases} \) .
▻▻ ▻▻ Voi yleistää tiheysfunktion ydinestimaattori/non-parametric estimator, ( integral kenerl – Wikipedia )
▻▻ esim: Epanechinikovin ydinestimaattori: \( K(x) = \begin{cases} \frac{ 3}{ 4}(1-x^2) &\text{ jos } |x| \lt 1\\0 & \text{ muutoin} \end{cases} \) .
Esim Ydinestimointi R:ssä
Paketti (ja funktio)
KernSmooth (bode); MASS (kde2d); aplpack

(Yksiulotteisten jakaumien mallintaminen)

Muuttujien muunnokset ja perusjakaumien yleistyksia / Variable transformation

Muutujien muunnoksilla pyritään siihen, että muunnettu muuttuja olisi helpommin käsiteltävissä kuin alkuperäinen muuttuja. / in order to ensure that the modified vairalbes is easier-easist to treat.

Esim (Logaritminuunnos – Box-Cox-muunnos )
▻▻ \( y^* = \frac{ y^\alpha -1}{ \alpha},\ \ \alpha \gt 0 \).
▻▻ ▻▻ se on logariminuunnos kun \( \alpha = 0\) .
Määr ( Vino-normaalijakauma )
▻▻ Vino-Normaalijakauman tiheysfunktio: \( f(x) = 2 \phi \big( \frac{ x-\xi}{ \omega} \big)\Phi\big( \alpha\frac{ x-\xi}{ \omega} \big) \),
▻▻ ▻▻ \( \xi\) sijaintiparametri, \( \omega\) skaalaparametri, \( \alpha\) muotoparametri/shape, \( \phi,\Phi\) ovat \( N(0,1)\) tiheysfunktio ja kertymäfunktio/cdf.
▻▻ ▻▻ \( \alpha = 0\) vastaa normaalijakaumaa.
Esim Vino-normaalijakuama R:ssa
Paketti sn, funktiot dsn dstja suurimman uskottavuuden estimointi selm.
Määr ( Pearsonin systeemi Wikipedia )
▻▻ \( -\phi(x) = \frac{ f'(x)}{ f(x)} = \frac{ a_1x-a_0}{ b_0+b_1x+b_2x^2} \) .
▻▻ ▻▻ esim: \( a_0=\mu,a_1=1,b_0=-\sigma^2,b_1=b_2=0:\ \ \phi(x)= \frac{ x-\mu}{ \sigma^2} \) on \( N(\mu, \sigma^2)\).
Huom Myös gamaajakauma, betajakauma ja t-jakauma kuuluvat Personin jakaumaperheeseen.
Määr (Parametriton testaus/ non-parametric tests)
▻▻ Kolmogorov-Smirnov-kriteeria( Wikipedia ): \( \sup_x |F_n(x) – \tilde F(x)|\) ;
▻▻ Cramér-von Mises-kritteria( Wikipedia ): \( \displaystyle\int_{ -\infty}^\infty \big( F_n(x) – \hat F(x) \big)^2 \ d \hat F(x) \) .
Esim Komogorvo-Sirnov R:ssä ks.test

Momenttimenetelmä / Methods of moments

Määr Momenttimenetelmä
1st=keskiarvo, 2nd=otosvarianssi, 3rd=vinous, 4th=huipukkuus.
▻▻ Korkeammilla momenteilla on suuri otosvaihtelu, momenttimenetelmä voi olla epäluotettava. (eritysesti, pienten otosten tapauksessa) / Higher moments has large variations, and maybe not creditable in small smaple.
Määr L-momenttimenetelmä
L-momenttien ostovaihtelu on pienempää ja on määritelty aina kun odotusarvokin on määritelty.
▻▻ esim. Pearsonin jakaumaperhe voidaan estimoida L-momenttimenetelmällä.

Sekoitusjakaumat / Mixed distribution

Määr (sekoitusjakauma)
▻▻ Tiheysfunktioiden lineaarikombinaatio: \( f(x) = \sum \limits_{ i=1}^{ k} w_if_i(x)\), missä
▻▻ ▻▻ \( f_i(x)\) tiheysfunktioita ja \( \sum w =1\) ;
▻▻ Sekoitusjakauma vastaa: \( X|z \sim N(\mu_z, \sigma_z)\), missä
▻▻ ▻▻ \( z\in Z\) diskreetti muuttuja kuvaa havainnon luokkaa/klusteria.
Huom Sekoitusjakauma on eri asia kuin \( X= \sum \limits_{ i=1}^{ k}w_iX_i \) (satunaismuuttujien lineaarikombinaatio).
Esim R:n funkitot Mclust, mclust

Kvantiilisekoitukset / Quantile mixture

Määr (Kvantilisekoitukset jakuama)
▻▻ \( Q(u)= \sum \limits_{ i=1}^{ k} a_iQ_i(u),\ \ u\in [ 0,1 ] \) ja
▻▻ ▻▻ \( Q(u)\) on kvantiilifunktio (quantile funkition – Wikipedia )
Lause Kvantiilisekoituksen L-momnteille pätee \( \lambda_r = \sum \limits_{ i=1}^{ m} a_i\lambda_r(Q_i)\).
Esim (Polynominen kvantiilisekoitus)
▻▻ \( Q_{NP3(u)}=bQ_N(u)+a_2 u^2 + a_1u + a_0\), missä \( Q_n\) on \( N(0,1)\) kvantiilifunktio;
▻▻ (Cauchy-polynomien kvantiilisekoitus) \( Q_{CP3}(u)= b \tan \pi(u-\frac{ 1}{ 2} ) +a_2 u^2 + a_1u + a_0\)

(Moniulotteisten jakaumien mallintaminen)

Elliptiset jakaumat / Elliptical distributions

Määr Moniulotteisen normaalijakauman yhteistiheys funktio:
▻▻ \( f(\mathbf{ x} ) = (2\pi)^{-\frac{ p}{ 2} } det(\boldsymbol\Sigma)^{-\frac{ 1}{ 2} }\exp \big( -\frac{ 1}{ 2} (\mathbf{ x-\mu})^T \boldsymbol{ \Sigma} ^{-1} (\mathbf{ x-\mu} ) \big) \), missä:
▻▻ ▻▻ \( \boldsymbol{ \mu}\) on p-ulotteinen odotusarvovektori ja \( \boldsymbol{ \Sigma} \) kovarianssimatriisi.
Esim moniulotteine jakauma R:ssa
t-jakauma: paketti mnormt ja funktio dmt;
vino-normallijakauma: paketti sn ja funktio dmst
Määr Elliptisen jakauman tiheysfunktio / Elliptical distribution ( Wikipedia )
▻▻ \( \mathbf{ X} \sim EC_p (\boldsymbol{ \mu}, \boldsymbol{ \Sigma},g ) \) :
▻▻ \( f(\mathbf{ x} ) = k_p det(\boldsymbol{ \Sigma} )^{-\frac{ 1}{ 2} }g \big( -\frac{ 1}{ 2} (\mathbf{ x-\mu})^T \boldsymbol{ \Sigma} ^{-1} (\mathbf{ x-\mu} ) \big) \), missä:
▻▻ ▻▻ \( g\) on yksiultoteinen reaaliarvoja saava funktio (⫫ p); \( k_p\) on p-riippuva skaalaparametri.
Esim R:n paketti distrEllipse
Määr Moniulotteiset sekoitusjakaumat:
▻▻ \( f(\mathbf{ x} ) = \sum \limits_{ i=1}^{ k} \omega_i f_i (\mathbf{ X} )\) .

Riippumattomien komponenttien malli ja kopula / Independent component and copula

Määr Riippumattomien komponenttien malli:
▻▻ \( \mathbf{ X} = A \mathbf{ S} \), missä
▻▻ ▻▻ \( \mathbf{ X} = (X_1,X_2,\dots,X_p)^T \) vektori havaittuja satunnaismuuttujia; \( A\) on \( p\times p\) sekoitusmatriisi.; \( \mathbf{ S}=(S_1,S_2,\dots,S_p)^T \) vektori.
Määr Jakauma määritellä kopulan avulla. (Copula – Wikipedia )
▻▻ Kopula \( C = (U_1,U_2,\dots,U_p)\), missä \( U_k \sim (0,1)\)-tasajakauma;
▻▻ \( F(X_1,X_2,\dots,X_p) = C \big( F_1(X_1),F_2(X_2),\dots,F_p(X_p) \big) \) Esim ReplicaX – R code for data replica generation ( and Presentaion(PDF) )

Mallinuksen Periaatteita

Uskottavuusfunktio, pistemmääräfunktio ja Fisher-informaatio / Likelyhood, score function and Fisher infomation

Esim.
1. Malli A on estimoitu suurimman uskottavuuden mentelmällä. Mallissa B malliin A lisätään uusi selittäjiä, jolle estimoidaan regressiokerroin suurimman uskottavuuden menetelmällä. Tällöin uskottavuusfunktion arvo voi kasvaa mutta ei vähentyä.
2. Jos havainnot ovat toisistaan riippumattomia, uskottavuusfunktion logaritmi voidaan summalausekkeen, jossa kuikin summan termi kuvaa yhden havainnon log-uskottavuuta.
3. Josa mallissa on p parametria, mallin Fisher-informaatio on p-ulotteinen vektori.
4. Fisher-informatio on datan ja mallin parametiren funktio.
5. Erään selittäjän regressiokerroin yleistetyssä lineaarisessa mallissa estimoidaan suurimman uskottavuuden menetelmällä. Estimaatti noudattaa asymptoottisesti normaalijakaumaa.
6. Aineistoon sovitetaan mallit A ja B. Jos uskottavuusfunktio arvo on suurempi mallille A kuin B, niin A on yleensä parempi kuin valinta kuin malli B.
7. Malli sopii erinomaisesti vuosien 1950-2015 aineistoon. Jos ilmiö pysyy muuttumattomana, mallia voi käyttää ennustamiseen vuonna 2016.

Ratkaisut: T T E E T E E
Olkoon havaintojen \( \mathbf{ x} = (\mathbf{ x_1,x_2,\dots, x_n} ) \), ja mallin parametreistä \( \boldsymbol{ \theta} =(\theta_1, \theta_2,\dots,\theta_p) \):
Määr Uskottavuusfunktio / Likelyhood-function
▻▻ \( L(\boldsymbol{ \theta}; \mathbf{ x_1,x_2,\dots, x_n} ) = f( \mathbf{ x_1,x_2,\dots, x_n};\boldsymbol{ \theta} )\);
▻▻ ▻▻ \( l(\boldsymbol{ \theta} )=\log L (\boldsymbol{ \theta} )\) .
▻▻ Suurimman uskottavuuden estimaatti: \( \boldsymbol{ \hat\theta}= \text{ argmax}_\boldsymbol{ \theta} L(\boldsymbol{ \theta}; \mathbf{ x_1,x_2,\dots, x_n} ) \) .
Määr Pistemääräfunktio / Scroce function
▻▻ \( \varphi(\boldsymbol{ \theta}, \mathbf{ x} )= \begin{bmatrix} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_1} \\\frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_2}\\ \dots \\\frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_p} \end{bmatrix} \).
Määr Havaittu infomaatio / Obeseved inforamtion
▻▻ \( J(\boldsymbol{ \theta^*}, \mathbf{ x} ) = \sum \limits_{ i=1}^{ n} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \boldsymbol{ \theta} } \bigg( \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \boldsymbol{ \theta} } \bigg)^T \bigg|_{ \boldsymbol{ \theta} = \boldsymbol{ \theta^*} } = \begin{bmatrix} \sum \limits_{ i=1}^{ n} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_1} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_1} &\cdots & \sum \limits_{ i=1}^{ n} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_1} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_p} \\ \vdots & \ddots &\vdots \\ \sum \limits_{ i=1}^{ n} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_p} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_1} &\cdots & \sum \limits_{ i=1}^{ n} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_p} \frac{ \partial l(\boldsymbol{ \theta}, \mathbf{ x})}{ \partial \theta_p} \end{bmatrix} \) .
Määr Fisher-Informaatio
▻▻ \( \mathcal{ I}(\boldsymbol{ \theta} ) = \mathbb{ E}_{\mathbf{ x} } \big( J(\boldsymbol{ \theta^*}, \mathbf{ x} ) \big) \) .
▻▻ ▻▻ \( \overset{\text{Jos ⫫ } }{= } \sum \limits_{ i=1}^{ n} \mathbb{ E}_{X_i} \big( J(\boldsymbol{ \theta^*}, X_i ) \big) \overset{\text{Jos iid} }{= } \mathbb{ E}_{X_1} J(\boldsymbol{ \theta^*}, X_1 ) \).
Huom Havaittu informaatio on parametrien ja havaintojen funktio. / Observed information is dependent on parameters and particular observations. (But Fisher Information does NOT depend on particular observations)
Esim Normaalijakauman odotettu ja havaittu informaatio
\( f(y_i; \mu, \sigma^2)= \frac{ 1}{ \sigma \sqrt{2\pi}} e^{-\frac{ (y_i-\mu)^2}{ 2\sigma^2} } \);
eli, \( \log f(y_i; \mu, \sigma^2) = \log(\sigma \sqrt{2\pi}) \frac{ (y_i-\mu)^2}{ 2\sigma^2}\);
niin, \( \frac{ \partial \log f}{ \partial \mu} = \frac{ y_i – \mu}{ \sigma^2} ;\ \frac{ \partial \log f}{ \partial \sigma^2} = -\frac{ 1}{ 2\sigma^2} + \frac{ (y_i-\mu)^2}{ 2(\sigma ^2)^2} \\ \frac{ \partial^2 \log f}{ \partial \mu^2} =-\frac{ 1}{ \sigma^2} ; \ \frac{ \partial^2 \log f}{ \partial (\sigma^2)^2} = \frac{ 1}{ 2\sigma^4} – \frac{ (y_i-\mu)^2}{ (\sigma^2)^3} \\ \frac{ \partial \log f}{ \partial \sigma^2 \partial \mu} = – \frac{ (y_i-\mu)^2}{ (\sigma^2)^2} \);
ja odotusarvo: \( \mathbb{ E}(\frac{ \partial^2 \log f}{ \partial \mu^2})= -\frac{ 1}{ \sigma^2};\ \mathbb{ E}(\frac{ \partial^2 \log f}{ \partial (\sigma^2)^2}) = -\frac{ 1}{ 2\sigma^4};\ \frac{ \partial^2l \log f}{ \partial \sigma^2 \partial \mu}=0 \) .
Matriisin \( \begin{bmatrix} \frac{ \partial^2 \log f}{ \partial \mu^2} & \frac{ \partial^2l \log f}{ \partial \sigma^2 \partial \mu}\\ \frac{ \partial \log f}{ \partial \mu \partial \sigma^2} & \frac{ \partial^2 \log f}{ \partial (\sigma^2)^2} \end{bmatrix} \),
▻▻ Fisher-informaatio \( I(\mu,\sigma^2) = \begin{bmatrix} \frac{ \mu}{ \sigma^2} & 0 \\ 0 & \frac{ \mu}{ 2\sigma^4} \end{bmatrix} \).
▻▻ Havaittu-informaatio \( J(\mu, \sigma^2, y_i-y_u) = \begin{bmatrix} \sum \limits_{ i=1}^{ m} \frac{ (y_i-\mu)^2}{ \sigma^2} & \sum \limits_{ i=1}^{ m} \frac{ (y_i-\mu)}{ \sigma^2} \big( -\frac{ 1}{ 2\sigma^2} + \frac{ (y_i-\mu)^2}{ 2\sigma^4} \big) \\ \sum \limits_{ i=1}^{ m} \frac{ (y_i-\mu)}{ \sigma^2} \big( -\frac{ 1}{ 2\sigma^2} + \frac{ (y_i-\mu)^2}{ 2\sigma^4}\big ) & \sum \limits_{ i=1}^{ m} \big( -\frac{ 1}{ 2\sigma^2} + \frac{ (y_i-\mu)^2}{ 2\sigma^4} \big)^2\end{bmatrix} \).

Estimaattien jakauma / Distribution of estimators

Esim Estimation jakauma
▻▻ Analyyttinen jakauma / Analytical
▻▻ Asymptoottinen jakauma / Asymptotic ( Wikipedia )
▻▻ Deltamenetelmä ( Wikipedia )
▻▻ Bootstrap ja simulointi ( Wikipedia )
Esim (Analyyttinen) Okloon \( X \sim *(\mu, \sigma^2)\). Jos otos sisältää \( n\) riippumatonta havaintoa satunaismuuttujasta:
▻▻ Otoskeskiarvo: \( \begin{cases} \mathbb{ E}(\overline{ x} ) = \mu \\ var(\overline{ x} )= \sigma^2/n \end{cases} \) ;
▻▻ Otosvarianssi: \( \begin{cases} \mathbb{ E}(s^2)= \sigma^2\\ var(s^2) = \sigma^4 \big( \frac{ 2}{ n-1} + \frac{ \gamma_2}{ n} \big)=\frac{ 1}{ n} \big( \mu_4-\frac{ n-3}{ n-1}\sigma^4 \big) \end{cases} \) .
Lause (Asymptoottinen)
▻▻ \( X \sim N(\mu,\sigma^2) \ ⇒\ \ t= \frac{ \overline{ x}-\mu }{ s\sqrt{n}} \sim t_{n-1} \) (t-jakauma, vapausastein \( n-1\) );
▻▻ Jos keskeinen raja-arvolause/central limit theorem pätee, ⇒ \( \sqrt{n} ( \boldsymbol{ \hat\theta_n – \theta} ) \overset{D}{\to } N_p \big( 0,I_1(\boldsymbol{ \theta}^{-1} ) \big) \) .
Huom \( \overset{D}{\to } \) means “converge in distribution”.
Lause (Deltamenetelmä) Oletetaan \( \sqrt{n}(\boldsymbol{ \hat\theta}_n – \boldsymbol{ \theta} ) \overset{D}{\to}N_p(\boldsymbol{ 0,\Sigma} )\):
▻▻ \( \sqrt{n}\big(g(\boldsymbol{ \hat\theta}_n) – g(\boldsymbol{ \theta} ) \big) \overset{D}{\to}N_p(\boldsymbol{ 0}, G \big(\boldsymbol{ \theta} )^T\boldsymbol{\Sigma}G(\boldsymbol{ \theta} ) \big)\),
▻▻ ▻▻ missä, \( G(\boldsymbol{ \hat\theta}_n ) = \partial g/ \partial \boldsymbol{ \theta} \) .
Lause (Bootstrap) Parametrittomassa bootstrapissa \( n\) havainnon aineistoissa otetaan \( k\) kappaletta \( n\) havainnon otoksia palauttaen. Sitten, estimoidaan parametri, ja lopuksi saadaan parametrin empiirisen bootstrap-jakauman. / “Take” several subsample and estimates the parameters, which construct the bootstrap-distribution

Mallin valinta ja mallien keskiarvoistaminen / Model selection

Two experiment groups, 20 subjects in each. t-test result: t=2.7, df=38, p=0.01
1. You have absolutely disproved the null hypothesis.
2. You have found the probability of the null hypothesis being true.
3. You have absolutely proved your experimental hypothesis.
4. You can deduce the probability of the experimental hypothesis being true.
5. You know, if you decide to reject the null hypothesis, the probability that you are making the wrong decision.
6. Hypothetically, experiment repeated a great number of times, you would obtain a significant result on 99% of occasions.
7. Hypothetically, experiment repeated a great number of times, you would obtain a significant result on 1% of occasions.
Solution: All false.
Huom \( p= \mathbb{ P}(t\geq 2.7 \ | \ H_0 \text{ tosi} ) \).
Read more: Mindless Statistics (Gigerenzer, 2004)
Määr Akaike & Bayesian Information criterion
▻▻ \( AIC=-2l(\boldsymbol{ \beta}; \mathbf{ y} )+2p\);
▻▻ \( BIC=-2l(\boldsymbol{ \beta}; \mathbf{ y} )+p\log (n)\);
▻▻ Pienin arvo on paras.
Määr Minimum description length (MDL)
▻▻ Periaate informaation kompressointiin ja tilastolliseen mallintamiseen. (Based on information compression …).
▻▻ Paras malli on ellainen, joka tuottaa mahdollisimman lyhyen kuvauksen datalle ja maalille iteselleen. (produces shortest description)
▻▻ Normalisoitu suurin uskottavuus \( -\log f(\mathbf{ x} \ | \ \boldsymbol{ \hat\theta}_\mathbf{ x} ) + \log \displaystyle\int_{ } f (\mathbf{ y} \ | \ \boldsymbol{ \hat\theta}_\mathbf{ y} )\ d \mathbf{ y} \).
▻▻ ▻▻ Ensimmäinen termi kuvaa mallin sopivuutta käsillä olevaan dataan; Jälkimmäinen termi kuvaa mallin kompleksisuuta (sopivuutta muihin datoihin)
▻▻ ▻▻ approksimoida \( BIC\):llä.
Määr Harjanneregressio / ridge regression
▻▻ \( \hat\beta = \text{ argmin}_\beta \bigg( \sum \limits_{ i=1}^{ n} (y_i – \sum \limits_{ j=1}^{ p} x_{ij} \beta_j )^2 + \lambda \sum \limits_{ j=1}^{ p} \beta_j^2 \bigg) \);
▻▻ LASSO-regressio : \( \hat\beta = \text{ argmin}_\beta \bigg( \sum \limits_{ i=1}^{ n} (y_i – \sum \limits_{ j=1}^{ p} x_{ij} \beta_j )^2 + \lambda \sum \limits_{ j=1}^{ p} |\beta_j| \bigg) \);
▻▻ ▻▻ LASSO= least absolute shrinkage and selection operator.
Esim R-paketeissa glint, funktio lars

Mallin yleistyvyys / Model penetration depth

Määr Mallin yleistyvyys
▻▻ tarkoitetaan mallin ennustuskykyä uudessa otoksessa.
▻▻ yleistysvirhe ( test/generalization error) and opetusvirhe (training erros)
Määr Opetusvirheen tappiofunktio / training error loss function
▻▻ \( T(\mathbf{ y}, \mathbf{ \hat y} (\mathbf{ x} ) ) = \frac{ 1}{ n} \sum \limits_{ i=1}^{ n} \big( y_i – \hat y_i (x_i) \big)^2 \);
▻▻ Mallin yleistysvirhe: \( \mathbb{ E} \ T \big(Y, \hat y(X)\ | \ (\mathbf{ y,x} ) \big) \).
Lause (Jos dataa on paljon) Yleistyvyydeltään paras malli:
(1) Ensin kaikki mallit estimoidaan käyttäen opetusdataa;
(2) Seuraavaksi valitaan paras malli, joka minimoi yleistyvirheen validointidatassa;
(3) Lopuksi estimoidaan parhaan mallin yleistysvirhe testidatan käyttäen.
▻▻ Jos dataa on vähän, käytetän ristiinvalidointia/cross-validation (Wikipedia ).

Kehittyneitä Malleja

Yleistetyt additiiviset mallit / Generalized additive models

Määr Yleistetty additiivinen malli
jossa lineaarinen ennustaja on summa epälineaarisesti muunnetuista/transformed selittäjistä:
▻▻ \( g(\mathbb{ E}(Y) ) = \beta_0 + s_1(x_1)+s_2(x_2)+\dots+ s_p(x_p)\) .
▻▻ ▻▻ \( Y\) jakauma kuuluu eksponentiaaliseen perheeseen;
▻▻ ▻▻ tasoitusfunktiot/smoothing function \( s_1,\dots,s_n\) määrittävät selittäjäkohtaiset muunnokset;
▻▻ tasoitusfunktion esim. \( \begin{cases} \text{Locally-weighted running-line smoother/LOESS:} &s(x) = \hat \alpha(x) + \hat\beta(x)x \\ \text{Yhdintasoitus / kernel smoothing:} &s(x)=\frac{ \sum \limits_{ i=1}^{ n} K \big( \frac{ x-x_i}{ h} \big)y_i }{ \sum \limits_{ i=1}^{ n} K \big( \frac{ x-x_i}{ h} \big)} \\ \text{Regressiosplinet / regression splines: } &\text{ käyttävät paloittain/piecewise määriteltyjä polynomeja} \\ \text{ Kolmannen asteen tasoitussplinet/cubic ~:} &\sum \limits_{ i=1}^{ n} (y_i-s(x_i)) + h \displaystyle\int_{ a}^b (f”(t))^2\ dt \end{cases} \) .
Esim R_ssä paketissa gam, gcv, funktio gam.

Neuroverkot ja koneoppiminen tilastollisina malleina / Neural networks and machine learning as statistical model

Määr Neuroverkot / (artificial) neural networks ovat epälineaarisia tilastollisia malleja.
▻▻ Enteenpäin syöttävät neuroverkot/feedforward neural networks muistuttavat yleistettyjä lineaarisia ja additiviisia malleja;
▻▻ Koneoppiminen/machine learning kutsutaan usein syötteeksi ja parametreja painoiksi / input and parameter weighing;
▻▻ Verkkokoostuu syötekerroksesta, yhdestä tai piilokerroksesta/hidde layer;
▻▻ Pillokerros/ hidden layer : (lineaarikombinaatio) \( v_{ik}=h \bigg( \sum \limits_{ j=1}^{ p} \beta_{ij}^{(1)}x_{ij} \bigg), \ \ \ k=1,2,\dots,q \);
▻▻ ▻▻ \( x_i\) syöte, \( \beta_{kj}\) opittava parametri, \( h\) on tunnettu aktivaatiofunktio.
Määr Syväoppiminen, tuktivektorikone,
▻▻ Syväoppiminen/deep learning: pillokerroksia on useita ja niihin liityviä solmuja on paljon.
▻▻ ▻▻ käytetty puheen- ja kuvantunnistuksessa / voice and image recognition.
▻▻ Tuktivektorikone/support vector learning: voi käyttää epälineaariseen luokitteluun.
▻▻ Bagging/bootstrap aggregation.
Esim R-paketti caret sisältää epälineaarisiä malleja ja apufunktioita, funktio train, jolla voi ristiinvalidointia.

Massadata ja sen merkitys tilastotiedelle/ Big Data and its statistical significance

Määr neljä V:n luonnehdintaa / four V characteristics:
▻▻ Volume: datan koko on iso;
▻▻ Variety: datan on monimuotoista: tekstiä, kuvaa, ääntä, jne…
▻▻ Velocity: dataa syntyy nopeasti ja sitä pitää pystyä käsittelemään lähes reaaliaikaisesti / handle in real time.
▻▻ Veracity: datan laatu voi vaihdella: dataa voi puuttua ja se voi virheellistä.
Lause Tilastolliseen mallinnukseen voi usein käyttää otosta, mutta satunnaisotannan toteuttaminenkin saattaa olla teknisesti vaikeaa. / random sampling can be technically difficult.

You must be logged in to post a comment.