2 Todennäköisyyden perusteita

Matemaattisen todennäköisyysteorian mukaan todennäköisyys kertoo ns. *standardoidun mitan* tapahtuman sattumiselle. Todennäköisyyslaskennassa tämä standardointi on tehty lukuun yksi, eli kaikkien mahdollisten tapahtumien todennäköisyys on kokonaisuudessaan yksi. Todennäköisyysmitalle on lisäksi olemassa tarkempia matemaattisia lisäehtoja, mutta niitä ei käsitellä tällä kurssilla. Tällä kurssilla ei myöskään mennä syvemmin todennäköisyysteoriaan ja ainoat tarvittavat teoreettisemmat matemaattiset ehdot käsitellään myöhemmin diskreettien ja jatkuvien satunnaismuuttujien kohdalla erikseen.

Vaikka todennäköisyyttä ilmaistaankin usein esimerkiksi lukiossa myös prosenttimuodossa, niin tässä materiaalissa - kuten matemaattisemmassa kirjallisuudessa yleensäkin - todennäköisyydet ilmaistaan primääristi ei-prosenttimuodossa. Näin ollen esimerkiksi todennäköisyys, että saadaan tavallisella kolikonheitolla kruuna ilmaistaan luvulla 0.5 eikä muodossa 50%.

2.1 Todennäköisyyden merkinnät

Todennäköisyyden operaattorina käytetään kirjallisuudessa pääosin symbolia \(P\) (huomaa iso kirjain) tai \(\mathbb{P}\). Näiden lisäksi joskus käytetään pidempää merkintätapaa \(Pr\) tai \(Probability\). Edellisen laskentaoperaatiomerkinnän sisällä ilmaistaan satunnaistapahtuma, jolle todennäköisyyttä tai todennäköisyysmittaa määritetään.

Esimerkkejä merkinnöistä:

\(P(A)\)
\(\mathbb{P}(B)\)
\(Pr(C)\)
\(Probability(D)\)

Satunnaismuuttujia merkitään matemaattisemmassa kirjallisuudessa tyypillisesti isoilla kirjainsymboleilla (esimerkiksi \(X\)) erotuksena tavallisiin muuttujiin (esimerkiksi \(x\)). Matematiikassa pyritään usein kompaktiin merkintätapaan, jotta merkinnät ovat helpompia. Kun merkitään vaikkapa \(B\)=kolikonheiton tulos, niin esimerkiksi pitkä ilmaisu \(P\)(kolikonheiton tulos) voidaan merkitä nyt huomattavasti kompaktimmin muodossa \(P(B)\). Käytännön tilanteissa täytyy luonnollisesti olla hyvin tarkkana, että mitä satunnaismuuttujaa mikäkin kirjainsymboli tarkoittaa, erityisesti mikäli erilaisia tapahtumia, muuttujia ja symboleita on paljon.

Satunnaismuuttujan tietylle mahdolliselle arvolle eli realisaatiolle käytetään usein pientä kirjainsymbolia. Tällöin esimerkiksi merkintä \(P(X=x)\) tarkoittaa todennäköisyyttä, että satunnaismuuttuja \(X\) saa tietyn kiinteän (mutta lukuarvoltaan tuntemattoman) arvon \(x\). Vastaavasti merkintä \(P(x < X < y)\) tarkoittaa todennäköisyyttä, että satunnaismuuttuja \(X\) on pienempi kuin \(y\) mutta suurempi kuin \(x\). Joskus voidaan myös tarkastella samaan aikaan useampien satunnaismuuttujien todennäköisyyttä. Esimerkiksi merkinnällä \(P(X\leq Y)\) tarkastellaan todennäköisyyttä, että satunnaismuuttuja \(X\) on pienempi tai yhtä suuri kuin toinen satunnaismuuttuja \(Y\). Huomaa tässä siis ero edelliseen, jossa tarkasteltiin satunnaismuuttujan \(X\) suuruutta suhteessa kiinteisiin arvoihin \(x\) ja \(y\).

2.2 Diskreetti yksiulotteinen satunnaismuuttuja

Satunnaismuuttujan ollessa diskreetti mahdolliset satunnaismuuttujan arvot ovat konsentroituneet vain tiettyihin arvoihin ns. atomeihin, joita on “laskettavissa oleva määrä”. Matemaattisesti tämän määrän tulee olla äärellinen tai numeroituvasti ääretön. Käytännön esimerkkien kannalta em. “laskettava määrä” tarkoittaa, että mahdolliset satunnaismuuttujan arvot voidaan jollakin järkevällä tavalla luetella, joskin tämä yksinkertaistettu peukalosääntö on hieman epätarkka. Paremman näkökulman antaa se, diskreetillä satunnaismuuttujalla peräkkäisten mahdollisten lukuarvojen välissä ei ole mitään muita mahdollisia arvoja.

Klassinen tyyppiesimerkki diskreetistä muuttujasta on kolikonheitto, jossa satunnaismuuttujalla on vain kaksi mahdollista arvoa, jotka vastaavat alkeistapahtumia {kruuna} ja {klaava}. Toinen tyyppiesimerkki diskreetistä satunnaismuuttujasta on nopanheitto, jonka alkeistapahtumat ovat {1,2,3,4,5,6}. Kummassakaan näistä esimerkeissä ei peräkkäisten arvojen välissä ole muita mahdollisia arvoja.

2.2.1 Diskreetin satunnaismuuttujan todennäköisyydet

Diskreetin satunnaismuuttujan tapauksessa alkeistapahtumien todennäköisyydet saadaan pistetodennäköisyyksistä \(P(X=x_i)=p_i\), jossa \(p_i\) kertoo jokaisen yksittäisen satunnaismuuttujan mahdolliseen arvoon (eli realisaatioon) \(x_i\) liittyvän todennäköisyyden. Nämä pistetodennäköisyydet voidaan ilmaista esimerkiksi taulukkomuodossa tai ne voidaan joskus ilmoittaa myös funktiona pistetodennäköisyysfunktion (ptnf) muodossa, mikäli sellainen on mahdollista. Pistetodennäköisyysfunktion etuna on se, että se antaa kompaktin laskusäännön, josta kaikki tarvittavat yksittäiset pistetodennäköisyydet voidaan laskea. Pistetodennäköisyyksiä voidaan ilmaista tarpeen mukaan myös kuvallisesti esimerkiksi pylväsdiagrammilla tai muilla keinoin.

2.2.2 Muutamia tyypillisiä pistetodennäköisyysfunktioita

2.2.2.1 Binomijakauma

Kun satunnaismuuttuja \(X\) on binomijakautunut parametrein \(N\) ja \(p\), niin todennäköisyys, että saadaan \(k\) onnistumista \(N\):stä mahdollisesta onnistumistodennäköisyyden ollessa \(p\) saadaan pistetodennäköisyysfunktiosta (ptnf) \[P(X=k)= {N \choose k} p^k(1-p)^{(N-k)}, \text{ kun } 0 \leq k \leq N.\] Jakautumismerkintä tälle jakaumalle on \(X\sim Bin(N,p)\). Tämän jakauman käyttöä ja ominaisuuksia voi kerrata esimerkiksi täällä.

2.2.2.2 Hypergeometrinen jakauma

Kun satunnaismuuttuja \(X\) on hypergeometrisesti jakautunut parametrein \(N\), \(K\) ja \(n\), niin sen pistetodennäköisyysfunktio on \[P(X=k)=\frac{ {K \choose k} {{N-K}\choose {n-k}} } { {N \choose n} }.\] Hypergeometrinen jakauma kuvaa todennäköisyyttä saada täsmälleen \(k\) onnistumista otannalla ilman takaisinpanoa tilanteessa, jossa perusjoukon koko on \(N\) ja siinä on \(K\) kappaletta suotuisia tapahtumia. Jakautumismerkintä tälle jakaumalle on \(X\sim Hypergeom(N,K,n)\). Tämän jakauman käyttöä ja ominaisuuksia voi kerrata esimerkiksi täällä.

2.2.2.3 Bernoulli-jakauma

Bernoullijakauma kertoo yksittäisen tapahtuman onnistumistodennäköisyyden \[P(X=1)=p=1-P(X=0).\] Tämä jakauma on matemaattisesti hyvin triviaali, mutta kuitenkin pohjana esimerkiksi binomijakaumalle.

2.2.2.4 Muita yksiulotteisia diskreetin satunnaismuuttujan jakaumia

Diskreeteille satunnaismuuttujille on johdettu paljon erilaisia nimettyjä jakaumia. Osalla näistä on merkitys jonkin tietyn erityisen käytännön ilmiön kuvaamiseen, ja osa on enemmän matemaattisia jakaumia ilman merkittäviä käytännön sovelluksia, mutta joilla voi olla teoreettista merkitystä. Pitkähkö, joskaan ei täydellinen lista nimetyistä diskreeteistä jakaumista löytyy täältä. Näiden lisäksi on myös muita tilannekohtaisia tai muuten räätälöityjä diskreettejä jakaumia, joiden tulee kaikkien täyttää ao. vaatimukset diskreetin satunnaismuuttujan todennäköisyyksille. Näiden puitteissa on mahdollista määritellä myös uusia jakaumia.

2.2.3 Matemaattiset vaatimukset diskreetin satunnaismuuttujan jakaumalle

Todennäköisyyden matemaattiset vaatimukset diskreetille satunnaismuuttujalle:

\(0 \leq p_i \leq 1\)
\(\sum_i p_i=1\)

Nämä ovat diskreetin satunnaismuuttujan pakolliset ehdot. Itsenäisenä harjoitustehtävänä voit tarkistaa, että nämä ehdot on voimassa myös edellä mainituille binomijakaumalle ja hypergeometriselle jakaumalla. Näillä matemaattisilla ehdoilla voidaan myös tarkistaa yleisesti määrittelevätkö annetut tiedot diskreetin satunnaismuuttujan todennäköisyysjakauman.

Esimerkki 2.2.3.1

Tarkastellaan seuraavia diskreetin satunnaismuuttujan realisaatioita \(x_i\) vastaavia pistetodennäköisyyksiä \(p_i\) \[ f(x)=\left[ \begin{array}{c|cccc} x_{i} & 1 & 2 & 3 & 5\\ \hline \ p_{i} &\frac{1}{8} & \frac{2}{8} & \frac{2}{8} & \frac{3}{8} \end{array} \right]. \] Nyt selvästi yllälistatuista matemaattisista vaatimuksista ehto 1 on voimassa. Lisäksi \[ \sum_i p_{i} = \frac{1}{8} + \frac{2}{8} + \frac{2}{8} + \frac{3}{8} =\frac{8}{8}= 1 \] eli pistetodennäköisyydet eri tapauksille summautuvat yhteen arvoksi 1, joten myös ehto 2 on voimassa. Taulukoidut luvut muodostavat siis kokonaisuudessaan todennäköisyysjakauman.

2.3 Jatkuva yksiulotteinen satunnaismuuttuja

Kun satunnaismuuttuja on jatkuva, niin satunnaismuuttuja voi saada arvoja äärettömän tiheästi, toisin kuin diskreetin satunnaismuuttujan tapauksessa, jossa satunnaismuuttujan mahdolliset realisaatiot ovat konsentroituneet yksittäisiin pisteisiin. Jatkuvan satunnaismuuttujan tapauksessa kahden peräkkäisen mahdollisen satunnaismuuttujan välistä löytyy lähtökohtaisesti aina joku kolmas satunnaismuuttujan arvo, kunhan satunnaismuuttuja on määritelty tällä välillä. Nyt siis esimerkiksi mielikuvitusta venyttäen “jatkuva noppa” voisi tarkoittaa noppaa, jossa “silmäluku” voisi olla mikä tahansa luku reaaliluku välillä \([1,6]\).

2.3.1 Jatkuvan satunnaismuuttujan määrittelyväli

Jatkuvan satunnaismuuttujan tapauksessa on kuitenkin huomattava, että satunnaismuuttuja ei voi välttämättä saada rajattomasti mitä tahansa reaalilukuarvoja, vaan se voi saada mitä tahansa arvoja ainoastaan määrittelyväl(e)illään, joka voi olla joskus hyvinkin rajattu. Tyypillisiä määrittelyvälirajoituksia ovat esimerkiksi ei-negatiivisuusehto \(X\geq 0\) (esimerkiksi eksponentti-jakaumalla, johon tutustutaan myöhemmin tässä dokumentissa) tai välirajoitukset alhaalta ja ylhäältä \(a \leq X \leq b\) (esim. tasajakaumalla - myöhemmin tässä dokumentissa). Satunnaismuuttujia, joiden ajatellaan olevan jatkuvia ovat klassisesti ainakin tyypilliset fysikaaliset suureet mm. aika, pituus, massa, ... ja näiden johdannaiset. Näille fysikaalisille ilmiöille asetetaan usein määrittelyväliksi ainakin ei-negatiivisuusehto \(X \geq 0\), ja joissain käytännön tilanteissa mahdollisesti tiukempiakin ehtoja. Toki on myös mahdollista, että määrittelyväli on ääretön. Näin on esimerkiksi tavallisen normaalijakauman tapauksessa.

2.3.2 Jatkuvan satunnaismuuttujan todennäköisyydet

Jatkuvan satunnaismuuttujan tapauksessa todennäköisyys ei ole enää kerääntynyt tiettyihin konsentraatiopisteisiin kuten diskreetin satunnaismuuttujan tapauksessa, vaan kokonaistodennäköisyys allokoituu nyt äärettömän monelle satunnaismuuttujan arvolle. Koska näitä mahdollisia arvoja on äärettömän monta, niin yksittäisen pisteen todennäköisyys on äärettömän pieni, matemaattisesti ilmaistuna infinitesimaalinen. Jatkuvan satunnaismuuttujan tilanteessa voidaankin käytännössä sanoa, että yksittäisen arvon todennäköisyys on oleellisesti nolla - ainakin tämän kurssin puitteissa.

2.3.2.1 Tiheysfunktio

Jatkuvalle satunnaismuuttujalle \(X\) käytetään pistetodennäköisyysfunktion sijasta tiheysfunktion (tf) käsitettä. Tätä funktiota käyttäen voidaan tarkastella todennäköisyyksiä saada esimerkiksi satunnaismuuttujan arvo väliltä \([x_1,x_2]\) eli \(P(x_1\leq X \leq x_2)\). Sen sijaan jatkuvan satunnaismuuttujan tapauksessa ei ole mielekästä tarkastella todennäköisyyksiä \(P(X=x)\).

2.3.2.2 Kertymäfunktio

Jatkuvalle satunnaismuuttujalle todennäköisyys \(P(x_1\leq X \leq x_2)\) lasketaan kertymänä eli tiheysfunktion määrättynä integraalina (pinta-alana) \[P(x_1\leq X \leq x_2)=\int_{x_1}^{x_2}f(x)dx.\] Tiheysfunktion määrättyä integraalia, joka saadaan integraalina \[\int_{-\infty}^{x}f(z)dz\] kutsutaan kertymäfunktioksi. Kun tiheysfunktiolle käytetään merkintää \(f\), niin tätä vastaavalle kertymäfunktiolle käytetään usein merkintää \(F\). Näitä merkintöjä käyttäen edellä mainittu todennäköisyys voidaan ilmaista muodossa \(P(x_1\leq X \leq x_2)=F(x_2)-F(x_1)\), jossa \(F\) on siis tiheysfunktion \(f\) kertymäfunktio.

Kertymäfunktion laskeminen integroimalla tiheysfunktiota käyttäen kynää ja paperia on käytännössä suoraviivaista vain hyvin helpoissa tapauksissa. Edellä mainitun integraalin laskemisessa joudutaankin usein käyttämään erilaisia apuvälineitä esimerkiksi tietokoneohjelmia tai muita keinoja. Näitä määrätyn integroinnin tuloksia on myös joidenkin jakaumien osalta listattu erilaisiin tilastollisiin taulukoihin esimerkiksi standardinormaalijakauman taulukossa. Internetistä löytyy myös webpohjaisia "integraattoreita", joilla voi suorittaa monia erilaisia integrointeja ja siten myös tiheysfunktion integrointia. Alla muutamia suosittuja:

2.3.2.3 Käytännön huomautus todennäköisyyksien laskennasta jatkuvassa tapauksessa

Koska yksittäisen pisteen todennäköisyys on jatkuvan satunnaismuuttujan tapauksessa käytännössä nolla, niin tästä seuraa se, että \(P(x_1\leq X \leq x_2)=P(x_1\leq X < x_2)=P(x_1< X \leq x_2)=P(x_1 < X < x_2)\). Tämä tarkoittaa siis sitä, että jatkuvassa tapauksessa todennäköisyyksien lukuarvon laskennan kannalta on aivan sama tehdäänkö integrointi esimerkiksi täsmälleen pisteeseen \(x_2\) asti vai aivan viereen.

2.3.3 Yksiulotteisia jatkuvan satunnaismuuttujan jakaumia

2.3.3.1 Normaalijakauma

Kun satunnaismuuttuja \(X\) on normaalijakautunut parametrein \(\mu\) (odotusarvoparametri) ja \(\sigma ^2\) (varianssiparametri), niin sen tiheysfunktio on \[f(x;\mu,\sigma ^2)=\frac{1}{\sqrt{2 \pi}\sigma} exp \left( -\frac{ (x-\mu)^2}{2\sigma^2} \right), \text{ kun } -\infty < x < \infty. \] Tyypillisiä jakautumismerkintöjä tälle ovat \(X\sim N(\mu,\sigma^2)\) ja \(X\sim Norm(\mu,\sigma^2)\). Tämän jakauman käyttöä ja ominaisuuksia voi kerrata esimerkiksi täällä.

2.3.3.2 Tasajakauma

Välillä \([a,b]\) tasajakautuneen satunnaismuuttujan tiheysfunktio on \[f(x;a,b)=\frac{1}{b-a}, \text { kun } a\leq x \leq b\] ja nolla muutoin. Tyypillisiä jakautumismerkintöjä tälle ovat \(X\sim Tas(a,b)\) ja \(X\sim Unif(a,b)\). Tasajakaumaa käytetään usein kuvaamaan jatkuvaa satunnaismuuttujaa, jolla on määrittelyvälillään kaikkialla yhtä suuri uskottavuus tai kaikki satunnaismuuttujat ovat yhtä todennäköisiä. Tämän jakauman käyttöä ja ominaisuuksia voi lukea esimerkiksi täältä.

2.3.3.3 Muita yksiulotteisia jatkuvan satunnaismuuttujan jakaumia

Pitkähkö, joskaan ei täydellinen lista nimetyistä yksiulotteisista jatkuvista jakaumista löytyy täältä ja suppeampi lista muutamien jatkuvien jakaumien kuvaajista löytyy täältä. Näiden lisäksi on myös muita tilannekohtaisia tai muuten räätälöityjä jatkuvia jakaumia, joiden tulee kaikkien täyttää seuraavat matemaattiset vaatimukset, jotka vastaavat aiemmin listattuja matemaattisia vaatimuksia diskreetin satunnaismuuttujan pistetodennäköisyysfunktiolle.

2.3.4 Matemaattiset vaatimukset jatkuvan satunnaismuuttujan jakaumalle

Todennäköisyyden matemaattiset vaatimukset jatkuvalle satunnaismuuttujalle:

\(f(x)\geq 0\)
\(\int_{-\infty}^{\infty} f(x)dx=1\)

Näistä vaatimuksista kannattaa erityisesti huomata, että tiheysfunktion arvojen ei tarvitse olla välillä \([0, 1]\) vaan tiheysfunktio voi saada hyvinkin suuria arvoja - kokonaispinta-alan tulee vain on olla yksi.

Esimerkki 2.3.4.1

Millä vakiolla \(C\), jatkuva funktio \(f(x)\) \[ f(x)= \begin{cases} \frac{Cx}{12}, \qquad x \in [0,4] \\ 0, \qquad \qquad muuten \end{cases} \] on tiheysfunktio?

Ratkaisu
Funktio \(f(x)\) on selvästi ei-negatiivinen määrittelyalueessaan \(x \in [0,4]\), joten tiheysfunktion matemaattisten vaatimusten perusehto 1 on voimassa. Perusehdosta 2 saadaan integraali \(\int_{0}^{4} f(x)dx = \int_{0}^{4} \frac{Cx}{12}dx\). Koska funktion \(\frac{x}{12}\) integraalifunktio (ilman integrointivakiota) on \(\frac{x^2}{2\cdot 12}\) saadaan siis \(\int_{0}^{4} f(x)dx = C\frac{4^2}{24}- C \frac{0^2}{24}= C \frac{16}{24} = C \frac{2}{3}\) Toisaalta tiedetään, että tämän integraalin tulee olla yksi, joten yhtälöstä \(C\frac{2}{3}=1\) saadaan ratkaisu \(C = 3/2\).

2.3.4.1 Tiheysfunktion intuitiivinen tulkinta

Tiheysfunktiota voidaan tulkita myös intensiteettinä tai vauhtina, jolla todennäköisyyttä tai todennäköisyysmassaa kerääntyy tai poistuu mittayksikössä, esimerkiksi ajan suhteen. Konkreettisempana ajatusmallina voi käyttää vaikkapa yhden tilavuusyksikön vetoista vesisäiliötä, joka tyhjennetään jollakin aikaan sidotulla suunnitelmalla eli jonkin (tiheys)funktion mukaan: säiliö voidaan tyhjentää esimerkiksi tasavauhtisesti jollakin aikavälillä tai jonkun muun epätasaisen suunnitelman mukaan; siinä voi olla purskeita, kiihdytyksiä, hidastuksia tietyillä ajanjaksoilla - merkittävää on ainoastaan, että tyhjennysvauhti on aina ei-negatiivinen [em. ehto 1] ja kokonaisvolyymi on yksi [em. ehto 2]. Nyt vesivolyymin [todennäköisyys] muutos yhdessä (äärettömän kapeassa) aikapisteessä on käytännössä nolla kokonaisvolyymin ollessa kuitenkin yksi. Tässä mallissa on mahdollista, että hetkellisesti tyhjennysvauhti (tiheysfunktion arvo) on hyvinkin suuri. Lisäksi on mahdollista, että jossain aikapisteissä tyhjennysvauhti on teoreettisestikin nolla.