Kalkkuna tekemässä henkilöarviointia – osa 1

10.10.2023
Jaa

Tekoälyhypeä tulee nyt joka tuutista. Osa lupauksista on ihan oikeutettuja. Mutta pelkkien datamallien käyttäminen voi johtaa isoihin ongelmiin, jos tehdään kriittisiä päätöksiä. Se muistuttaa enemmän kalkkunan kuin reaalimaailman ennustamista.

Osa lukijoista saattaa muistaa Nassim Nicholas Talebin esimerkin kalkkunan päättelystä. Talebin kalkkunaa ruokitaan kolmen vuoden ajan, joiden aikana se lihoo ja on onnellinen. Se luo pikkuhiljaa päätelmän, että jatkossa lihominen vain jatkuu ja onni kasvaa.

Mutta viimeisen ruokintapäivän jälkeen, kiitospäivänä, kalkkuna päätyykin itse ruokapöytään. Mikä kalkkunan päättelyssä meni pieleen?

Laskettava riski vs. aito tietymättömyys

Kalkkuna teki periaatteessa kaiken oikein. Se hyödynsi tehokkaasti olemassa olevaa, 1000 päivän dataa, josta se muodosti positiivisen odotusarvon omalle onnellisuudelleen. Se ei kuitenkaan nähnyt kulman takaa tulevaa mustaa joutsenta, joka oli kiitospäivä.

Kalkkunan virhe oli kuvitella, että kaikki relevantti data on sen saatavilla. Se ajatteli, että tarpeeksi kattava tilastollinen malli kykenee ennustamaan tulevaisuutta. Niinhän se pystyikin, kunnes ei enää pystynyt.

Kalkkuna kuitenkin unohti yhden tärkeän asian: osa asioista voidaan laskea ja osaa ei. Joistakin tapahtumista meillä ei ole dataa, mutta se osa voi olla kaikkein tärkein. Eron ymmärtää, jos miettii eroja laskennallisen riskin ja aidon tietymättömyyden välillä (risk vs. uncertainty).

Laskennallinen riski on todennäköisyys, jota voidaan arvioida ainakin jollain tasolla hyvän datan avulla. Mitä enemmän dataa, sitä tarkempi ennuste saadaan. Tässä tekoälyalgoritmi on parhaimmillaan. Ja tähän myös kalkkuna turvautui.

Sen sijaan aidon tietymättömyyden – eli mustien joutsenten – maailmassa ei ole aina näin. Musta joutsen on tapahtuma, jota on lähes mahdoton ennustaa mutta joka tuottaa toteutuessaan ison vaikutuksen.

Mustan joutsenen vaikutus tapahtuu muualla kuin laskettavan, ennakoitavan ja mallinnettavan riskin maailmassa. Kalkkunan tapauksessa joutsen vei siltä hengen.

Musta joutsen ja ennustaminen

Ennustamisen hankaluus seuraa siitä, että musta joutsen on tekijä, josta emme edes tiedä, että emme tiedä. Siksi emme osaa ottaa sitä huomioon todennäköisyyslaskelmassamme. Sitä kuvaa hienosti suomen kielen sana ”tietymättömyys”.

Kyse ei siis ole pelkästä tietämättömyydestä vaan pikemminkin meille täydellisen sokeasta pisteestä. Ja koska se on sokea, emme näe omaa tietämättömyyttämme.

Toki kysymys voi olla siitäkin, että dataa ei yksinkertaisesti ole olemassa. Lopputulos on silti sama: pelkkään näkyvään dataan hirttäytyminen ennusteissa voi viedä hengen.

Tässä piilee myös yksi tekoälyn sudenkuoppa. Koska se on (ainakin toistaiseksi) riippuvainen sinne syötetystä datasta, se sivuuttaa aidon tietymättömyyden siinä missä ihminenkin. Ja pahimmillaan antaa petollisen varmuuden tunteen siitä, että kaikki on huomioitu.

Milloin kannattaa laskea riskejä?

Kysymys ei ole siitä, että laskeminen olisi aina turhaa. Sen sijaan on fiksua tunnistaa ne tilanteet, joissa kannattaa käyttää isoa dataa ja monimutkaista mallia, ja toisaalta ne asiat, joissa se voi mennä metsään. Sitä asiaa tekoälyalgoritmi ei ainakaan vielä osaa tehdä puolestamme.

Hyvä nyrkkisääntö on se, että jos huomioon otettavia vaihtoehtoja on paljon, historiadataa vähän ja päätös muutenkin monimutkainen, dataan ja tilastolliseen analyysiin perustuva malli menee helposti pieleen.

Ja toisaalta jos historiallista dataa on paljon, tietymättömyyttä vähän ja vaihtoehtoja rajallinen määrä, niin monimutkaisempi laskennallinen malli toimii paremmin.

Tässä suhteessa johtopäätös on aika nurinkurinen: monimutkaisessa ongelmassa toimii paremmin yksinkertainen ennustemalli ja yksinkertaisessa ongelmassa monimutkainen! Tämän kuitenkin voi todistaa myös matemaattisesti (ks. mm. Gigerenzer, 2015).

Henkilöarviointia sumeassa maailmassa

Oikeassa maailmassa moneen ennusteeseen sisältyy tietysti aina vaihtelevassa määrin laskettavaa riskiä ja tietymättömyyttä. Esimerkiksi henkilöarvioinnissa on mukana aina datalähtöinen osa, joka saadaan erilaisista testituloksista.

Sen lisäksi kuitenkin tilanteessa on paljon pieniä, joskus intuitiivisia vihjeitä, joiden ennustearvo voi olla todella hyvä. Joskus tietty ennakoimaton asia voi romuttaa ison osan testituloksien ennusteesta.

Esimerkkejä löytyy aina hermojen täydellisestä menettämisestä vähemmän dramaattiseen CV:ssä valehteluun. Näitä ei voi mitenkään mallintaa etukäteen – ne vain täytyy huomioida ja niiden merkitys intuitiivisesti painottaa. Siihen ei mikään tekoälymalli pysty.

Muu maailma on vastaavia esimerkkejä täynnä. Myös sijoittamisen tai lääketieteen diagnostiikan päätöksenteossa on selkeästi olemassa kumpikin komponentti.

Siksi niissäkään historiadata, vaikka olisi kuinka laajaa, ei koskaan yksinään riitä. Se on toki hyvä apu ja lähtökohta, mutta ei takaa onnistunutta ennustetta.

Blogin seuraavassa osassa pohditaan, mikä on paras tapa tehdä ennusteita sumeassa maailmassa.

Kirjoittaja

Mikael Nederström
Tutkimusjohtaja, osakas
Kaikki tämän kirjoittajan artikkelit