Hallusinointi: uskottava vastaus voi silti olla väärä

Tekoälyn hallusinointi (hallucination) on tuotettua sisältöä, joka on virheellistä tai vailla annetun aineiston tukea. Malli voi kirjoittaa vakuuttavan selityksen, lähdeviitteen tai lainauksen ilman luotettavaa näyttöä.

Seuraavan tokenin ennustaminen palkitsee koulutusjakaumaan sopivia kuvioita. Sujuva kieli ja oikeat tosiasiat esiintyvät usein yhdessä, mutta tavoite ei tee jokaisesta tuotetusta väitteestä tarkistettua havaintoa. Koulutusteksti voi myös sisältää harhaluuloja, joita malli oppii toistamaan.

Varmuudella on monta merkitystä

Suuri tokenitodennäköisyys kertoo mallin suosimasta jatkosta. Se ei mittaa samaa asiaa kuin kokonaisen väitteen todennäköisyys olla tosi. Mallin kirjoittama varmuus on puolestaan oma tulosteensa, jonka kalibroinnissa on rajoituksia.

Lähdeviitteessä voi esimerkiksi olla oikealta näyttävä kirjoittaja, vuosi ja otsikko, vaikka julkaisua ei olisi olemassa. Muotoa on helppo jäljitellä; lähteen olemassaolon tarkistus on erillinen operaatio.

Lähdetieto muuttaa tarkistamisen mahdollisuuksia

RAG tai työkalukutsut voivat antaa ulkoisia havaintoja. Tämä luo perustan väitteiden tarkistamiselle. Malli voi silti tulkita katkelman väärin, yhdistää yhteensopimattomia lähteitä tai liittää oikean lähdeviitteen väitteeseen, jota lähde ei tue.

Hyödyllinen arviointi kysyy täsmällisesti: onko lähde olemassa, täsmääkö lainaus, tukeeko katkelma väitettä ja päteekö väite pyydetyssä tilanteessa?

Mikään yksittäinen pintapiirre ei erota luotettavasti totuutta keksitystä. Viimeistelty vastaus voi olla väärä ja epävarma vastaus oikea. Kiinnostava toteutusongelma on yhdistää tärkeät väitteet havaintoihin, jotka voidaan todella tarkistaa.