Häviö: valitse virhe, jota oppiminen pienentää

Häviö (loss) muuntaa mallin ennusteen ja tavoitteen numeeriseksi koulutussignaaliksi. Optimoija seuraa sen gradientteja, joten tavoite määrää, mitkä virheet saavat painoa.

Regressiossa neliövirhe rankaisee suuria poikkeamia erityisen voimakkaasti. Absoluuttinen virhe tekee toisenlaisen kompromissin. Luokittelussa ristientropia palkitsee oikealle luokalle annettua todennäköisyyttä eikä vain suurimman pisteen saaneen luokan oikeellisuutta.

Sama osumatarkkuus, eri oppimissignaali

Kaksi luokitinta voi valita oikean luokan ja antaa sille todennäköisyydet 0,51 ja 0,99. Osumatarkkuus on sama, mutta ristientropiahäviöt eroavat. Epävarmempi oikea ennuste saa vahvemman kannustimen muuttua.

Neuroverkkokirjastot voivat ottaa vastaan raakoja logitteja ja yhdistää normalisoinnin häviöön numeerisen vakauden vuoksi. Kerasissa from_logits=True tarkoittaa pisteitä todennäköisyyksien sijaan. Ensin tehty softmax ja tuloksen tulkitseminen logiteiksi muuttaa laskennan.

Koulutushäviön lasku kertoo edistymisestä kyseisessä tavoitteessa ja aineistossa. Se ei yksin osoita parempaa toimintaa erillisellä aineistolla, tosia vastauksia tai sovelluksen tarvitsemaa käytöstä.