Ylisovittaminen: esimerkkien oppiminen liian tarkasti

Ylisovittaminen (overfitting) tarkoittaa, että malli sovittuu koulutusaineistoon tavoilla, jotka eivät siirry uusiin esimerkkeihin. Hyödyllisten rakenteiden lisäksi se voi käyttää koulutusjoukolle ominaisia sattumia, toistuvia ilmauksia tai kohinaa.

Kielimalli voi ennustaa koulutustekstejä yhä paremmin mutta koulutuksen ulkopuolisia tekstejä yhä huonommin. Koulutustavoite paranee, mutta parannus ei yleisty kiinnostavaan uuteen aineistoon.

Kaksi mittausta kertoo eri asioita

Koulutushäviö mittaa päivityksiin käytettyjä esimerkkejä. Validointihäviö mittaa erillisiä esimerkkejä, joilla ohjataan kehitystä. Kasvava ero on hyödyllinen varoitusmerkki varsinkin silloin, kun validointitulos heikkenee koulutustuloksen parantuessa.

Ero ei yksin tunnista kaikkia syitä: aineistojen täytyy myös edustaa vertailukelpoisia tehtäviä, ja pisteytyksen pitää olla yhtenäinen. Erilainen tekstiala voi vaikeuttaa validointia ilman ulkoa oppimistakin.

Säilytä arvioinnin mielekkyys

Jaa aineisto ennen päällekkäisten lohkojen tai muunnelmien muodostamista. Kielimallikokeissa lähes samat dokumentit voivat päätyä satunnaisjaon molemmille puolille ja kaunistaa arviointitulosta. Toisiinsa liittyvät esimerkit kannattaa ryhmitellä, jos yhteinen alkuperä muuten vuotaisi tietoa.

Validointi voi ohjata varhaista pysäytystä (early stopping) ja mallivalintoja. Lopullinen testijoukko pidetään tämän toistuvan päätöksenteon ulkopuolella. Jos asetukset valitaan sen perusteella, siitä tulee uusi kehitysjoukko.

Edustavampi aineisto, sopiva mallikoko ja regularisointi voivat auttaa. Samoin pysäyttäminen ennen kuin lisäpäivitykset vain sovittavat koulutusjoukon erityispiirteitä. Small Language Model -kokeemme säilyttää erillisen arviointiosan koulutuksen edistymisen vertailuun.