Validointiaineisto: palaute, josta opitaan yhä

Validointiaineisto (validation data) jätetään parametrien sovituksen ulkopuolelle, mutta sillä valitaan asetuksia, tarkistuspisteitä tai malleja. Se kuuluu siis kehitysprosessiin. Erillinen testiaineisto arvioi lopullisen valinnan suorituskykyä.

Parhaan validointituloksen toistuva valinta voi sovittaa koko projektin tähän joukkoon, vaikka gradientti ei koskaan kulje sen esimerkkien kautta.

Jaa oikean yksikön mukaan

Jos monta riviä tulee samasta dokumentista, satunnainen rivijako voi sijoittaa lähes saman tekstin molemmille puolille. Scikit-learn-esimerkki pitää dokumenttiryhmät yhdessä. Taulukot havainnollistavat ryhmiä, eivät mitattua korpusta.

import numpy as np
from sklearn.model_selection import GroupShuffleSplit

features = np.arange(24).reshape(12, 2)
document_ids = np.repeat(["a", "b", "c", "d"], 3)
split = GroupShuffleSplit(n_splits=1, test_size=0.25, random_state=7)
train_ids, validation_ids = next(split.split(features, groups=document_ids))
train_documents = set(document_ids[train_ids])
validation_documents = set(document_ids[validation_ids])

Sovita myös esikäsittely, kuten skaalaus tai opittu sanasto, vain koulutusaineistolla. Syöteputki auttaa käyttämään samaa muunnosta johdonmukaisesti validointiesimerkkeihin.

Ennustustehtävässä säilytä aikajärjestys sen sijaan, että sekoittaisit tulevaisuuden havaintoja koulutukseen. Hyödyllinen jako jäljittelee uusien havaintojen saapumista, ei vain sopivaa prosenttiosuutta.