Epookki: yksi kierros ei ole yksi päivitys

Epookki (epoch) tarkoittaa tavallisesti yhtä kierrosta koulutusaineiston läpi. Erä on osa kierrosta, ja optimoijan päivitys muuttaa painoja. Gradienttien kerrytys voi yhdistää useita eriä yhdeksi päivitykseksi.

Jos esimerkkejä on 10 000 ja eräkoko on 100, täysi epookki sisältää sata erää. Viiden erän kerrytys tuottaa kaksikymmentä optimoijan päivitystä, jos yhtään esimerkkiä ei jätetä pois.

Virta tarvitsee oman kellonsa

Toistuvalla tai käytännössä rajattomalla syötevirralla ei välttämättä ole luontaista loppua. Keras voi määritellä epookin kiinteäksi erämääräksi asetuksella steps_per_epoch.

Kolme epookkia tarkoittaa silloin kolmea raportointijaksoa, ei välttämättä kolmea käyntiä jokaisessa esimerkissä. Sekoituspuskurit, uudelleenotanta ja aineistojen yhdistely muuttavat myös nähtyjä esimerkkejä.

Koulutusajoja verrattaessa ilmoita epookkien rinnalla käsitellyt esimerkit tai tokenit sekä optimoijan päivitykset. Aineiston tai kerrytyskertoimen muutos voi muuttaa saman epookkimäärän taakse kätkeytyvää työmäärää ratkaisevasti.