Koulutusaineisto: toistuva teksti muuttaa mallin kokemusta

Koulutusaineisto (training data) tuottaa mallin sovittamiseen käytetyt esimerkit. Vaikutus riippuu muustakin kuin tiedosto- tai tokenimäärästä: suodatus, päällekkäisyydet, sekoitussuhteet ja otanta ratkaisevat toistuvasti päivitettävät kuviot.

Sata kertaa kopioitu dokumentti näkyy koulutuksessa sata kertaa, ellei syöteputki poista kopioita tai muuta niiden painoa. Tokenimäärä ja tiedollinen monipuolisuus ovat eri asioita.

Korpus on suunnitteluvalinta

RefinedWeb osoitti, että suodatettu ja deduplikoitu verkkoteksti voi tuottaa vahvaa kielimallien koulutusaineistoa. Opetus koskee syöteputkea, ei saman lähdeseoksen käyttöä jokaisessa tehtävässä.

Dokumentoi esimerkkien alkuperä, valinta ja muunnokset sekä aliedustetut alat tai kielet. Aineistokuvaus mahdollistaa myöhemmän laadun selvittämisen.

Pidä koulutuksen ja arvioinnin alkuperätiedot erillään. Sivuun jätetty tiedosto ei ole uutta näyttöä, jos sen lähes identtinen kopio esiintyi koulutuksessa. Parempi aineisto voi parantaa samaa mallia, kun taas heikon aineiston lisätoistot voivat vain kasvattaa työmäärää.