Hienosäätö: muuta mallin opittua toimintaa

Hienosäätö (fine-tuning) jatkaa olemassa olevan mallin koulutusta valitulla aineistolla. Kehote muuttaa yhden pyynnön syötettä; hienosäätö muuttaa opetettavia parametreja ja vie muutoksen tuleviin pyyntöihin.

Kielimallille voidaan opettaa esimerkiksi vastausmuoto, erikoistunut kirjoitustyyli tai tietokenttien poimiminen dokumenteista. Koulutustavoite määrää, mistä ennusteista annetaan palautetta. Ohjehienosäädössä (instruction tuning) opetetaan usein haluttuja vastauksia ohjeisiin sen sijaan, että keskustelun jokainen osa olisi ennustettava kohde.

Mikä oikeastaan muuttuu

Täysi hienosäätö päivittää valittuja perusmallin painoja. Parametritehokkaat menetelmät, kuten LoRA, jäädyttävät perusmallin ja opettavat pienemmän joukon lisäparametreja. Kummassakin laskenta eteenpäin tuottaa ennusteet, häviö vertaa niitä tavoitteisiin ja vastavirta-algoritmi laskee päivityksen gradientit.

Tuloksena on sovitettu malli tai sovitin. Koulutusesimerkkejä ei tarvitse antaa uudelleen kehotteessa joka kerta, kun mallia käytetään.

Opeta toimintaa, jota voi mitata

Johdonmukaiset esimerkit ovat tärkeämpiä kuin pelkkä rivien määrä. Jos esimerkit ovat ristiriidassa vastausmuodosta tai vaikeat tapaukset puuttuvat, palaute on ristiriitaista tai vajavaista. Arvioi mallia koulutuksen ulkopuolelle jätetyillä, todellista tehtävää vastaavilla tapauksilla ja vertaa alkuperäiseen malliin.

Hienosäätö voi myös ylisovittaa mallia tai heikentää muita kykyjä. Pienempi koulutushäviö ei yksin osoita hyödyllistä parannusta.

Muuttuville tosiasioille haku tarjoaa usein suoremman päivitysreitin: vaihda dokumentti ja hae se. Hienosäätö on erityisen hyödyllistä, kun halutaan muuttaa tapaa, jolla malli suorittaa tehtävän.