Kohdistaminen: muuta tavoiteltu toiminta oppimissignaaliksi

Kohdistaminen (alignment) pyrkii saamaan mallin tai järjestelmän toimimaan tavoiteltujen päämäärien, ohjeiden ja rajojen mukaan. Tekninen vaikeus on muuttaa tarkoitukset koulutussignaaleiksi ja arviointimenettelyiksi, jotka toimivat myös uusissa tilanteissa.

Todennäköisen tekstin ennustaminen ei ole sama tavoite kuin hyödyllinen vastaaminen. Jälkikoulutus voi muuttaa mallin suosimia vastauksia korvaamatta kaikkia sen aiempia kykyjä.

Mistä mieltymykset saadaan?

InstructGPT käytti esimerkkejä ja ihmisten vertailuja avustajan toiminnan muokkaamiseen. Constitutional AI tutki kirjallisten periaatteiden ohjaamia mallin kritiikkejä ja mieltymyksiä. Palautteen tuottamistapa eroaa, mutta molemmat muuttavat tavoitellun toiminnan optimointisignaaliksi.

Palaute on silti korvikemittari. Palkkiomalli voi suosia vakuuttavaa mutta väärää vastausta, eikä mieltymyksen voimakkaampi optimointi välttämättä paranna todellista lopputulosta.

Arvioi toimintaa uusissa tilanteissa, myös ohjeiden ja näytön ristiriidoissa. Sovelluksen käyttöoikeudet ja tarkistukset tuovat lisähallintaa mutta ovat eri asia kuin mallin oppimat mieltymykset.