Ohjehienosäätö: opeta, millainen vastaus tuotetaan

Ohjehienosäätö (instruction tuning) kouluttaa mallia pyynnöillä ja niihin liitetyillä tavoitevastauksilla. Se sovittaa esikoulutetun ennustajan ohjeiden noudattamiseen vastausesimerkkien avulla sen sijaan, että opetettaisiin vain mielivaltaisen tekstin jatkamista.

Esimerkissä voi olla järjestelmäviesti, käyttäjän kysymys ja avustajan vastaus. Keskustelumalli (chat template) muuntaa roolit tokenijonoksi. Muotoilutokenit kuuluvat mallin oppimaan tulkintaan.

Lue kehote, pisteytä vastaus

Tavallinen tavoite kouluttaa vain avustajan sijainteja. Käyttäjän ja järjestelmän tokenit antavat edelleen kontekstia, mutta niiden ennustushäviöt jätetään pois. Tokenin *käyttäminen* syötteenä ja *pisteyttäminen* tavoitteena ovat eri asioita.

Funktio ottaa Transformers-kirjaston kausaalisen kielimallin, yhden täyttämättömän keskustelun tokenitunnisteet ja niitä vastaavan totuusarvomaskin keskustelun roolit tuntevasta aineistoputkesta. Malli siirtää tavoitteet sisäisesti. Maski merkitsee avustajan tavoitetokenit, myös mahdollisen vastauksen päättävän merkin.

def instruction_loss(model, token_ids, assistant_mask):
    labels = token_ids.masked_fill(~assistant_mask, -100)
    return model(input_ids=token_ids, labels=labels, use_cache=False).loss

Tavoitteen peittäminen ei poista tokenia syötteestä. Myöhemmät vastaussijainnit voivat edelleen käyttää kehotetta attention-laskennassa. Attention-maski ja häviömaski ratkaisevat siksi eri ongelmia.

Esimerkit määrittelevät toimintaa

Aineisto voi opettaa lyhyitä vastauksia, rakenteisen muodon tai tiettyjen pyyntöjen käsittelyä. Epäjohdonmukaiset esimerkit voivat myös opettaa huonoja tapoja. Arvioi erillisillä ohjeilla ja vertaa lähtömalliin.

Ohjehienosäätö on hienosäädön muoto. Se eroaa kontekstissa oppimisesta, jossa esimerkit ohjaavat yhtä pyyntöä muuttamatta painoja, sekä mieltymyksiin perustuvasta koulutuksesta, kuten RLHF:stä.