Esikoulutus: teksti antaa omat tavoitteensa

Esikoulutus (pretraining) rakentaa mallin lähtökykyjä laajalla koulutustavoitteella ennen rajatumpaa sovittamista. Kausaalisessa kielimallissa syöteteksti antaa itse seuraavan tokenin tavoitteet. Ihmisen ei tarvitse merkitä jokaiseen sijaintiin oikeaa seuraavaa sanaa erikseen.

Tämä on itseohjattua oppimista (self-supervised learning): koulutussignaali muodostetaan aineistosta. Mallilta eivät silti puutu tavoite, häviö tai ihmisten päätökset aineiston valinnasta.

Yhdestä jonosta monta ennustetta

Jonossa A B C D syötteet A B C ennustavat tavoitteita B C D. Kausaalinen maski estää ennustetta lukemasta tulevaa tavoitettaan. Koulutus voi arvioida sijainnit yhdessä, koska havaittu jono on jo käytettävissä.

TensorFlow-askel olettaa olemassa olevan kausaalisen Keras-mallin, joka palauttaa logitit, sekä tokenirivit ilman täytettä. Optimointialgoritmi päivittää mallin opetettavat painot.

import tensorflow as tf

def pretrain_step(model, optimizer, tokens):
    inputs, targets = tokens[:, :-1], tokens[:, 1:]
    with tf.GradientTape() as tape:
        logits = model(inputs, training=True)
        losses = tf.keras.losses.sparse_categorical_crossentropy(
            targets, logits, from_logits=True)
        loss = tf.reduce_mean(losses)
    gradients = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))
    return loss

Siirto muodostaa tavoitteet; arkkitehtuuri määrää, mitä kontekstia kukin tavoite saa käyttää. Kumman tahansa puuttuminen muuttaa tehtävää ja voi tehdä siitä triviaalin paljastamalla vastauksen.

Tavoite muovaa lähtökohtaa

Seuraavan tokenin ennustaminen voi kehittää uudelleenkäytettäviä esityksiä ja toimintatapoja, koska monet rakenteet auttavat tekstin ennustamisessa. Malli oppii myös epäluotettavien tai vinoutuneiden esimerkkien piirteitä. Ennustamisen onnistuminen ei suoraan takaa tosia tai hyödyllisiä vastauksia.

Ohjehienosäätö ja muut jälkikoulutusmenetelmät sovittavat tätä lähtökohtaa edelleen. Small Language Model -kokeemme näyttää esikoulutuksen osat omalla Transformerilla ja suoratoistetulla aineistolla.