Suuri kielimalli: koko on vain osa reseptiä

Suuri kielimalli (large language model, LLM) oppii kielen tilastollista rakennetta laajassa koulutuksessa ja käyttää kontekstia tokenien pisteytykseen tai esitysten tuottamiseen. Generatiivisessa mallissa peräkkäiset tokenivalinnat muodostavat tekstiä, koodia tai rakenteisia tulosteita.

Suurella ei ole pysyvää parametrirajaa. Arkkitehtuuri, koulutusaineisto, optimointi ja jälkikoulutus vaikuttavat kaikki siihen, mitä tietyllä parametribudjetilla saavutetaan.

Lisäparametrit kilpailevat lisäkoulutuksen kanssa

Chinchilla-tutkimus vertasi mallikokoja ja koulutustokenien määriä kiinteällä laskentabudjetilla. Se osoitti, miksi pienemmän mallin perusteellisempi koulutus suuremmalla aineistolla voi voittaa suuremman mutta liian vähän koulutetun mallin.

Kyse on koulutuksen kompromissista, ei yleisestä ajosäännöstä. Toistuva käyttö voi suosia pidempään koulutettua pienempää mallia, jonka painojen ja laskennan kustannus pyyntöä kohti on pienempi.

Asiantuntijasekoituksessa kokonaisparametrimäärä eroaa myös aktiivisesta määrästä. Kontekstitila ja tulostepituus lisäävät resurssitarpeita painojen päälle. Vertaa malleja tehtävässä ja käyttöbudjetissa, älä vain kokoluokan perusteella.