Pieni kielimalli: erilainen käyttöbudjetti

Pieni kielimalli (small language model, SLM) kuvataan suhteessa maltilliseen parametri- ja resurssibudjettiin. Yhtä hyväksyttyä kokorajaa ei ole: nimitys voi kattaa miljoonien tai muutaman miljardin parametrin malleja.

Pienemmät painot helpottavat paikallista ajoa, nopeaa käynnistystä ja toistuvia edullisia kutsuja. Ne eivät automaattisesti tee mallista tarkkaa erikoistehtävässä.

Laske ajonaikainen muisti, älä vain latausta

Kvantoitu lataus voidaan purkaa laajempaan esitykseen. Pienen kielimallin kokeemme toimii selaimessa ja antaa lukijan kokeilla tulosta. Sen int8-lataus muunnetaan ajon aikana float32-painoiksi.

KV-välimuisti, aktivaatiot ja ajoympäristö tarvitsevat muistia painojen lisäksi. Pienelläkin mallilla voi pitkän kontekstin kanssa olla tiedostoa paljon suurempi työjoukko.

Phi-3 ja SmolLM2 havainnollistavat myös koulutuksen laadun ja määrän merkitystä pienessä mittakaavassa. Valitse SLM mitatun tehtävälaadun, viiveen ja kohdelaitteen muistitarpeen perusteella sen sijaan, että pitäisit pientä yhtenä kykyluokkana.