Prefill: syötteen käsittely ennen vastausta

Syötteen esikäsittely (prefill) on vaihe, jossa kausaalinen kielimalli käsittelee syötejonon ja muodostaa generoinnissa käytettävän KV-välimuistin. Viimeinen syötesijainti tuottaa pisteet ensimmäiselle tulostokenille. Seuraavat generointiaskeleet jatkavat välimuistiin tallennettua jonoa.

Syötteen tokenit tunnetaan jo, joten suuri osa niiden operaatioista voidaan laskea rinnakkain. Kausaalinen attention-mekanismi estää silti sijaintia käyttämästä myöhempiä sijainteja. Rinnakkaisuus ei anna mallin nähdä tulevaisuutta.

Leveä laskentavaihe ja toistuvat pienet askeleet

Pitkä syöte antaa matriisikertolaskuille monta tokenisijaintia käsiteltäväksi kerralla. Tavallisessa autoregressiivisessä generoinnissa kukin jono etenee sen sijaan yhden sijainnin kerrallaan. Palvelimet yhdistävät eri pyyntöjä eriksi pitääkseen laitteiston käytössä.

Tämä auttaa selittämään, miksi syöte- ja tulostokeneilla voi olla eri hinta. Molemmat käyttävät mallin painoja, mutta rinnakkaisen laskennan mahdollisuudet eroavat. Tokenihinta on silti palvelun hinta, ei suora laitteistotyön mittaus.

Miksi ensimmäistä tokenia odotetaan

Ensimmäisen tokenin viiveeseen sisältyvät jonotus, syötteen käsittely ja ensimmäisen tokenin generointi. Pitkän syötteen käsittely voi viedä suuren osan odotusajasta, jos välimuistia ei voida käyttää. Täsmäävän alkuosan uudelleenkäyttö vähentää uuden syötelaskennan määrää.

Palvelujärjestelmä voi jakaa prefill-vaiheen osiin tai ajaa syötteen käsittelyä ja generointia eri laitteilla. Se muuttaa ajoitusta ja tiedonsiirtoa. Perustehtävä säilyy: tunnetusta syötteestä muodostetaan esitykset, joita generointi jatkaa.