Konteksti-ikkuna: mitä malli voi käyttää juuri nyt

Konteksti-ikkuna (context window) on mallin yhdelle pyynnölle käytettävissä oleva tokenikapasiteetti. Kausaalisessa kielimallissa syötetty konteksti ja tuotettu jatko käyttävät samaa kapasiteettia. Ohjeet, keskusteluhistoria, haetut tekstikatkelmat ja työkalujen tulokset vievät kaikki tilaa. Myös kuvat ja muut aineistotyypit kuluttavat kapasiteettia mallikohtaisesti.

Tämä on eri asia kuin koulutuksessa opittu tieto. Painoihin voi tallentua laajan aineiston säännönmukaisuuksia, mutta keskustelusi yksityiskohdan täytyy olla mukana nykyisessä kontekstissa tai tulla ulkoisesta muistista, jotta malli voi käyttää sitä luotettavasti.

Kapasiteetti on vasta ensimmäinen kysymys

Suurempi ikkuna päästää laskentaan enemmän aineistoa. Se ei takaa, että malli löytää jokaisen olennaisen yksityiskohdan tai yhdistää ne oikein. *Lost in the Middle* -tutkimuksessa vastauksen laatu saattoi riippua voimakkaasti siitä, missä kohdassa lähdetieto oli. Pitkän kontekstin hyödyllisessä arvioinnissa vaihdellaan siksi sekä aineiston määrää että vastauksen sijaintia.

Miten keskustelua jatketaan

Historian kasvaessa sovellus voi poistaa vanhoja vuoroja, tiivistää niitä tai hakea valittuja katkelmia. Jokainen tapa muuttaa mallille annettavaa sisältöä. Tiivistelmä voi säilyttää päätökset mutta kadottaa tarkan lainauksen; haku voi palauttaa lainauksen tarvittaessa.

KV-välimuisti käyttää uudelleen mukana säilyvän kontekstin laskentaa. Se ei suurenna ikkunaa. RAG valitsee ikkunaan tuotavaa tietoa. Ne ratkaisevat eri ongelmia: laskennan uudelleenkäyttöä ja lähdeaineiston valintaa.