Kehotteen välimuisti: käytä pyynnön alku uudelleen

Kehotteen välimuistitus (prompt caching) käyttää aiempaa laskentaa uudelleen, kun syöte vastaa aikaisempaa pyyntöä. Kausaalisessa Transformerissa muuttumattoman alkuosan avaimet ja arvot säilyvät kelvollisina, kun perään lisätään tokeneita. KV-tilan uudelleenkäyttö välttää saman alun käsittelyn uudestaan.

Tämä eroaa valmiin vastauksen tallentamisesta välimuistiin. Malli tuottaa edelleen uuden jatkon koko nykyisen pyynnön perusteella. Sama dokumentti voi toimia yhteisenä taustana monelle eri kysymykselle.

Miksi juuri alkuosa

Tokenin tila riippuu sitä edeltävistä tokeneista. Sijoita pysyvät ohjeet ja lähdeaineisto alkuun ja vaihtuva kysymys niiden perään. Jos alku muuttuu, myöhempi teksti voi olla sama mutta vaatia erilaisen välimuistitilan.

Palvelujärjestelmä voi tunnistaa uudelleenkäytettävät lohkot tokenitunnisteista ja edeltävistä lohkoista. Myös mallin asetukset, sovittimet ja muut syötetyypit voivat vaikuttaa käyttökelpoisuuteen. Olennaista on täsmäävä laskenta, ei pelkkä merkityksen samankaltaisuus.

Uudelleenkäytöllä on elinikä

Tilan säilyttäminen kuluttaa muistia tai tallennustilaa. Palveluntarjoajat ja ajoympäristöt hallitsevat siksi säilytysaikoja, poistoja ja eristystä. Rajapintojen hinnoittelu ja säilytyssäännöt vaihtelevat; edullinen välimuistisyötteen hinta ei takaa alkuosan ikuista saatavuutta.

Välimuistiosuma vähentää uutta prefill-laskentaa. Se ei poista generoinnin attention-laskentaa alkuosan käyttämiseksi. Välimuistissa olevat tokenit vievät edelleen tilaa konteksti-ikkunasta.

Käytännön toimintatapa on selvä: pidä yhteinen sisältö muuttumattomana, lisää pyyntökohtainen sisältö sen perään ja tarkista raportoitu välimuistin käyttö sen sijaan, että olettaisit jokaisen toistuvan pyynnön osuvan välimuistiin.