Kehote: malli näkee muotoillun jonon

Kehote (prompt) on syöte, joka ehdollistaa mallin vastauksen. Keskustelusovelluksessa siihen voi kuulua ohjeita, keskusteluhistoriaa, työkalutuloksia ja haettua aineistoa, ei vain käyttäjän viimeisin lause.

Roolimerkityt viestit ovat sovellustason rakenne. Keskustelupohja muuntaa ne tokenijonoksi, jota malli on koulutettu tulkitsemaan.

Käytä mallin omaa keskustelupohjaa

Transformers-apufunktio saa valmiiksi ladatun keskustelumallin, vastaavan tokenisoijan ja viestilistan. Se generoi vain avustajan uuden tekstin.

def reply(model, tokenizer, messages):
    inputs = tokenizer.apply_chat_template(
        messages, tokenize=True, add_generation_prompt=True,
        return_tensors="pt", return_dict=True,
    ).to(model.device)
    generated = model.generate(**inputs, max_new_tokens=64, do_sample=False)
    start = inputs["input_ids"].shape[1]
    return tokenizer.decode(generated[0, start:], skip_special_tokens=True)

add_generation_prompt lisää pohjan mukaisen avustajan aloitusmerkin tarvittaessa. Leikkaus poistaa syötejonon palautetuista tokeneista.

Eri keskustelumallit voivat käyttää eri ohjaustokeneita. Käsin kirjoitettu tutun näköinen ”User:”-etuliite ei välttämättä vastaa oikeaa keskustelupohjaa.

Kehotteen muutokset ohjaavat nykyisillä painoilla tehtävää laskentaa. Ne eivät itsessään päivitä painoja tai takaa kaikkien mukana olevien ohjeiden noudattamista.