Tekoälyrajapinta: pyyntö käynnistää laskennan palvelussa

Ohjelmointirajapinta (application programming interface, API) antaa ohjelmiston pyytää operaatiota toiselta järjestelmältä. Tekoälyrajapinta voi vastaanottaa viestejä ja palauttaa generoitua sisältöä palveluntarjoajan ajaessa mallia.

Rajapinta piilottaa laitteiston yksityiskohtia, ei sovelluksen valintoja. Valitset edelleen mallin, rakennat kontekstin, asetat tulostebudjetin ja päätät vastauksen käytöstä.

Kutsu mallia Pythonista

Asenna huggingface_hub, aseta HF_TOKEN ja valitse palvelun tukema keskustelumalli muuttujaan HF_MODEL. Esimerkki käyttää dokumentoitua InferenceClient-rajapintaa.

import os
from huggingface_hub import InferenceClient

client = InferenceClient(token=os.environ["HF_TOKEN"])
response = client.chat_completion(
    model=os.environ["HF_MODEL"],
    messages=[{"role": "user", "content": "Explain why the sky is blue in two sentences."}],
    max_tokens=128,
)
answer = response.choices[0].message.content

Suoratoistovastaus toimittaa tulosteen osia niiden valmistuessa; koko vastausta ei tarvitse ensin laskea valmiiksi. Työkalut ja rakenteiset tulosteet lisäävät generoidun sisällön ympärille omat protokollansa.

Älä oleta palvelun säilyttävän keskustelua vain siksi, että asiakasolio säilyy. Rajapinnan sopimus ratkaisee, lähetetäänkö viestit uudelleen vai viitataanko tallennettuun tilaan. Tunnistautuminen, kiintiöt ja säilytyskäytännöt kuuluvat palveluun, eivät kielimalliarkkitehtuuriin.