Nollan esimerkin menetelmä: uusi tehtävä ilman mallivastauksia

Nollan esimerkin menetelmä (zero-shot) tarkoittaa tavallisesti tehtävän suorittamista ilman syötteeseen annettuja mallivastauksia tai arviointiasetelman mukaisia tehtäväkohtaisia koulutusesimerkkejä. Se ei tarkoita, ettei malli olisi oppinut esikoulutuksessa mitään asiaan liittyvää.

Ohjehienosäätö voi parantaa kielimallin toimintaa uudessa sanallisesti kuvatussa tehtävässä. Kuva-kielimallissa toinen mekanismi vertaa kuvaa ehdokasluokkien tekstikuvauksiin.

Vaihda luokat ajon aikana

Transformers-esimerkki lataa CLIP-mallin ja luokittelee oman paikallisen photo.jpg-kuvasi ajon aikana valituilla kuvauksilla. Asenna transformers, torch ja Pillow.

from PIL import Image
from transformers import pipeline

classify = pipeline("zero-shot-image-classification",
                    model="openai/clip-vit-base-patch32")
image = Image.open("photo.jpg").convert("RGB")
ranked = classify(image, candidate_labels=[
    "a photograph of a telescope",
    "a photograph of a microscope",
    "a photograph of a camera",
])

Tulos järjestää annetut kuvausehdokkaat. Se ei osoita kuvan kuuluvan johonkin niistä, ja ehdokkaiden muuttaminen muuttaa vertailua.

Kiinnostava kyky on opittujen esitysten käyttö nyt määriteltyyn tehtävään sen sijaan, että jokaiselle luokkajoukolle koulutettaisiin uusi kiinteä luokittelupää. Kerro aina, mitä ennestään näkemätön tarkoittaa zero-shot-tuloksessa.