Multimodaaliset mallit: erilaisia syötteitä samaan laskentaan

Multimodaalinen malli (multimodal model) käsittelee useampaa kuin yhtä tietotyyppiä, kuten tekstiä, kuvia tai ääntä. Eri syötepolut muuntavat signaalit esityksiksi, jotka voivat vaikuttaa toisiinsa mallin sisällä. Tulosteen kyvyt voivat erota syötteen kyvyistä: kuvan lukeminen ei tarkoita kuvan tuottamista.

Tavallisessa visio-kielirakenteessa kuvankooderi esittää kuvan ja liitoskerros tekee esityksistä kielimallille käyttökelpoisia. Muut arkkitehtuurit voivat käyttää risti-attentionia tai yhteistä tokenikäsittelyä.

Anna kuva, älä vain tiedostonimeä sanoina

Transformers/PyTorch-esimerkki lähettää paikallisen kuvan ja kysymyksen multimodaalisen keskusteluputken kautta. Asenna transformers, torch ja mallin kuvankäsittelyriippuvuudet sekä tallenna oikea kuva tiedostoon photo.jpg. Ensimmäinen ajo lataa mallin.

from transformers import pipeline

chat = pipeline("image-text-to-text", model="HuggingFaceTB/SmolVLM-256M-Instruct")
messages = [{"role": "user", "content": [
    {"type": "image", "path": "photo.jpg"},
    {"type": "text", "text": "Describe the objects and their positions."},
]}]
result = chat(text=messages, max_new_tokens=80)
answer = result[0]["generated_text"][-1]["content"]

Prosessori lataa kuvan ja valmistelee sen visuaalisen esityksen tekstin rinnalle. Pelkkä tekstikehote ”katso photo.jpg” ei antaisi kuvan pikseleitä vain tekstiä käsittelevälle mallille.

Rajapinta piilottaa erilaisia kustannuksia

Lyhyt tekstiviesti voi liittyä huomattavaan kuvalliseen laskentaan. Tarkkuus, rajaus ja kuvan jakaminen osiin vaikuttavat esitettävän tiedon määrään. Äänellä on omat kestoon ja koodaukseen liittyvät kustannuksensa.

Aineistotyyppien yhdistäminen voi paljastaa tietoa, jota tekstissä ei ole, mutta ei poista tulkintavirheitä. Pienet merkinnät, sijaintisuhteet ja monitulkintaiset näkymät voivat silti olla vaikeita.

Visio-kielimalli on yksi multimodaalinen malliperhe. Sen kuvaosa- ja tokenikäsittely auttaa ymmärtämään, miksi kuva ei ole vain yksi lisäsana konteksti-ikkunassa.