Tensori: muoto kuuluu merkitykseen

Tensori (tensor) tarkoittaa koneoppimisessa moniulotteista taulukkoa. Sen muoto yksilöi akselit, kuten erän, tokenin sijainnin ja piirreleveyden. Samat luvut eri akseleille järjestettyinä voivat kuvata eri laskentaa.

Kielimallin aktivaatio voi olla muotoa [batch, tokens, width]. Jaettu lineaarikerros muuntaa viimeisen akselin jokaisessa erän ja tokenin kohdassa.

Yksi projektio kaikille kohdille

NumPy-esimerkki käyttää samaa painomatriisia ja vakiovektoria kaikkiin kuuteen tokenivektoriin.

import numpy as np

rng = np.random.default_rng(7)
hidden = rng.normal(size=(2, 3, 4))
weights = rng.normal(size=(4, 5))
bias = rng.normal(size=5)
projected = hidden @ weights + bias

Tuloksen muoto on [2, 3, 5]: erän koko ja tokenimäärä säilyvät, mutta piirreleveys muuttuu neljästä viiteen. Broadcasting laajentaa vakiovektorin loogisesti ilman kuutta erikseen kirjoitettua kopiota.

Broadcasting voi myös sallia väärän operaation huomaamatta, jos asiaan liittymättömät akselit ovat sattumalta samankokoiset. Nimeä akselit ennen muodon muuttamista, transponointia tai redusointia. Muotojen yhteensopivuus ei vielä osoita, että laskenta vastaa tarkoitusta.