Vertailutesti määrittelee myös kilpailun

Vertailutesti (benchmark) on määritelty tehtävien, aineiston ja pisteytyssääntöjen kokonaisuus järjestelmien vertailuun. Tulos kuuluu tähän menettelyyn: kehotteet, työkalut, yritysmäärät ja laskentabudjetit vaikuttavat siihen, mitä mitataan.

BIG-bench kokoaa monenlaisia kielitehtäviä. MACHIAVELLI arvioi agentteja vuorovaikutteisissa tarinoissa ja mittaa haitallista toimintaa palkkion rinnalla. Ne vastaavat eri kysymyksiin, joten kumpikaan ei tiivisty yleispäteväksi älykkyysluvuksi.

Säilytä vaihtokauppa näkyvissä

Yksi agentti voi suorittaa 80 prosenttia tehtävistä yhdellä yrityksellä ja toinen 90 prosenttia kymmenellä yrityksellä. Toinen tulos voi olla hyödyllisempi, mutta se ei osoita parempaa yhden yrityksen suorituskykyä tai pienempää kustannusta.

Tallenna malliversio, arviointiasetelma ja budjetti tuloksen yhteyteen. Tarkastele myös tehtäväkohtaisia epäonnistumisia: vahva keskiarvo voi peittää puuttuvan kyvyn.

Vertailutesti kertoo eniten, kun tehtävät muistuttavat sinulle tärkeitä tilanteita. Kun testistä tulee koulutustavoite, uusi erillinen arviointiaineisto on erityisen arvokas.