Saanti: mittaa myös löytämättä jääneet tapaukset

Saanti (recall) on löydettyjen todellisten positiivisten osuus kaikista todellisista positiivisista. Toisin kuin täsmällisyydessä, nimittäjään kuuluvat myös tapaukset, joita järjestelmä ei valinnut.

Tiedonhaussa recall@k kertoo, kuinka suuri osa relevanteista dokumenteista on k ensimmäisen tuloksen joukossa. Muutama erinomainen osuma ei riitä, jos vastaukseen tarvittava näyttö jää mallin kontekstin ulkopuolelle.

Mittaa ehdokkaiden haku erikseen

Python-esimerkki arvioi järjestettyä ehdokaslistaa suhteessa havainnollistavaan joukkoon tunnettuja relevantteja dokumentteja.

relevant = {"doc-a", "doc-c", "doc-f"}
ranked = ["doc-b", "doc-a", "doc-d", "doc-c", "doc-e", "doc-f"]

recall_at = {
    k: len(set(ranked[:k]) & relevant) / len(relevant)
    for k in (2, 4, 6)
}

Saanti nousee kahden tuloksen kolmasosasta neljän tuloksen kahteen kolmasosaan ja saavuttaa kuudella tuloksella arvon yksi. Täsmällisyys kehittyy eri tavalla, sillä lisätulokset voivat olla epärelevantteja.

Hakua hyödyntävässä järjestelmässä ehdokashaun heikko saanti asettaa katon: myöhempi uudelleenjärjestäjä ei voi nostaa dokumenttia, jota se ei saanut. Paranna ehdokasjoukkoa ennen kuin käytät lisää laskentaa sen järjestämiseen.

Saannin mittaamiseen tarvitaan tieto relevanteista kohteista. Puutteellinen vertailujoukko voi tehdä tarkalta näyttävästä luvusta harhaanjohtavan.