Syväoppiminen: opi myös välivaiheiden esitykset

Syväoppiminen (deep learning) käyttää neuroverkkoja, joissa on useita opittavia käsittelykerroksia. Kukin kerros muuntaa edellisen esitystä, joten koulutus voi muokata sekä lopullista ennustajaa että sen käyttämiä piirteitä.

Kuvissa peräkkäiset operaatiot voivat yhdistää paikallisia kuvioita suuremmiksi rakenteiksi. Transformerissa attention-mekanismi sekoittaa tietoa sijaintien välillä, kun eteenpäinkytketyt kerrokset muokkaavat kunkin sijainnin esitystä.

Syvyys tarvitsee muutakin kuin toistuvaa kertomista

Kaksi peräkkäistä lineaarista kuvausta voidaan yhdistää yhdeksi. Epälineaaristen operaatioiden lisääminen antaa kerrospinolle mahdollisuuden esittää riippuvuuksia, joihin yksi lineaarimuunnos ei pysty.

Syvyys tarjoaa tavan rakentaa monimutkaisia funktioita osista, mutta lisäkerrokset eivät yksin takaa parempaa tulosta. Oppimissignaali, arkkitehtuuri, aineisto ja optimointi ratkaisevat lisäkapasiteetin hyödyn.

Olennainen ero käsin suunniteltuihin piirteisiin on esityksen alkuperä. Verkko oppii välimuunnokset tehtävän tavoitteen kautta sen sijaan, että ohjelmoija määrittelisi jokaisen hyödyllisen piirteen.