Rete neurale residuale
Una rete neurale residuale o residua (oppure ResNet)[1] è un'architettura di apprendimento profondo in cui i livelli apprendono le funzioni residue con riferimento agli input degli strati stessi. È stato sviluppato nel 2015 per il riconoscimento delle immagini e ha vinto l'ImageNet Large Scale Visual Recognition Challenge (ILSVRC) di quell'anno.[2][3]
Come terminologia, "connessione residuale" si riferisce al pattern di struttura architettonica:
dove è un modulo di rete neurale arbitrario. Il pattern era già stato utilizzato in precedenza (vedi §Storia per i dettagli). Tuttavia, la pubblicazione di ResNet lo ha reso molto popolare per le reti feed-forward, comparendo in reti neurali apparentemente non correlate a ResNet.
La connessione residuale stabilizza l'addestramento e la convergenza delle reti neurali profonde con centinaia di livelli ed è un pattern comune in queste, come i modelli di trasformatori (ad esempio BERT e modelli GPT come ChatGPT ), il sistema AlphaGo Zero, il sistema AlphaStar e il sistema AlphaFold.
Matematica
[modifica | modifica wikitesto]Connessioni residuali
[modifica | modifica wikitesto]In un modello di rete neurale multilivello, si consideri una sottorete con un certo numero di strati impilati (ad esempio, 2 o 3).
Indichiamo con la funzione eseguita da questa sottorete, dove è l'input alla sottorete. L'apprendimento residuo riformula questa sottorete facendo in modo che i layer parametrizzati rappresentino una funzione residua . L'uscita di questa sottorete viene quindi rappresentata come:
Note
[modifica | modifica wikitesto]- ^ Deep Residual Learning for Image Recognition (PDF), 2016, DOI:10.1109/CVPR.2016.90.
- ^ Large Scale Visual Recognition Challenge 2015 (ILSVRC2015), su image-net.org.
- ^ ImageNet: A large-scale hierarchical image database, 2009, DOI:10.1109/CVPR.2009.5206848.
