Pruning
La rimozione di pesi, neuroni o interi canali che contribuiscono poco all'output di una rete neurale, così il modello diventa più piccolo e veloce con una perdita di accuratezza limitata.
Il pruning (potatura) sfrutta il fatto che le reti neurali addestrate sono di solito sovraparametrizzate: molti pesi sono vicini a zero e possono essere eliminati. Il pruning strutturato cancella interi filtri o canali, il che riduce direttamente il calcolo su qualsiasi hardware; il pruning non strutturato azzera i singoli pesi e aiuta solo quando il runtime supporta le operazioni sparse.
Per i dispositivi IoT l’obiettivo è far entrare il modello nella memoria flash e nella RAM e accorciare il tempo di inferenza, così che il dispositivo possa tornare in sleep prima. Il compromesso è lo sforzo ingegneristico: i modelli potati di solito richiedono un fine-tuning per recuperare accuratezza, e un pruning aggressivo può degradare in silenzio le prestazioni sulle classi rare. Il pruning si abbina in genere alla quantizzazione quando si prepara un modello per un microcontrollore.
Parte del Glossario IoT. Hai trovato un errore o manca un termine? Scrivici.