Unità di elaborazione neurale (NPU)
Un acceleratore hardware specializzato nelle operazioni matriciali e di convoluzione delle reti neurali, che offre molte più inferenze per watt di una CPU generica.
Una NPU (neural processing unit) è un blocco, integrato in un system on chip o montato su un modulo separato, costruito per eseguire in modo efficiente i livelli di una rete neurale. In genere esegue aritmetica intera su molte unità di moltiplicazione e accumulo in parallelo, ed è per questo che i modelli vengono di solito quantizzati prima di essere destinati a una NPU. I chip dei telefoni, i box di edge AI e persino alcuni microcontrollori ne includono ormai una.
Per l’IoT la NPU è ciò che rende possibile la visione artificiale o l’analisi audio in tempo reale entro un budget energetico ridotto. Un modulo telecamera con NPU può eseguire il rilevamento degli oggetti su ogni frame senza ventola e senza alimentazione da rete. Il compromesso è il lock-in sulla toolchain: la NPU di ogni fornitore supporta un insieme specifico di operatori e formati, quindi un modello che gira su una può richiedere conversione o riaddestramento per un’altra.
Parte del Glossario IoT. Hai trovato un errore o manca un termine? Scrivici.