Quantizzazione
La riduzione della precisione numerica dei pesi e delle attivazioni di un modello, per esempio da virgola mobile a 32 bit a interi a 8 bit, per ridurre l'uso di memoria e accelerare l'inferenza.
La quantizzazione (in inglese quantization) converte i numeri all’interno di una rete neurale addestrata in una rappresentazione più piccola. L’aritmetica intera è più veloce ed economica su microcontrollori e NPU, e i pesi a 8 bit occupano un quarto dello spazio dei float a 32 bit. Spesso è il singolo passaggio che permette a un modello di entrare in un target embedded.
Il costo è una piccola perdita di accuratezza, che si può ridurre con l’addestramento consapevole della quantizzazione (quantization-aware training) o calibrando con dati rappresentativi. Alcuni livelli sono più sensibili di altri, quindi gli strumenti consentono la precisione mista. Nei progetti TinyML la quantizzazione è quasi sempre combinata con il pruning. La guida TinyML: machine learning sui microcontrollori mostra dove si colloca nella toolchain.
Parte del Glossario IoT. Hai trovato un errore o manca un termine? Scrivici.