Come funziona la visione artificiale sul dispositivo nell'IoT?

Una telecamera è il sensore più ricco che la maggior parte dei sistemi IoT avrà mai, e il più costoso da cui spostare i dati. Un singolo stream a risoluzione modesta produce più byte al secondo di tutti gli altri sensori di un sito messi insieme. La visione artificiale (computer vision) sul dispositivo risolve questo squilibrio trasformando i pixel in pochi numeri o eventi prima che qualcosa esca dalla telecamera: un conteggio di persone, un riquadro di delimitazione (bounding box), la lettura di un manometro, una segnalazione di difetto.

La visione sul dispositivo è anche la forma più visibile di edge AI, e quella con l’argomento più chiaro a favore della privacy. Una telecamera che invia “tre persone sono entrate tra le 9 e le 10” è un prodotto diverso, sul piano legale e sociale, da una che trasmette volti in streaming a un server.

Questa guida percorre la pipeline dall’acquisizione all’azione, i tipi di compiti di visione e quanto costano, le fasce hardware che possono eseguirli, i modelli adatti e i limiti onesti del fare visione in locale.

Com’è fatta la pipeline?

Ogni sistema di visione sul dispositivo ha le stesse cinque fasi, e il modello è solo una di esse.

Acquisizione: un sensore fornisce frame su un’interfaccia parallela, MIPI CSI o USB a una certa risoluzione e frequenza. Scegliere la risoluzione e il frame rate più bassi che risolvono ancora il problema è la singola decisione più importante per le prestazioni.

Pre-elaborazione: i frame vengono ritagliati, ridimensionati alla dimensione di input del modello, convertiti tra formati colore e normalizzati. Su hardware piccolo questa fase può costare quanto l’inferenza, e conviene farla nel processore del segnale immagine (ISP) o con il ridimensionamento accelerato in hardware, dove disponibile.

Inferenza: il modello gira su CPU, GPU o NPU e produce output grezzi, per esempio una griglia di punteggi di classe e di offset dei riquadri.

Post-elaborazione: gli output grezzi diventano risultati. Per il rilevamento significa decodificare i riquadri, applicare una soglia di confidenza ed eseguire la soppressione dei non massimi (non-maximum suppression) per eliminare i duplicati. Per il tracciamento, i risultati vengono collegati tra un frame e l’altro.

Azione: i risultati diventano eventi, messaggi MQTT, un comando a un attuatore locale o una miniatura archiviata per la revisione. È qui che il sistema decide cosa, se mai qualcosa, vale la pena trasmettere.

Quale compito di visione scegliere?

I compiti di visione differiscono di un ordine di grandezza nel costo, quindi il compito dovrebbe essere il più piccolo che risponde alla domanda.

La classificazione di immagini assegna un’unica etichetta all’intero frame. È la più economica e gira sui microcontrollori. Risponde a “lo scaffale è vuoto?” o “questo pezzo è buono o difettoso?” quando la telecamera è fissa e il soggetto riempie il frame.

Il rilevamento degli oggetti trova e localizza più oggetti con riquadri di delimitazione. È il cavallo da tiro del conteggio delle persone, del rilevamento dei veicoli e del monitoraggio della sicurezza, e richiede almeno un processore di classe applicativa o un microcontrollore con una NPU per la visione.

La segmentazione semantica e di istanza etichetta ogni pixel. Serve per misurare aree, per esempio il livello di riempimento di un contenitore o l’estensione di un difetto di saldatura, e costa diverse volte più del rilevamento a parità di risoluzione.

La stima dei punti chiave e della posa individua articolazioni o punti di riferimento. Supporta il rilevamento delle cadute e il monitoraggio ergonomico senza identificare nessuno, una proprietà utile per la privacy.

Il riconoscimento ottico dei caratteri (OCR) legge testo da contatori, etichette o targhe. Di solito è una pipeline a due stadi, rilevamento seguito da riconoscimento, ed è uno dei carichi di lavoro più pesanti di questo elenco.

Quali fasce hardware eseguono la visione?

La guida all’edge AI descrive lo spettro generale dell’hardware. Per la visione in particolare contano quattro fasce.

I microcontrollori con interfaccia per telecamera, come l’ESP32-S3 o i componenti Cortex-M con una NPU Arm Ethos-U, eseguono classificazione e rilevamento grossolano a bassa risoluzione, tipicamente da 96 per 96 a 160 per 160 pixel, a pochi frame al secondo. È la fascia del TinyML spiegato, e il suo punto di forza sono il rilevamento di presenza e l’ispezione semplice a batteria.

I processori applicativi con NPU integrata, come l’NXP i.MX 8M Plus, i componenti Rockchip e Qualcomm e un Raspberry Pi dotato di un modulo acceleratore, eseguono veri modelli di rilevamento a 320 per 320 o più, a frame rate pratici, su uno o due stream.

Le GPU edge, la più visibile delle quali è la famiglia NVIDIA Jetson, gestiscono più stream, segmentazione, posa e tracciamento, e possono eseguire modelli più grandi. Assorbono decine di watt e vanno messe in una scatola con una ventola, non dentro un sensore.

Le smart camera racchiudono sensore, processore e runtime in un’unica unità, spesso con il model zoo del fornitore. Accorciano il tempo di deployment e allungano il vendor lock-in, che è il solito compromesso.

Quali modelli sono adatti?

Le famiglie di modelli progettate per l’uso mobile ed embedded dominano la visione sul dispositivo. MobileNet ed EfficientNet-Lite sono le backbone di classificazione più comuni. Per il rilevamento, le varianti SSD ed EfficientDet-Lite costruite su quelle backbone, e i membri più piccoli della famiglia YOLO, sono le scelte standard sui processori applicativi.

Per la fascia dei microcontrollori vale la pena conoscere FOMO (Faster Objects, More Objects) di Edge Impulse: sostituisce i riquadri di delimitazione con una griglia grossolana di centroidi degli oggetti, il che rende fattibile il rilevamento con una frazione della memoria, al prezzo di perdere la dimensione degli oggetti.

Qualunque sia la famiglia, i passi di deployment sono quelli descritti nella guida all’edge AI: quantizzazione a 8 bit, esportazione verso il runtime supportato dall’hardware e compilazione per la NPU. I modelli di visione sono particolarmente sensibili agli operatori che l’acceleratore supporta, e un singolo livello non supportato può rispedire l’intera rete sulla CPU.

Come farla girare bene?

La risoluzione è la leva con l’effetto maggiore. Dimezzare larghezza e altezza dell’input riduce il calcolo di circa quattro volte. Un modello di rilevamento che deve trovare persone entro dieci metri non ha bisogno di alta risoluzione; uno che legge testo piccolo sì. Misura l’accuratezza a diverse dimensioni di input prima di fissare l’hardware.

Il frame rate è la seconda leva. La maggior parte dei compiti di monitoraggio non ha bisogno di ogni frame. Eseguire l’inferenza ogni tre o cinque frame e usare un tracker leggero nel mezzo mantiene i risultati fluidi a una frazione del costo.

Il ritaglio della regione di interesse è la terza. Se la domanda riguarda solo una porta o un nastro trasportatore, ritaglia il frame su quella zona prima che il modello lo veda.

Illuminazione, scelta dell’obiettivo e posizionamento della telecamera decidono più del modello. Una telecamera ben posizionata con illuminazione costante e un modello mediocre batte il contrario. Raccogli i dati di addestramento dalla posizione di montaggio definitiva, in tutte le condizioni di luce che il sito sperimenta, compresi la notte e i riflessi.

Come gestire la privacy, e quando la visione locale è lo strumento sbagliato?

La visione sul dispositivo ti dà la possibilità di non archiviare né trasmettere mai un frame, e la progettazione dovrebbe dire esplicitamente se sfrutta questa possibilità. Un default ragionevole è trasmettere eventi e conteggi, conservare localmente un breve buffer circolare di frame per il debug e inviare una miniatura solo su trigger specifici, con i volti sfocati se il compito non li richiede. Dove si applica una normativa, tenere il video grezzo in sede trasforma una domanda di conformità difficile in una più facile.

La visione locale è lo strumento sbagliato quando il compito richiede un modello grande che non ci sta, quando i modelli cambiano ogni settimana, quando il sito dispone di un backhaul economico e illimitato e non ha vincoli di privacy, o quando un sensore più semplice risponde alla domanda. Una fotocellula a barriera conta i pezzi su un nastro trasportatore in modo più affidabile di una telecamera, e un contatore intelligente (smart meter) si legge da solo. Ricorri alla telecamera quando la domanda è davvero visiva e la risposta va trovata sul posto.

Per continuare

• Edge AI spiegata tratta il panorama generale di hardware, compressione e runtime.
• TinyML spiegato descrive la fascia dei microcontrollori dove vive la visione a bassa risoluzione.
• Agenti AI nel reparto produttivo mostra come gli eventi di visione alimentano l’automazione di livello superiore.
• Edge computing spiegato è il contesto infrastrutturale per l’elaborazione in sede.

Argomenti: visione artificiale, rilevamento degli oggetti, edge AI, NPU