Dati

Elaborazione in streaming

Calcolare di continuo sui dati man mano che arrivano, evento per evento o in piccole finestre, invece di aspettare per elaborarli in grandi batch.

L’elaborazione in streaming (stream processing) è il modo in cui i back end IoT reagiscono quasi in tempo reale. Un framework come Apache Flink, Kafka Streams o un equivalente cloud legge gli eventi da una coda di messaggi, mantiene uno stato per dispositivo o per finestra ed emette risultati in continuo: una media mobile, il superamento di una soglia, il conteggio dei dispositivi diventati silenziosi negli ultimi minuti. Generalizza le condizioni semplici di un motore di regole a una logica con stato e join.

Il compromesso rispetto all’elaborazione batch è la complessità. I sistemi di streaming devono gestire eventi in ritardo e fuori ordine, la semantica exactly-once e il recupero dello stato dopo un guasto, e tutto questo richiede lavoro di ingegneria. Molte pipeline usano lo streaming per gli avvisi e il batch per i report.

Parte del Glossario IoT. Hai trovato un errore o manca un termine? Scrivici.