Una modifica che avviene all'interno di un modello di dati, un valore anomalo o un evento che non rientra nello standard. Una deviazione dai risultati attesi non conforme alle aspettative.
Un'anomalia, o un valore anomalo in un modello, può essere indicativa di qualcosa che non rientra nella norma o che potrebbe non andar bene.
Anomalie di punto/globali
Un singolo punto dati che si discosta troppo dal resto del set.
Anomalie contestuali
Un'anomalia che risulta anomala nel contesto di un set di dati ma normale nel contesto di un altro. Si tratta del tipo più comune di anomalia contestuale nei dati delle serie temporali.
Anomalie collettive
Quando un intero sottoinsieme di dati è anomalo rispetto a un set più ampio. I singoli punti di dati non vengono presi in considerazione nell'identificazione delle anomalie collettive.
L'identificazione di un valore anomalo raro o di un punto dati al di fuori delle tendenze di un set di dati. Le anomalie possono essere indicative di eventi sospetti, malfunzionamenti, difetti o frodi.
La sfida della rilevazione delle anomalie
Un sistema di rilevazione delle anomalie richiede, per l'analisi, il ricorso al lavoro manuale o l'uso dell'apprendimento automatico (ML, machine learning). Questo può costituire una difficoltà, poiché richiede una solida conoscenza del dominio e la necessità di prevedere possibili anomalie statistiche prima che vengano rilevate.
Rilevazione delle anomalie con l'apprendimento automatico
Vantaggi della rilevazione delle anomalie e dell'apprendimento automatico
L'apprendimento automatico (ML) è ottimo per rilevare le anomalie: è più tempestivo della rilevazione manuale, è altamente adattabile alle modifiche e consente di gestire facilmente set di dati di grandi dimensioni.
Dati non strutturati
I dati strutturati presentano una base di conoscenza e significato: sono stati interpretati e organizzati in set di dati assimilabili. I dati codificati o non strutturati possono rendere un algoritmo inutile fino a quando non viene strutturato, poiché l'interpretazione dei dati è scarsa così come la comprensione del loro contesto.
Set di dati di grandi dimensioni
Un buon set di dati per l'analisi deve essere sufficientemente esteso per stabilire le tendenze e identificare le anomalie. La rilevazione può trarre vantaggio dall'impossibilità di creare inferenze più valide da un set di dati più piccolo, mentre un set di dati più ampio può rivelare un'anomalia anziché un elemento che potrebbe far parte di una tendenza o che non è anomalo come previsto.
Necessità di talenti
Per addestrare un algoritmo di apprendimento automatico sono necessarie persone con competenze in ingegneristica o data science. A seconda delle funzionalità della soluzione, possono essere necessarie alcune settimane o mesi per addestrare la macchina e, a seconda della soluzione, sono necessari diversi livelli di competenza nell'apprendimento automatico.
Rilevazione delle anomalie in tre impostazioni
Dati supervisionati
I dati supervisionati sono preparati in anticipo e ciascuno dei punti dati è etichettato come "nominale" o "anomalia". Tutte le anomalie vengono identificate in anticipo in modo da addestrare il modello.
Dati puliti
Tutti i punti dati sono etichettati come "nominali", mentre i punti "anomali" non sono etichettati. Nella pulizia dei dati il ruolo di rilevare anomalie è affidato al modellatore di dati, poiché tutti i punti dati all'interno del set pulito sono presumibilmente "nominali".
Dati non supervisionati
I dati non supervisionati arrivano senza etichette "nominali" o "anomali". Il modellatore di dati deve determinare quali punti sono "nominali" e quali "anomalie": non esiste alcuna base o comprensione di quale sia il risultato esatto.
Il processo di identificazione di uno schema che non è stato osservato in una nuova osservazione non contenuta nei dati di addestramento.
L'approccio più semplice per rilevare un'anomalia è identificare le irregolarità all'interno di dati distribuiti che sembrano deviare da una tendenza o da distribuzioni statistiche comuni come media, moda e mediana.
Come utilizzare l'apprendimento automatico per la rilevazione delle anomalie e il monitoraggio delle condizioni.
Trasformazione digitale
Nota anche come digitalizzazione e Industria 4.0, la trasformazione digitale sfrutta tecnologia e dati per semplificare la produttività e aumentare l'efficienza. La disponibilità dei dati è sempre maggiore, poiché macchine e dispositivi sono connessi e in grado di trasferire numerosissimi dati in innumerevoli luoghi. L'obiettivo è estrarre e analizzare le informazioni acquisite dai dati per ridurre i costi e i tempi di inattività: l'apprendimento automatico e l'analisi dei dati svolgono un ruolo importante in questo ambito.
Monitoraggio delle condizioni
Ogni macchina, indipendentemente dalle rispettive complessità, incorrerà in guasti. Ciò non indica che abbia necessariamente raggiunto il termine del suo ciclo di vita o che debba essere dismessa, ma piuttosto che potrebbe essere necessaria una manutenzione per ripristinare le sue prestazioni ottimali e complete. L'analisi di un set di dati di grandi dimensioni può indicare anomalie che consentono di prevedere o segnalare i casi in cui una macchina necessita di manutenzione o sostituzione.
Approcci basati sulla densità
Rilevazione delle anomalie basata sulla densità
La rilevazione delle anomalie basata sulla densità si basa sul presupposto che tutti i punti dati nominali siano vicini tra loro e che le anomalie si discostino da essi. Si basa sull'algoritmo k-nearest neighbors (k-NN), un algoritmo di tipo semplice e non parametrico. L'algoritmo k-NN si usa in genere per classificare i dati in base alle loro somiglianze nelle misurazioni come distanza di Manhattan, distanza di Minkowski, distanza di Hamming o euclidea.
Rilevazione delle anomalie basata sul clustering
Il clustering si basa sul presupposto che punti dati simili tendono ad appartenere a cluster o gruppi simili, e ciò è determinato dalla rispettiva distanza dai centroidi locali (la media di tutti i punti). L'algoritmo di clustering k-means crea cluster "k" di punti dati simili. Le anomalie sono i punti esterni ai cluster "k".
Rilevazione delle anomalie basata su SVM (Support Vector Machine)
SVM solitamente utilizza l'apprendimento supervisionato, ma esistono opzioni che consentono di identificare le anomalie anche in ambienti di apprendimento senza supervisione. Il limite flessibile viene appreso e applicato al set di apprendimento, le normali istanze di dati vengono inserite in cluster entro il limite e le anomalie vengono identificate come tutti gli elementi che non rientrano nel limite appreso.
I dati delle serie temporali sono una sequenza di valori raccolti nel tempo. Ogni punto dati può avere due parametri: ora/data di raccolta del punto dati e relativo valore. I dati vengono raccolti continuamente e utilizzati principalmente per prevedere gli eventi futuri, invece che come proiezione interna. Le anomalie delle serie temporali possono essere utilizzate per rilevare:
Utenti attivi
Visualizzazioni delle pagine Web
CPC
CPL
Frequenza di rimbalzo
Tasso di abbandono
Valore medio dell'ordine
Installazione di app mobili
La rilevazione delle anomalie delle serie temporali stabilisce una baseline per il comportamento tipico nei KPI identificati.
Pulizia dei dati
Rilevazione delle intrusioni
Rilevazione delle frodi
Monitoraggio dello stato dei sistemi
Rilevazione di eventi nelle reti di sensori
Disturbi dell'ecosistema
Rilevazione delle anomalie per le prestazioni del servizio
Un approccio reattivo alla rilevazione delle anomalie può causare tempi di inattività e problemi di prestazioni, che possono avere conseguenze ancor prima che venga trovata una soluzione. La rilevazione delle anomalie nelle prestazioni può aiutare le aziende a prevedere quando e perché potrebbe sorgere un problema all'interno di un servizio di business. La maggior parte dei settori può trarre vantaggio dalla rilevazione, come ad esempio i seguenti due:
Telco: l'analisi delle telecomunicazioni produce enormi set di dati e le soluzioni avanzate sono importanti per rilevare e prevenire latenza, jitter e qualità delle chiamate insoddisfacente che possono abbassare le prestazioni.
Adtech: le prestazioni delle applicazioni complesse possono essere difficili da monitorare, per via della velocità di esecuzione delle transazioni all'interno di un'asta pubblicitaria. La rilevazione delle anomalie può individuare problemi in un'applicazione prima che questa possa bloccarsi, evitando in tal modo tempi di inattività durante un'asta pubblicitaria.
Rilevazione delle anomalie per la qualità del prodotto
I prodotti devono funzionare correttamente e riscontrando il minor numero di errori possibile. L'evoluzione naturale dei prodotti può portare ad anomalie comportamentali in ogni aspetto, da una nuova funzionalità a un test A/B. Il monitoraggio continuo di eventuali anomalie comportamentali può prevenire tempi di inattività o problemi continui. La maggior parte dei settori può trarre vantaggio dalla rilevazione. Di seguito sono riportati due esempi:
E-commerce: la rilevazione delle anomalie consente di individuare eventuali comportamenti anomali o problemi di qualità dei prodotti, come ad esempio problemi di prezzo o variazioni anomale della stagionalità.
FinTech: le operazioni del settore finanziario avvengono in pochi millisecondi. Le applicazioni che controllano le transazioni devono essere sicure e coerenti. La rilevazione delle anomalie prevenire impedire tempi di inattività o problemi grazie alla rilevazione delle eventuali anomalie nelle prestazioni e nelle operazioni dell'applicazione.
Rilevazione delle anomalie per l'esperienza utente
L'esperienza utente può essere negativa se in un sito si riscontra una riduzione delle prestazioni del servizio. La rilevazione delle anomalie può aiutare le aziende a reagire a eventuali errori prima che causino frustrazione nella clientela e determinino una perdita di profitti. Alcuni settori possono trarre vantaggio dalla rilevazione delle anomalie in questo modo:
Gaming: i giochi sono prodotti complicati, il che rende quasi impossibile monitorare manualmente le il monitoraggio manuale delle complessità di permutazione. L'intelligenza artificiale (IA) può contrastare problemi ed errori in un'esperienza utente, come i glitch.
Aziende online: il successo delle aziende online si basa ampiamente sull'esperienza utente. Il team IT deve monitorare e ridurre al minimo gli errori API, i tempi di inattività dei server e i problemi di caricamento. L'analisi rapida della causa principale tramite la rilevazione delle anomalie consente di individuare rapidamente un problema per far sì che piattaforme, data center e sistemi operativi possano essere riparati con tempi di inattività ridotti o nulli.
La rilevazione automatizzata delle anomalie fornisce informazioni accurate in tempo reale e classifica, rileva e raggruppa i dati. Ciò elimina la necessità di disporre di un team di analisti e analiste di dati più esteso.
Apprendimento automatico con e senza supervisione: l'apprendimento automatico può teoricamente avvenire senza supervisione o interazione umana. Tuttavia, è necessaria la presenza di alcuni analisti o analiste che inseriscano i dati baseline e che monitorino occasionalmente il programma di apprendimento automatico.
Soluzione ibrida: rilevazione delle anomalie in scala che offre la flessibilità di creare manualmente regole per anomalie specifiche.
La rilevazione delle anomalie solleva la seguente questione: è meglio sviluppare una soluzione o acquistare un sistema? Ci sono alcuni aspetti importanti da considerare nel processo decisionale:
Dimensione dell'azienda
Volume dei dati che verrà elaborato
Capacità di sviluppo interno
Eventuali piani di espansione
Richieste degli stakeholder
Esigenze di budget
Dimensioni del team disponibile
Competenza interna di data science
Funzionalità che crescono con il tuo business
Prevedi i problemi prima che si verifichino con ServiceNow.