Une anomalie représente tout changement dans un modèle de données et se manifeste souvent sous la forme d’aberrations statistiques ou de séquences anormales. La détection des anomalies consiste à repérer les valeurs aberrantes, c’est-à-dire les points de données et les observations qui s’écartent considérablement de ce qui est habituel et attendu. Ces anomalies, qui sont rares et ne correspondent pas aux tendances habituelles, peuvent indiquer des problèmes comme la fraude ou des dysfonctionnements du système.

Bien sûr, il est important de différencier une anomalie d’une nouveauté. Une anomalie est un écart par rapport aux normes établies, qui signale souvent un problème. En revanche, la détection des nouveautés consiste à repérer des modèles qui n’ont pas été observés pendant la phase d’entraînement du modèle, en se concentrant sur les nouveaux points de données qui pourraient indiquer des tendances émergentes.

La détection des anomalies et des nouveautés est cruciale pour surveiller et réagir aux données, car elle fournit des aperçus sur les perturbations potentielles ou les nouveaux développements. Ces méthodes sont particulièrement utiles dans le domaine de la cybersécurité, où elles permettent de traiter de manière préventive les écarts par rapport aux modèles attendus.

Il existe trois types d’anomalies repérées dans les systèmes de détection des anomalies, chacune étant cruciale pour comprendre les différents modèles qui s’écartent de ce qui est attendu. Chaque type présente des caractéristiques distinctes et nécessite des stratégies et des outils analytiques différents pour être identifié et géré.

Anomalies ponctuelles/globales

Il s’agit d’un point de données unique qui a été identifié comme trop éloigné des autres. Les anomalies globales sont faciles à repérer, car elles diffèrent considérablement de l’ensemble des données.

Anomalies contextuelles

Également appelées « valeurs aberrantes conditionnelles », ces anomalies sont anormales dans le contexte d’un ensemble de données, mais normales dans le contexte d’un autre. Il s’agit du type d’anomalie contextuelle le plus courant dans les données chronologiques, où le contexte est défini par le temps.

Anomalies collectives

Ces anomalies se produisent lorsqu’un sous-ensemble complet de données est anormal par rapport à un ensemble plus large de données. Les points de données individuels ne sont pas pris en compte lors de l’identification des anomalies collectives. Ce type d’anomalie est souvent observé lors de l’analyse de modèles complexes dans différents ensembles de données.

La détection des anomalies remonte au début du 19^e siècle, lorsque les statisticiens ont été confrontés pour la première fois à des valeurs aberrantes dans leurs données. Au départ, ces valeurs aberrantes étaient simplement considérées comme des erreurs ou des bruits supplémentaires, et les méthodes pour les traiter étaient rudimentaires, reposant principalement sur des outils statistiques de base pour signaler les écarts.

Ce domaine a considérablement progressé au milieu du 20^e siècle avec l’avènement des ordinateurs. Grâce aux progrès technologiques, il est devenu possible de traiter des ensembles de données plus volumineux et d’appliquer des algorithmes plus complexes pour identifier les anomalies. L’essor de l’apprentissage machine (ML) a transformé encore plus la détection des anomalies, en introduisant des méthodes sophistiquées comme les réseaux neuronaux, les machines à vecteurs de soutien et la mise en grappe. Ces innovations ont automatisé et affiné le processus, faisant de la détection des anomalies un outil essentiel dans des secteurs tels que la finance et la santé.

La détection des anomalies est cruciale dans divers secteurs, comme la finance, la vente au détail et la cybersécurité, mais son importance s’étend à pratiquement toutes les entreprises. Cette technologie automatise l’identification des valeurs aberrantes qui pourraient être préjudiciables, protégeant ainsi les données précieuses. Comme elle joue un rôle important dans l’identification des modèles irréguliers, la détection des anomalies peut contribuer à protéger les données des organisations et des clients.

Les données sont souvent décrites comme le moteur des entreprises modernes, et leur compromission peut avoir de graves conséquences. Sans mécanismes efficaces de détection des anomalies, les entreprises risquent de perdre des revenus et la confiance durement acquise de leurs clients. L’impact de ces pertes va au-delà des dommages financiers immédiats : les entreprises sont confrontées à la perte potentielle de leur image de marque et de la fidélité de leurs clients, qui sont beaucoup plus difficiles à restaurer.

En fait, la perte d’informations sensibles sur les clients due à une détection inadéquate des anomalies peut entraîner une rupture de confiance difficile, voire impossible, à réparer. Les clients s’attendent à ce que leurs données soient traitées de manière sûre et responsable, et tout manquement à cet égard peut entraîner une atteinte à la réputation à long terme. La détection des anomalies permet de préserver l’intégrité des données des clients et, par extension, la confiance que ceux-ci accordent à une entreprise.

Un système de détection des anomalies nécessite soit un travail manuel pour l’analyse, soit l’utilisation de l’apprentissage machine (ML). Cela peut s’avérer difficile, car cela nécessite une solide connaissance du domaine et la nécessité difficile de prédire les anomalies statistiques possibles avant qu’elles ne se manifestent.

L’un des principaux défis de la mise en œuvre d’une stratégie efficace de détection des anomalies est le manque initial de familiarité avec la technologie dans la plupart des organisations, ce qui peut rendre le processus de mise à l’échelle complexe et gourmand en ressources.

Le maintien de l’intégrité des efforts de détection une fois le système en place est un autre défi permanent. Il nécessite une surveillance et des ajustements continus à mesure que les modèles de données évoluent et que de nouveaux types d’anomalies apparaissent. Cet aspect dynamique de la détection des anomalies exige une vigilance et une adaptabilité constantes de la part des entreprises.

L’apprentissage machine a révolutionné la manière dont les anomalies sont détectées en permettant aux systèmes d’apprendre à partir des données, d’identifier des modèles et de prédire les résultats futurs. Cela s’avère particulièrement efficace dans les environnements où la complexité et le volume des données dépassent les capacités d’analyse humaines. Une fois entraînés sur un ensemble de données, les modèles d’apprentissage machine peuvent traiter de grands volumes d’informations de façon efficace et détecter les écarts par rapport aux modèles établis sans programmation explicite.

Données non structurées

Les données structurées reposent sur une base de compréhension et de signification : elles ont été interprétées et organisées en un ensemble de données digestible. Les données codées ou non structurées peuvent rendre un algorithme inutile tant qu’elles ne sont pas structurées, car il est difficile d’interpréter et de comprendre le contexte des données.

Ensembles de données volumineux

Un bon ensemble de données à analyser doit être suffisamment volumineux pour établir une tendance fiable et identifier les anomalies appropriées. La détection peut en bénéficier, car il est impossible de tirer des conclusions plus valables à partir d’un ensemble de données plus petit, et un ensemble de données plus grand peut révéler une anomalie plutôt qu’un élément qui pourrait faire partie d’une tendance ou qui n’est pas aussi atypique que prévu. 

Les techniques de détection des anomalies consistent principalement à identifier les écarts par rapport aux modèles attendus dans les distributions de données. Ces techniques peuvent être classées en méthodes supervisées et non supervisées, chacune utilisant des approches différentes pour discerner les anomalies.

Supervisées

Les techniques supervisées nécessitent un ensemble de données étiquetées, dont les résultats sont déjà connus, pour entraîner le modèle à identifier les anomalies. Cette approche est particulièrement efficace lorsqu’il existe de nombreuses données historiques et que les anomalies ont déjà été identifiées. Les principales techniques de détection supervisée des anomalies sont les suivantes :

• Détection basée sur la densité : La détection d’anomalies basée sur la densité part du principe que tous les points de données nominaux sont proches les uns des autres, tandis que les anomalies en sont éloignées. Elle est basée sur l’algorithme simple et non paramétrique des K plus proches voisins (KPPV) qui est généralement utilisé pour classer des données en fonction de leurs similitudes d’après des mesures comme les distances de Manhattan, de Minkowski, de Hamming, ou la distance euclidienne.
• Détection d’anomalies basée sur les machines à vecteurs de support (MVS) : Les MVS utilisent généralement l’apprentissage supervisé, mais certaines options permettent aussi d’identifier des anomalies dans les environnements d’apprentissage non supervisés. Une frontière souple est apprise et appliquée à l’ensemble d’apprentissages, les instances de données normales sont regroupées à l’intérieur de la frontière et les anomalies sont identifiées comme des anomalies qui se situent en dehors de la frontière apprise.

Non supervisé

Les techniques non supervisées ne nécessitent pas de données étiquetées, ce qui les rend adaptées aux scénarios où les anomalies ne sont pas connues ou étiquetées au préalable. Cette flexibilité permet une application plus large, mais avec une précision potentiellement moindre que les méthodes supervisées.

• Détection basée sur la mise en grappe : La détection basée sur la mise en grappe repose sur l’hypothèse que des points de données similaires ont tendance à appartenir à des grappes ou groupes similaires, ce qui est déterminé par leur distance par rapport aux centroïdes locaux (la moyenne de tous les points). L’algorithme de mise en grappe k-means crée des grappes « k » de points de données similaires. Les anomalies correspondent à tout point qui se situe à l’extérieur de ces grappes « k ».

Les données de séries chronologiques sont des séquences de valeurs recueillies au fil du temps. Chaque point de données peut comporter deux mesures : la date et l’heure de la collecte, ainsi que la valeur observée. Les données sont recueillies en continu et servent principalement à prédire des événements futurs plutôt qu’à fournir une projection en soi. Les anomalies dans des séries chronologiques peuvent servir à détecter :

• Utilisateurs actifs
• Pages Web vues
• CPC
• CPL
• Taux de rebond
• Taux de perte
• Valeur moyenne des commandes
• Installations d’applications mobiles

La détection d’anomalies dans des séries chronologiques établit une base de référence représentant le comportement habituel des ICP identifiés.

• Nettoyage de données
• Détection d’une intrusion
• Détection des fraudes
• Surveillance de l’intégrité des systèmes
• Détection d’événements dans les réseaux de capteurs
• Perturbations de l’écosystème

Détection d’anomalies pour la performance des services

Une approche réactive peut entraîner des interruptions et des problèmes de performance qui causent des impacts avant même qu’une solution soit trouvée. La détection d’anomalies en matière de performance aide les entreprises à prévoir quand et pourquoi un problème pourrait survenir dans un service d’entreprise. La plupart des secteurs peuvent en bénéficier. Voici deux exemples de secteurs qui peuvent en bénéficier :

• Télécommunications : Les analyses de télécommunications génèrent d’immenses volumes de données, et des solutions avancées sont essentielles pour détecter et prévenir la latence, la gigue et la mauvaise qualité d’appel qui peuvent réduire les performances.
• Technologie publicitaire : La performance d’applications complexes est difficile à surveiller en raison de la rapidité des transactions dans une enchère publicitaire. La détection d’anomalies peut repérer des problèmes dans une application avant qu’elle ne plante, évitant ainsi des interruptions pendant une enchère publicitaire.

Détection d’anomalies pour la performance des systèmes

Les systèmes doivent fonctionner en douceur et avec le moins d’erreurs possible.  La détection des anomalies aide les équipes à détecter et à résoudre rapidement les problèmes de performance. Bien que cela s’applique à de nombreux secteurs différents, voici deux exemples courants :

• Télécommunications Les fournisseurs de télécommunications gèrent de vastes réseaux où même de petites anomalies peuvent entraîner des interruptions de service, des appels interrompus, de la latence ou une mauvaise qualité vocale. La détection d’anomalies permet de repérer les zones de congestion réseau ainsi que les signes de défaillances matérielles ou d’interférences, afin de maintenir une qualité de service élevée.
• Technologie financière : L’industrie financière opère à la milliseconde près, et les applications qui supervisent les transactions doivent être sécuritaires et fiables. La détection d’anomalies peut prévenir les interruptions ou les défaillances en surveillant toute anomalie dans la performance ou les opérations des applications.

Détection des anomalies pour l’expérience utilisateur

L’expérience utilisateur peut être négative si un site subit une dégradation de ses services. La détection des anomalies peut aider les entreprises à réagir à tout dysfonctionnement avant qu’il ne frustre les clients et n’entraîne une perte de revenus. Quelques secteurs peuvent bénéficier de la détection des anomalies de cette manière : 

• Jeux vidéo : Les jeux sont complexes, ce qui rend presque impossible la surveillance manuelle de leurs multiples permutations. L’intelligence artificielle (IA) peut contrer les problèmes et les erreurs dans le cadre d’une expérience utilisateur.
• Commerce en ligne : Les entreprises en ligne s’appuient fortement sur l’expérience utilisateur pour réussir. L’équipe TI doit surveiller et atténuer les erreurs d’API, les temps d’indisponibilité des serveurs et les problèmes de temps de chargement. Une analyse rapide des causes profondes grâce à la détection d’anomalies permet de repérer rapidement un problème afin que les plateformes, centres de données et systèmes d’exploitation puissent être corrigés avec peu ou pas d’interruption.

Lors de la création d’un système de détection des anomalies, plusieurs éléments essentiels doivent être pris en compte afin de garantir qu’il réponde aux besoins spécifiques de votre entreprise :

• Rapidité : Déterminez la vitesse requise pour la détection des anomalies. Une analyse en temps réel est-elle nécessaire ou le système peut-il se permettre d’identifier les anomalies avec un certain retard, par exemple quotidiennement, hebdomadairement ou mensuellement? L’urgence de la réponse guidera les choix en matière d’architecture et de traitement.
• Échelle : Évaluez le volume de données que le système devra traiter. Devra-t-il analyser des centaines, des milliers ou des millions de mesures? L’échelle des données influence les stratégies de calcul et les technologies utilisées.
• Concision : Déterminez si le système doit fournir une vue d’ensemble des anomalies à travers différents indicateurs ou s’il suffit de détecter les anomalies au sein de chaque indicateur. Cela influencera la complexité et la conception des algorithmes de détection.

La détection des anomalies soulève la question suivante : faut-il créer une solution ou acheter un système? Plusieurs éléments importants doivent être pris en compte dans le processus décisionnel :

• La taille de l’entreprise
• Le volume de données à traiter
• La capacité de développement interne
• Les projets d’expansion
• Les exigences des parties prenantes
• Les exigences budgétaires
• La taille de l’équipe disponible
• L’expertise interne en science des données

ServiceNow fournit des outils puissants aux entreprises qui cherchent à améliorer leurs capacités de détection des anomalies. Cela est rendu possible grâce à ServiceNow AI Platform, un système unifié capable d’intégrer les AIOps prédictives et l’automatisation pour surveiller l’infrastructure informatique en temps réel. En offrant une visibilité complète sur les environnements multiples (locaux, dans le nuage et sans serveur), ServiceNow aide les organisations à détecter les anomalies dans les mesures de performance et à remédier rapidement aux perturbations potentielles.

La gestion des opérations informatiques (ITOM) de ServiceNow va encore plus loin. L’application Intelligence mesures d’ITOM permet une analyse proactive de l’infrastructure informatique afin de détecter les baisses de performance et de prévenir les pannes. Définissez automatiquement des seuils dynamiques avec l’apprentissage machine afin de réduire la configuration manuelle et d’identifier rapidement les anomalies. Appliquez Explorateur de mesures pour visualiser les performances des ressources dans tous les éléments de configuration (CI), notamment les conteneurs en nuage natifs. Utilisez la base de données de séries chronologiques pour le stockage à long terme des données, ce qui permet une analyse plus approfondie et une collaboration entre les équipes sur les tendances historiques. ServiceNow rend tout cela possible.

Réduisez les interruptions de service, résolvez les incidents plus rapidement et maintenez des performances système constantes grâce à ITOM de ServiceNow. Demandez une démonstration dès aujourd’hui!