Projektauftrag

Softwaresysteme produzieren oft eine sehr große Anzahl an Logdaten. Verstärkt durch den Shift Richtung cloudbasierter Services und deren Microservice Architekturen erhöht sich die Anzahl an unterschiedlicher Logquellen stark. Da Logdaten eine wichtige Auskunft über den Zustand eines Systems geben, war es das Ziel des Projekts eine Plattform zu entwickeln, die Anomalien anhand der unterschiedlichen Logabläufe erkennt.

Vorgehensweise bei der Umsetzung

Es wurde eine Plattform basierend auf Open Source Technologien (Kubernetes, Kafka, Elastic Stack) entwickelt, die die Logdaten aus unterschiedlichsten Quellen für die Anomalie-Erkennung entsprechend aufbereitet und weiterverarbeitet. Bei der Umsetzung war es von Bedeutung, dass die Komponenten ohne größeren Aufwand sowohl On Premise als auch in einer Public Cloud lauffähig sind. Es wurde ein Modell basierend auf einem neuronalen Netz (konkret LSTM) entwickelt, das Anomalien anhand Logsequenzen erkennen kann. Diese gefundenen Anomalien – zusammen mit den anderen Logdaten – werden in einem zentralen Datenspeicher abgelegt und können somit durchsuchbar und visualisierbar gemacht werden.

Aufgabe der ITCS Firma

  • Analyse der Inputdaten
  • Aufbau einer Pipeline für Online Anomalie Erkennungen und Offline Training
  • Entwicklung eines Modells zur Erkennung von Anomalien in sequenzbasierten Daten
  • Integration in das zentralisierte Logaggregierungssystem inklusive Visualisierungsmöglichkeit

Kundennutzen

  • Die rohen Logdaten werden automatisch aufbereitet und es werden so genannte Event Templates extrahiert inklusive der dynamischen Logparameter.
  • Die automatische Anomalie Erkennung unterstützt beim Analysieren von Fehlern im System und verkürzt dadurch die Analysezeit.
  • Basierend auf den gefundenen Anomalien können entsprechende Visualisierungen oder fortführende Automatismen (z.B. Alamierungen) gebaut werden.

BearingPoint GmbH

Standort Graz

officegraz@bearingpoint.com