Bearbeiten

Anomalieerkennungsprozess

Azure Databricks
Azure-Servicebus
Azure-Speicherkonten

In diesem Artikel wird eine Architektur für eine Quasi-Echtzeitimplementierung eines Anomalieerkennungsprozesses vorgestellt.

Aufbau

Diagramm der Architektur eines Anomalieerkennungsprozesses.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

  1. Zeitreihendaten können aus verschiedenen Quellen stammen. Hierzu zählen beispielsweise Azure Database for MySQL, Blob Storage, Event Hubs, Azure Cosmos DB, SQL-Datenbank und Azure Database for PostgreSQL.
  2. Daten werden aus verschiedenen Speicherquellen in Computeressourcen erfasst und durch die Anomalieerkennung überwacht.
  3. Databricks unterstützt Sie bei der Aggregierung, Stichprobenentnahme und Berechnung der Rohdaten, um die Zeit mit den erkannten Ergebnissen zu generieren. Von Databricks können Datenstromdaten und statische Daten verarbeitet werden. Abhängig von den Anforderungen sind Stream Analytics und Azure Synapse mögliche Alternativen.
  4. Die Anomalieerkennungs-API erkennt Anomalien und gibt die zu berechnenden Ergebnisse zurück.
  5. Die anomaliebezogenen Metadaten werden in die Warteschlange eingereiht.
  6. Application Insights wählt die Nachricht basierend auf den anomaliebezogenen Metadaten aus der Nachrichtenwarteschlange aus und sendet eine Anomaliewarnung.
  7. Die Ergebnisse werden in Azure Data Lake Storage Gen2 gespeichert.
  8. Webanwendungen und Power BI können die Ergebnisse der Anomalieerkennung visualisieren.

Komponenten

Die wichtigsten für die Implementierung dieser Architektur verwendeten Technologien sind:

  • Service Bus: Zuverlässiges Cloud-MaaS (Messaging-as-a-Service) und einfache Hybridintegration.
  • Azure Databricks: Ein schneller, einfacher und kollaborativer Analysedienst auf Basis von Apache Spark.
  • Power BI: Interaktive BI-Tools für die Datenvisualisierung.
  • Speicherkonten: Dauerhafter, hoch verfügbarer und in hohem Maße skalierbarer Cloudspeicher.
  • Cognitive Services: Cloudbasierte Dienste mit REST-APIs und Clientbibliothek-SDKs, die Ihnen beim Einrichten von kognitiver Intelligenz für Ihre Anwendungen als Hilfe dienen.
  • Logic Apps: Eine serverlose Plattform zum Erstellen von Unternehmensworkflows, in denen Anwendungen, Daten und Dienste integriert sind. In dieser Architektur werden die Logik-Apps durch HTTP-Anforderungen ausgelöst.
  • Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 bietet Dateisystemsemantik, Sicherheit auf Dateiebene und Skalierung.
  • Application Insights: Application Insights ist ein Feature von Azure Monitor, das eine erweiterbare Verwaltung der Anwendungsleistung (Application Performance Management, APM) und Überwachung für Live-Web-Apps ermöglicht.

Alternativen

  • Event Hubs mit Kafka: Eine Alternative zum Ausführen eines eigenen Kafka-Clusters. Dieses Event Hubs-Feature bietet einen Endpunkt, der mit den Kafka-APIs kompatibel ist.
  • Azure Synapse Analytics: Analysedienst, der Data Warehousing für Unternehmen mit Big Data-Analysen vereint.
  • Azure Machine Learning: Erstellen, Trainieren, Bereitstellen und Verwalten von benutzerdefinierten Modellen für maschinelles Lernen und die Anomalieerkennung in einer cloudbasierten Umgebung.

Szenariodetails

Die Anomalieerkennungs-API von Azure Cognitive Services ermöglicht die Überwachung und Erkennung von Anomalien in Zeitreihendaten ohne Machine Learning-Kenntnisse. Die Algorithmen der API passen sich an, indem sie automatisch die am besten geeigneten Modelle für Ihre Zeitreihendaten identifizieren und anwenden – unabhängig von Branche, Szenario oder Datenvolumen. Sie bestimmen Begrenzungen für die Anomalieerkennung, erwartete Werte und anomale Datenpunkte.

Mögliche Anwendungsfälle

Einige Bereiche, in denen die Anomalieerkennung bei der Überwachung hilft:

  • Bankbetrug (Finanzbranche)
  • Strukturelle Defekte (Fertigungsindustrie)
  • Medizinische Probleme (Gesundheitswesen)

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

Skalierbarkeit

Bei den meisten Komponenten dieses Szenarios handelt es sich größtenteils um verwaltete Dienste mit automatischer Skalierung.

Allgemeine Informationen zur Entwicklung skalierbarer Lösungen finden Sie im Azure Architecture Center in der Prüfliste zur Leistungseffizienz.

Sicherheit

Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Übersicht über die Säule „Sicherheit“.

Verwaltete Identitäten für Azure-Ressourcen ermöglichen den Zugriff auf andere interne Ressourcen Ihres Kontos und werden Ihrer Azure Functions-Instanz zugewiesen. Gewähren Sie diesen Identitäten nur Zugriff auf die erforderlichen Ressourcen, um sicherzustellen, dass für Ihre Funktionen (und möglicherweise für Ihre Kunden) keine zusätzlichen Elemente verfügbar gemacht werden.

Allgemeine Informationen zum Entwerfen sicherer Lösungen finden Sie in der Dokumentation zur Azure-Sicherheit.

Resilienz

Da es sich bei allen Komponenten in diesem Szenario um verwaltete Komponenten handelt, ist deren Resilienz auf regionaler Ebene automatisch gewährleistet.

Allgemeine Informationen zur Entwicklung robuster Lösungen finden Sie unter Entwerfen robuster Anwendungen für Azure.

Kostenoptimierung

Bei der Kostenoptimierung geht es um die Suche nach Möglichkeiten, unnötige Ausgaben zu reduzieren und die Betriebseffizienz zu verbessern. Weitere Informationen finden Sie unter Übersicht über die Säule „Kostenoptimierung“.

Informationen zu den Kosten für die Ausführung dieses Szenarios finden Sie im Preisrechner, in dem die Daten aller Dienste bereits vorhanden sind. Wenn Sie wissen möchten, welche Kosten für Ihren spezifischen Anwendungsfall entstehen, passen Sie die entsprechenden Variablen einfach an Ihren voraussichtlichen Datenverkehr bzw. Ihre Datenmengen an.

Basierend auf dem Datenverkehr (und unter der Annahme, dass alle Bilder 100 KB groß sind) haben wir drei exemplarische Kostenprofile erstellt:

  • Beispielrechner: Dieses Preisbeispiel umfasst einen Rechner mit allen Diensten dieser Architektur, mit Ausnahme von Power BI und einer benutzerdefinierten Warnungslösung.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.

Nächste Schritte