Proces narzędzia do wykrywania anomalii

Databricks
Service Bus
Konta magazynu

W tym artykule przedstawiono architekturę niemal w czasie rzeczywistym implementacji procesu wykrywania anomalii.

Architektura

Diagram architektury procesu wykrywania anomalii.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Dane szeregów czasowych mogą pochodzić z wielu źródeł, takich jak Azure Database for MySQL, Blob Storage, Event Hubs, Azure Cosmos DB, SQL Database i Azure Database for PostgreSQL.
  2. Dane są pozyskiwane do zasobów obliczeniowych z różnych źródeł magazynu, które mają być monitorowane przez Narzędzie do wykrywania anomalii.
  3. Usługa Databricks pomaga agregować, próbkować i obliczać nieprzetworzone dane w celu wygenerowania czasu z wykrytymi wynikami. Usługa Databricks może przetwarzać strumienie i dane statyczne. Usługi Stream Analytics i Azure Synapse mogą być alternatywami na podstawie wymagań.
  4. Interfejs API narzędzia do wykrywania anomalii wykrywa anomalie i zwraca wyniki do obliczenia.
  5. Metadane związane z anomalią są kolejkowane.
  6. Usługa Application Insights wybiera komunikat z kolejki komunikatów na podstawie metadanych związanych z anomalią i wysyła alert o anomalii.
  7. Wyniki są przechowywane w usłudze Azure Data Lake Service Gen2.
  8. Aplikacje internetowe i usługa Power BI mogą wizualizować wyniki wykrywania anomalii.

Składniki

Kluczowe technologie używane do implementowania tej architektury:

  • Service Bus: niezawodna obsługa komunikatów w chmurze jako usługa (MaaS) i prosta integracja hybrydowa.
  • Azure Databricks: szybka, łatwa i wspólna usługa analizy oparta na platformie Apache Spark.
  • Power BI: interaktywne narzędzia do analizy biznesowej wizualizacji danych.
  • Konta magazynu: trwały, wysoce dostępny i wysoce skalowalny magazyn w chmurze.
  • Cognitive Services: usługi oparte na chmurze z interfejsami API REST i zestawami SDK bibliotek klienta dostępne w celu ułatwienia tworzenia analizy poznawczej w aplikacjach.
  • Logic Apps: bezserwerowa platforma do tworzenia przepływów pracy przedsiębiorstwa, które integrują aplikacje, dane i usługi. W tej architekturze aplikacje logiki są wyzwalane przez żądania HTTP.
  • Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 zapewnia semantyka systemu plików, zabezpieczenia na poziomie plików i skalowanie.
  • Application Insights: Usługa Application Insights to funkcja usługi Azure Monitor, która zapewnia rozszerzone zarządzanie wydajnością aplikacji (APM) i monitorowanie na żywo aplikacji internetowych.

Alternatywy

  • Usługa Event Hubs z platformą Kafka: alternatywa dla uruchamiania własnego klastra platformy Kafka. Ta funkcja usługi Event Hubs udostępnia punkt końcowy zgodny z interfejsami API platformy Kafka.
  • Azure Synapse Analytics: usługa analityczna, która łączy magazynowanie danych przedsiębiorstwa i analizę danych big data.
  • Azure Machine Learning: tworzenie, trenowanie, wdrażanie i zarządzanie niestandardowymi modelami uczenia maszynowego/wykrywania anomalii w środowisku opartym na chmurze.

Szczegóły scenariusza

Interfejs API Narzędzie do wykrywania anomalii usług Azure Cognitive Services umożliwia monitorowanie i wykrywanie nieprawidłowości w danych szeregów czasowych bez konieczności znajomości uczenia maszynowego. Algorytmy interfejsu API są dostosowywane przez automatyczne identyfikowanie i stosowanie najlepszych modeli do danych szeregów czasowych, niezależnie od branży, scenariusza lub ilości danych. Określają one granice wykrywania anomalii, oczekiwanych wartości i nietypowych punktów danych.

Potencjalne przypadki użycia

Niektóre obszary, które pomagają monitorować wykrywanie anomalii:

  • Oszustwa bankowe (branża finansowa)
  • Wady strukturalne (przemysł produkcyjny)
  • Problemy medyczne (branża opieki zdrowotnej)

Zagadnienia do rozważenia

Te zagadnienia implementują filary platformy Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

Skalowalność

Większość składników używanych w tym przykładowym scenariuszu to usługi zarządzane, które będą automatycznie skalowane.

Aby uzyskać ogólne wskazówki dotyczące projektowania skalowalnych rozwiązań, zobacz listę kontrolną dotyczącą wydajności wydajności w Centrum architektury platformy Azure.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Omówienie filaru zabezpieczeń.

Tożsamości zarządzane dla zasobów platformy Azure są używane do zapewniania dostępu do innych zasobów wewnętrznych konta, a następnie przypisywanych do Azure Functions. Zezwól tym tożsamościom na dostęp tylko do wymaganych zasobów, aby upewnić się, że nic dodatkowego nie jest widoczne dla Twoich funkcji (i potencjalnie dla klientów).

Aby uzyskać ogólne wskazówki dotyczące projektowania bezpiecznych rozwiązań, zobacz dokumentację zabezpieczeń platformy Azure.

Odporność

Wszystkie składniki w tym scenariuszu są zarządzane, więc na poziomie regionalnym są one automatycznie odporne.

Aby uzyskać ogólne wskazówki dotyczące projektowania odpornych rozwiązań, zobacz Projektowanie odpornych aplikacji na platformę Azure.

Optymalizacja kosztów

Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.

Aby zapoznać się z kosztem działania tego scenariusza, zobacz wstępnie wypełniony kalkulator ze wszystkimi usługami. Aby zobaczyć, jak ceny zmienią się dla konkretnego przypadku użycia, zmień odpowiednie zmienne, aby odpowiadały oczekiwanemu ruchowi/woluminom danych.

Udostępniliśmy trzy przykładowe profile kosztów na podstawie ilości ruchu (zakładamy, że wszystkie obrazy mają rozmiar 100 KB):

  • Przykładowy kalkulator: ten przykład cenowy to kalkulator ze wszystkimi usługami w tej architekturze, z wyjątkiem usługi Power BI i niestandardowego rozwiązania do zgłaszania alertów.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Został pierwotnie napisany przez następujących współautorów.

Główny autor:

Aby wyświetlić niepublice profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki