Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W tym artykule opisano sposób używania usług Azure Data Explorer i Azure Service Bus w celu ulepszenia istniejącej architektury brokera komunikatów przy użyciu analizy niemal w czasie rzeczywistym. Jest ona przeznaczona dla administratorów IT, architektów chmury i zespołów ds. operacji i monitorowania.
Architektura
Pobierz plik programu Visio z tą architekturą.
Logo Grafana jest znakiem towarowym Raintank, Inc., dba Grafana Labs. Użycie tego znaku oznacza nie jest dorozumiane.
Diagram przedstawia dwie ścieżki danych. Ścieżka główna, która jest reprezentowana przez linie stałe i pola od 1 do 5, to pozyskiwanie danych z różnych źródeł do magistrali usług, gdzie jest przetwarzane przez zadanie analizy strumienia i przechowywane w bazie danych SQL. Druga ścieżka, która jest reprezentowana przez kropkowane linie i pola, pokazuje dane przepływające z magistrali usług do klastra usługi Azure Data Explorer, w którym można wykonywać zapytania i analizować za pośrednictwem język zapytań Kusto (KQL).
Usługa Service Bus służy do implementowania wzorca bilansowania obciążenia opartego na kolejce dla aplikacji transakcyjnej.
Usługa Azure Data Explorer służy do uruchamiania analizy niemal w czasie rzeczywistym i uwidaczniania danych za pośrednictwem interfejsów API lub bezpośrednich zapytań do, na przykład do pulpitów nawigacyjnych usługi Power BI, Azure Managed Grafana lub Azure Data Explorer.
Przepływ danych
Źródło danych w architekturze jest istniejącą aplikacją przetwarzania transakcji online (OLTP). Usługa Service Bus służy do asynchronicznego skalowania aplikacji w poziomie.
Aplikacja OLTP (źródło danych), hostowana w usłudze aplikacja systemu Azure Service, wysyła dane do usługi Service Bus.
Dane przepływa z usługi Service Bus w dwóch kierunkach:
W istniejącym przepływie aplikacji OLTP wyzwala aplikację funkcji do przechowywania danych w usłudze Azure SQL Database, Azure Cosmos DB lub podobnej operacyjnej bazie danych.
W przepływie analizy niemal w czasie rzeczywistym wyzwala przepływ aranżacji.
Przepływ aranżacji wysyła dane do usługi Azure Data Explorer na potrzeby analizy niemal w czasie rzeczywistym. Przepływ może używać jednego z następujących elementów:
- Aplikacja funkcji korzystająca z zestawów SDK do wysyłania danych w mikrosadach lub korzystająca z zarządzanej obsługi pozyskiwania przesyłania strumieniowego zapewnianego przez usługę Azure Data Explorer, gdy jest skonfigurowana do pozyskiwania przesyłania strumieniowego.
- Usługa sondowania, taka jak aplikacja hostowana w usłudze Azure Kubernetes Service (AKS) lub maszynie wirtualnej platformy Azure, która wysyła dane do usługi Azure Data Explorer w mikrosadach. Ta opcja nie wymaga konfigurowania pozyskiwania przesyłania strumieniowego w usłudze Azure Data Explorer.
Usługa Azure Data Explorer przetwarza dane przy użyciu mapowania schematu i zasad aktualizacji oraz udostępnia je za pośrednictwem interfejsu API, zestawu SDK lub łącznika na potrzeby interaktywnej analizy lub raportowania. Opcjonalnie usługa Azure Data Explorer może również pozyskiwać lub odwoływać się do danych z innych źródeł danych, takich jak SQL Database lub Azure Data Lake Storage.
Aplikacje, usługi niestandardowe lub usługi raportowania, takie jak pulpity nawigacyjne usługi Azure Data Explorer, usługa Power BI i usługa Azure Managed Grafana, mogą wysyłać zapytania o dane w usłudze Azure Data Explorer niemal w czasie rzeczywistym.
Składniki
- Usługa App Service umożliwia tworzenie i hostowanie aplikacji internetowych, zapleczy mobilnych i interfejsów API RESTful w wybranym języku programowania bez zarządzania infrastrukturą.
- Usługa Service Bus zapewnia niezawodną obsługę komunikatów w chmurze jako usługę.
- SQL Database to w pełni zarządzana baza danych SQL utworzona dla chmury. Zapewnia ona automatyczne aktualizacje, aprowizowanie, skalowanie i kopie zapasowe.
- Usługa Azure Cosmos DB to globalnie rozproszona wielomodelowa baza danych dla aplikacji o dowolnej skali.
- Azure Functions to bezserwerowa platforma obliczeniowa oparta na zdarzeniach. Za pomocą usługi Functions można wdrażać i działać na dużą skalę w chmurze oraz używać wyzwalaczy i powiązań w celu zintegrowania usług.
- Usługa AKS to wysoce dostępna, wysoce bezpieczna i w pełni zarządzana usługa Kubernetes dla obciążeń aplikacji i mikrousług.
- Azure Data Explorer to szybka, w pełni zarządzana i wysoce skalowalna usługa analizy danych umożliwiająca analizę dużych ilości danych przesyłanych strumieniowo z aplikacji, witryn internetowych, urządzeń IoT i innych.
- Usługa Data Lake Storage oparta na usłudze Azure Blob Storage zapewnia wysoce skalowalną funkcjonalność magazynu data lake.
- Usługa Power BI może pomóc przekształcić dane w spójne, wizualnie immersyjne, interaktywne szczegółowe informacje.
- Azure Managed Grafana to w pełni zarządzana usługa, która umożliwia wdrażanie narzędzia Grafana bez poświęcania czasu na konfigurację.
Szczegóły scenariusza
Analiza w czasie rzeczywistym to proces analizowania danych zaraz po wygenerowaniu w celu uzyskania wglądu w bieżący stan systemu. Organizacje coraz częściej wdrażają analizę w czasie rzeczywistym, aby uzyskać przewagę konkurencyjną. Analiza niemal w czasie rzeczywistym jest wariantem analizy w czasie rzeczywistym, która zapewnia szczegółowe informacje w ciągu kilku sekund lub minut generowania danych.
Te procesy umożliwiają organizacjom szybsze uzyskiwanie szczegółowych informacji, podejmowanie lepszych decyzji i skuteczniejsze reagowanie na zmieniające się warunki. Analiza niemal w czasie rzeczywistym może być stosowana do różnych domen, takich jak handel elektroniczny, opieka zdrowotna, produkcja i finanse. Na przykład firma zajmująca się handlem elektronicznym może używać analizy niemal w czasie rzeczywistym do monitorowania zachowań klientów, optymalizowania cen i personalizowania rekomendacji.
Wiele organizacji implementuje analizę niemal w czasie rzeczywistym w istniejących rozwiązaniach. Ten pomysł rozwiązania pokazuje, jak dodać analizę niemal w czasie rzeczywistym do istniejącej architektury opartej na brokerze komunikatów i będącej częścią operacyjnej aplikacji OLTP.
OLTP to skrót od przetwarzania transakcji online. Jest to typ przetwarzania danych, który zarządza aplikacjami zorientowanymi na transakcje, zazwyczaj w przypadku transakcji wprowadzania i pobierania danych w środowisku czasu rzeczywistego. Systemy OLTP są przeznaczone do przetwarzania małych, szybkich transakcji, które są często finansowe, takie jak transakcje bankowe lub zakupy kart kredytowych.
Potencjalne przypadki użycia
Poniżej przedstawiono kilka przypadków użycia ilustrujących zalety analizy niemal w czasie rzeczywistym:
- Dostawcy służby zdrowia mogą śledzić wyniki pacjentów, wykrywać anomalie i poprawiać jakość opieki.
- Firmy produkcyjne mogą optymalizować produkcję, zmniejszać odpady i zapobiegać przestojom.
- Instytucje finansowe mogą monitorować transakcje, wykrywać oszustwa, zarządzać ryzykiem i zapewniać zgodność z przepisami.
- Firmy handlowe mogą monitorować kampanie i uzyskiwać szczegółowe informacje w celu wspierania promocji.
- Firmy mogą monitorować, optymalizować, analizować i prognozować łańcuchy dostaw.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Shlomo Sagir | Starszy deweloper zawartości
Inny współautor:
- Mick Alberts | Składnik zapisywania technicznego
Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.