Usługa Azure Synapse Link dla usługi Azure Cosmos DB: Przypadki użycia analizy prawie w czasie rzeczywistym
DOTYCZY: 
Nosql Mongodb Gremlin
Usługa Azure Synapse Link dla usługi Azure Cosmos DB to natywna funkcja hybrydowego przetwarzania transakcyjnego i analitycznego (HTAP), która umożliwia uruchamianie analizy niemal w czasie rzeczywistym na danych operacyjnych. Usługa Synapse Link tworzy ścisłą bezproblemową integrację między usługą Azure Cosmos DB i usługą Azure Synapse Analytics.
Warto zrozumieć, jakie przypadki użycia w branży mogą wykorzystać tę natywną funkcję HTAP chmury do analizy danych operacyjnych niemal w czasie rzeczywistym. Oto trzy typowe przypadki użycia usługi Azure Synapse Link dla usługi Azure Cosmos DB:
- Analiza łańcucha dostaw, prognozowanie i raportowanie
- Personalizacja w czasie rzeczywistym
- Konserwacja predykcyjna, wykrywanie anomalii w scenariuszach IOT
Uwaga
Usługa Azure Synapse Link dla usługi Azure Cosmos DB jest przeznaczona dla scenariusza, w którym zespoły przedsiębiorstwa chcą uruchamiać analizę niemal w czasie rzeczywistym. Te analizy są uruchamiane bez funkcji ETL w przypadku danych operacyjnych generowanych w aplikacjach transakcyjnych opartych na usłudze Azure Cosmos DB. Nie zastępuje to potrzeby oddzielnego magazynu danych, gdy istnieją tradycyjne wymagania magazynu danych, takie jak zarządzanie obciążeniami, wysoka współbieżność, agregacja trwałości w wielu źródłach danych.
Uwaga
Usługa Synapse Link dla interfejsu API języka Gremlin jest teraz dostępna w wersji zapoznawczej. Możesz włączyć usługę Synapse Link w nowych lub istniejących grafach przy użyciu interfejsu wiersza polecenia platformy Azure. Aby uzyskać więcej informacji na temat sposobu jej konfigurowania, kliknij tutaj.
Analiza łańcucha dostaw, prognozowanie i raportowanie
Badania naukowe pokazują, że osadzanie analizy danych big data w operacjach łańcucha dostaw prowadzi do ulepszeń w czasie dostarczania w kolejności do cyklu i wydajności łańcucha dostaw.
Producenci dołączają do technologii natywnych dla chmury, aby przełamać ograniczenia starszych systemów planowania zasobów przedsiębiorstwa (ERP) i zarządzania łańcuchem dostaw (SCM). W przypadku łańcuchów dostaw generujących coraz większe ilości danych operacyjnych co minutę (zamówienie, przesyłka, dane transakcji) producenci potrzebują operacyjnej bazy danych. Ta operacyjna baza danych powinna być skalowana w celu obsługi woluminów danych, a także platformy analitycznej, aby uzyskać poziom analizy kontekstowej w czasie rzeczywistym, aby wyprzedzać krzywą.
Poniższa architektura przedstawia możliwości korzystania z usługi Azure Cosmos DB jako natywnej dla chmury operacyjnej bazy danych i usługi Synapse Link w analizie łańcucha dostaw:
Na podstawie poprzedniej architektury można uzyskać następujące przypadki użycia za pomocą usługi Synapse Link dla usługi Azure Cosmos DB:
Przygotowywanie i trenowanie potoku predykcyjnego: generowanie szczegółowych informacji na temat danych operacyjnych w łańcuchu dostaw przy użyciu tłumaczenia uczenia maszynowego. Dzięki temu można obniżyć koszty zapasów, operacji i skrócić czas realizacji zamówień dla klientów.
Usługa Synapse Link umożliwia analizowanie zmieniających się danych operacyjnych w usłudze Azure Cosmos DB bez ręcznych procesów ETL. Pozwala to zaoszczędzić na dodatkowych kosztach, opóźnieniach i złożoności operacyjnej. Usługa Synapse Link umożliwia inżynierom danych i analitykom danych tworzenie niezawodnych potoków predykcyjnych:
Wykonywanie zapytań dotyczących danych operacyjnych z magazynu analitycznego usługi Azure Cosmos DB przez wykorzystanie natywnej integracji z pulami platformy Apache Spark w usłudze Azure Synapse Analytics. Dane można wykonywać w notesie interaktywnym lub zaplanowanych zadaniach zdalnych bez złożonej inżynierii danych.
Tworzenie modeli Edukacja maszynowych (ML) przy użyciu algorytmów spark ML i integracji usługi Azure ML w usłudze Azure Synapse Analytics.
Odnotuj wyniki po wnioskowaniu modelu w usłudze Azure Cosmos DB w celu uzyskania operacyjnego oceniania niemal w czasie rzeczywistym.
Raportowanie operacyjne: zespoły łańcucha dostaw potrzebują elastycznych i niestandardowych raportów w czasie rzeczywistym, dokładnych danych operacyjnych. Te raporty są wymagane do uzyskania migawki widoku skuteczności łańcucha dostaw, rentowności i produktywności. Umożliwia ona analitykom danych i innym kluczowym uczestnikom projektu ciągłe ponowne ocenianie firmy i identyfikowanie obszarów w celu zmniejszenia kosztów operacyjnych.
Usługa Synapse Link dla usługi Azure Cosmos DB umożliwia korzystanie z zaawansowanych scenariuszy analizy biznesowej (BI)/raportowania:
Wykonywanie zapytań dotyczących danych operacyjnych z magazynu analitycznego usługi Azure Cosmos DB przy użyciu natywnej integracji z bezserwerową pulą SQL i pełną ekspresyjnością języka T-SQL.
Modelowanie i publikowanie automatycznie odświeżanych pulpitów nawigacyjnych analizy biznesowej w usłudze Azure Cosmos DB za pośrednictwem bezserwerowej obsługi puli SQL dla znanych narzędzi analizy biznesowej. Na przykład usługi Azure Analysis Services, Power BI Premium itp.
Poniżej przedstawiono wskazówki dotyczące integracji danych dla danych wsadowych i przesyłanych strumieniowo do usługi Azure Cosmos DB:
Integracja i aranżacja danych wsadowych: łańcuchy dostaw coraz bardziej złożone, platformy danych łańcucha dostaw muszą być zintegrowane z różnymi źródłami danych i formatami. Usługa Azure Synapse jest wbudowana w ten sam aparat integracji danych i środowiska co usługa Azure Data Factory. Ta integracja umożliwia inżynierom danych tworzenie rozbudowanych potoków danych bez oddzielnego aparatu aranżacji:
Przenoszenie danych z 85+ obsługiwanych źródeł danych do usługi Azure Cosmos DB za pomocą usługi Azure Data Factory.
Pisanie potoków ETL bez kodu w usłudze Azure Cosmos DB, w tym mapowań relacyjnych na hierarchiczne i hierarchiczne z przepływami danych mapowania.
Integracja i przetwarzanie danych przesyłanych strumieniowo: wraz ze wzrostem przemysłowych IoT (czujniki śledzące zasoby z "podłogi do sklepu", połączone floty logistyczne itp.), istnieje eksplozja danych w czasie rzeczywistym generowanych w sposób przesyłania strumieniowego, który musi być zintegrowany z tradycyjnymi wolno poruszającymi się danymi w celu generowania szczegółowych informacji. Usługa Azure Stream Analytics to zalecana usługa do przesyłania strumieniowego etL i przetwarzania na platformie Azure z szeroką gamą scenariuszy. Usługa Azure Stream Analytics obsługuje usługę Azure Cosmos DB jako natywny ujście danych.
Personalizacja w czasie rzeczywistym
Sprzedawcy detaliczni muszą dziś tworzyć bezpieczne i skalowalne rozwiązania do handlu elektronicznego, które spełniają wymagania zarówno klientów, jak i firm. Te rozwiązania do handlu elektronicznego muszą angażować klientów za pośrednictwem dostosowanych produktów i ofert, szybko i bezpiecznie przetwarzać transakcje oraz skupiać się na realizacji i obsłudze klienta. Usługa Azure Cosmos DB wraz z najnowszą wersją usługi Synapse Link dla usługi Azure Cosmos DB umożliwia sprzedawcom detalicznym generowanie spersonalizowanych zaleceń dla klientów w czasie rzeczywistym. Używają ustawień spójności o małych opóźnieniach i dostrajania, aby uzyskać natychmiastowe szczegółowe informacje, jak pokazano w następującej architekturze:
Przypadek użycia usługi Synapse Link dla usługi Azure Cosmos DB:
- Przygotowywanie i trenowanie potoku predykcyjnego: możesz wygenerować szczegółowe informacje na temat danych operacyjnych w jednostkach biznesowych lub segmentach klientów przy użyciu modeli usługi Synapse Spark i uczenia maszynowego. Przekłada się to na spersonalizowane dostarczanie do docelowych segmentów klientów, predykcyjne środowiska użytkowników końcowych i ukierunkowane marketingu w celu dopasowania do wymagań użytkownika końcowego.
Konserwacja predykcyjna IOT
Innowacje przemysłowe IOT znacząco zmniejszyły przestoje maszyn i zwiększyły ogólną wydajność we wszystkich dziedzinach przemysłu. Jedną z takich innowacji jest analiza konserwacji predykcyjnej maszyn na brzegu chmury.
Poniżej przedstawiono architekturę wykorzystującą natywne funkcje HTAP chmury usługi Azure Synapse Link dla usługi Azure Cosmos DB w konserwacji predykcyjnej IoT:
Przypadki użycia usługi Synapse Link dla usługi Azure Cosmos DB:
Przygotowywanie i trenowanie potoku predykcyjnego: historyczne dane operacyjne z czujników urządzeń IoT mogą służyć do trenowania modeli predykcyjnych, takich jak detektory anomalii. Te detektory anomalii są następnie wdrażane z powrotem do krawędzi na potrzeby monitorowania w czasie rzeczywistym. Taka cnotliwa pętla umożliwia ciągłe ponowne trenowanie modeli predykcyjnych.
Raportowanie operacyjne: wraz ze wzrostem inicjatyw cyfrowych reprezentacji bliźniaczych firmy zbierają ogromne ilości danych operacyjnych z dużej liczby czujników w celu utworzenia cyfrowej kopii poszczególnych maszyn. Te dane umożliwiają usłudze BI zrozumienie trendów dotyczących danych historycznych oprócz aplikacji w czasie rzeczywistym w przypadku ostatnich gorących danych.
Przykładowy scenariusz: HTAP dla usługi Azure Cosmos DB
Od prawie dekady usługa Azure Cosmos DB jest używana przez tysiące klientów w przypadku aplikacji o znaczeniu krytycznym, które wymagają elastycznej skali, gotowej do użycia globalnej dystrybucji, replikacji zapisu w wielu regionach w celu uzyskania małych opóźnień i wysokiej dostępności zarówno operacji odczytu, jak i zapisu w obciążeniach transakcyjnych.
Poniższa lista zawiera omówienie różnych wzorców obciążeń obsługiwanych przy użyciu danych operacyjnych przy użyciu usługi Azure Cosmos DB:
- Aplikacje i usługi w czasie rzeczywistym
- Przetwarzanie strumienia zdarzeń
- Pulpity nawigacyjne analizy biznesowej
- Analiza danych big data
- Uczenie maszynowe
Usługa Azure Synapse Link umożliwia usłudze Azure Cosmos DB nie tylko zasilanie obciążeń transakcyjnych, ale także wykonywanie niemal w czasie rzeczywistym obciążeń analitycznych na historycznych danych operacyjnych. Ma to miejsce bez wymagań ETL i gwarantowanej izolacji wydajności od obciążeń transakcyjnych.
Na poniższej ilustracji przedstawiono wzorce obciążeń przy użyciu usługi Azure Cosmos DB: 
Przyjrzyjmy się przykładowi firmy zajmującej się handlem elektronicznym CompanyXYZ z globalnymi operacjami w 20 krajach/regionach, aby zilustrować korzyści wynikające z wyboru usługi Azure Cosmos DB jako pojedynczej bazy danych w czasie rzeczywistym, która obsługuje zarówno transakcyjne, jak i analityczne wymagania platformy zarządzania zapasami.
Podstawowa działalność firmyXYZ zależy od systemu zarządzania zapasami — dlatego dostępność i niezawodność są podstawowymi wymaganiami filaru. Zalety korzystania z usługi Azure Cosmos DB:
- Dzięki głębokiej integracji z infrastrukturą platformy Azure i przezroczystymi zapisami w wielu regionach replikacja globalna usługa Azure Cosmos DB zapewnia wiodącą w branży wysoką dostępność na poziomie 99,999% w porównaniu z awariami regionalnymi.
Partnerzy łańcucha dostaw firmyXYZ mogą znajdować się w oddzielnych lokalizacjach geograficznych, ale mogą mieć jeden widok spisu produktów na całym świecie, aby wspierać swoje lokalne operacje. Obejmuje to konieczność odczytywania aktualizacji dokonanych przez innych partnerów łańcucha dostaw w czasie rzeczywistym. Oprócz możliwości wprowadzania aktualizacji bez martwienia się o konflikty z innymi partnerami przy wysokiej przepływności. Zalety korzystania z usługi Azure Cosmos DB:
Dzięki unikatowemu protokółowi replikacji zapisu w wielu regionach i magazynowi transakcyjnemu zoptymalizowanym pod kątem zapisu usługa Azure Cosmos DB gwarantuje mniej niż 10 ms opóźnień zarówno dla indeksowanych operacji odczytu, jak i zapisu na poziomie 99. percentylu na całym świecie.
Pozyskiwanie zarówno źródeł danych wsadowych, jak i przesyłanych strumieniowo przy użyciu indeksowania w czasie rzeczywistym w magazynie transakcyjnym.
Magazyn transakcyjny usługi Azure Cosmos DB oferuje trzy kolejne opcje niż dwa skrajne poziomy silnej i ostatecznej spójności w celu osiągnięcia kompromisów dostępności i wydajności najbliższych potrzeb biznesowych.
Partnerzy łańcucha dostaw firmyXYZ mają bardzo zmienne wzorce ruchu od setek do milionów żądań/s, a w związku z tym platforma zarządzania zapasami musi poradzić sobie z nieoczekiwanym wzrostem ruchu. Zalety korzystania z usługi Azure Cosmos DB:
- Magazyn transakcyjny usługi Azure Cosmos DB obsługuje elastyczną skalowalność magazynu i przepływności przy użyciu partycjonowania poziomego. Kontenery i bazy danych skonfigurowane w trybie rozwiązania Autopilot mogą automatycznie i natychmiast skalować aprowizowaną przepływność na podstawie potrzeb aplikacji bez wpływu na dostępność, opóźnienie, przepływność lub wydajność obciążenia globalnie.
FirmaXYZ musi ustanowić bezpieczną platformę analizy w celu zapewnienia historycznych danych spisu dla całego systemu, aby umożliwić analizę i szczegółowe informacje między partnerami łańcucha dostaw, jednostkami biznesowymi i funkcjami. Platforma analityczna musi włączyć współpracę w systemie, tradycyjne przypadki użycia analizy biznesowej/raportowania, zaawansowane przypadki użycia analizy biznesowej i inteligentne rozwiązania predykcyjne na podstawie danych spisu operacyjnego. Zalety korzystania z usługi Synapse Link dla usługi Azure Cosmos DB:
- Korzystając z magazynu analitycznego usługi Azure Cosmos DB, w pełni izolowany magazyn kolumn, usługa Synapse Link nie umożliwia analizy wyodrębniania transformacji i ładowania (ETL) w usłudze Azure Synapse Analytics na potrzeby globalnie rozproszonych danych operacyjnych na dużą skalę. Analitycy biznesowi, inżynierowie danych i analitycy danych mogą teraz używać usługi Synapse Spark lub Synapse SQL w sposób współdziałający, aby uruchamiać potoki analizy biznesowej, analizy i uczenia maszynowego w czasie rzeczywistym bez wpływu na wydajność obciążeń transakcyjnych w usłudze Azure Cosmos DB. Aby uzyskać więcej informacji, zobacz zalety usługi Synapse Link w usłudze Azure Cosmos DB.
Następne kroki
Aby dowiedzieć się więcej, zobacz następujące dokumenty: