Co to jest analiza w czasie rzeczywistym w sieci szkieletowej?

  • Artykuł

W ciągu ostatnich kilku dekad zaobserwowano zmianę paradygmatu w sposobie uzyskiwania dostępu do informacji i korzystania z nich, ponieważ użytkownicy stali się przyzwyczajeni do danych, które są interaktywne, na żądanie i dostępne dla wszystkich. Ta zmiana została obsługiwana przez dane big data, pozyskiwanie danych przesyłanych strumieniowo i indeksowane wyszukiwanie oparte na słowach kluczowych. Wszystkie razem tworzą uproszczone środowisko użytkownika. Dzięki analizie w czasie rzeczywistym w usłudze Microsoft Fabric umożliwiamy organizacjom skupienie się na rozwiązaniu analitycznym i skalowanie ich w górę, a jednocześnie demokratyzowanie danych dla potrzeb zarówno analityka danych obywateli, jak i zaawansowanych inżynierów danych. Analiza w czasie rzeczywistym stała się niezbędna w wielu scenariuszach w świecie przedsiębiorstwa, takich jak cyberbezpieczeństwo, śledzenie zasobów i zarządzanie nimi, konserwacja predykcyjna, optymalizacja łańcucha dostaw, środowisko klienta, zarządzanie energią, zarządzanie zapasami, kontrola jakości, monitorowanie środowiska, zarządzanie flotą i bezpieczeństwo.

W jaki sposób? Analiza w czasie rzeczywistym zmniejsza złożoność i upraszcza integrację danych. Uzyskaj szybki dostęp do szczegółowych informacji o danych dzięki zaledwie kilku sekundom aprowizacji, automatycznego przesyłania strumieniowego danych, indeksowania i partycjonowania dla dowolnego źródła danych lub formatu oraz generowania i wizualizacji zapytań na żądanie. Ten proces użytkownika jest uproszczony przy zachowaniu zaawansowanych możliwości analitycznych. Analiza w czasie rzeczywistym umożliwia skoncentrowanie się na rozwiązaniach analitycznych przez bezproblemowe skalowanie w górę przy użyciu usługi w miarę wzrostu potrzeb dotyczących danych i zapytań.

Screenshot of Real-Time Analytics product showing the database homepage with a quick query pane showing binned ingestion results.

Analiza w czasie rzeczywistym to w pełni zarządzana platforma analizy danych big data zoptymalizowana pod kątem przesyłania strumieniowego i danych szeregów czasowych. Wykorzystuje język zapytań i aparat o wyjątkowej wydajności do wyszukiwania danych ze strukturą, częściowo ustrukturyzowaną i bez struktury. Analiza w czasie rzeczywistym jest w pełni zintegrowana z całym pakietem produktów sieci Szkieletowych w przypadku scenariuszy ładowania danych, przekształcania danych i zaawansowanych wizualizacji.

Co sprawia, że analiza w czasie rzeczywistym jest unikatowa?

  • Przechwytywanie, przekształcanie i kierowanie zdarzeń w czasie rzeczywistym do różnych miejsc docelowych, w tym aplikacji niestandardowych.
  • Łatwe pozyskiwanie lub ładowanie danych z dowolnego źródła w dowolnym formacie danych.
  • Uruchamianie zapytań analitycznych bezpośrednio na danych pierwotnych bez konieczności tworzenia złożonych modeli danych lub tworzenia skryptów w celu przekształcenia danych.
  • Zaimportuj dane z domyślnym przesyłaniem strumieniowym , które zapewnia wysoką wydajność, małe opóźnienia, analizę danych o wysokiej aktualności.
  • Zaimportowane dane są poddawane partycjonowaniu domyślnemu — partycjonowaniu czasowe i oparte na skrótach oraz indeksowanie domyślne.
  • Praca z wszechstronnymi strukturami danych, w tym ustrukturyzowanymi, częściowo ustrukturyzowanymi lub wolnym tekstem.
  • Wykonywanie zapytań o nieprzetworzone dane bez przekształcania z wysoką wydajnością, niezwykle niskim czasem odpowiedzi przy użyciu wielu dostępnych operatorów.
  • Zarządzaj nieograniczoną ilością danych — od gigabajtów po petabajty — przy nieograniczonej skali w zapytaniach współbieżnych i współbieżnych użytkownikach.
  • Wbudowane autoskalowanie dostosowuje zasoby do czynników obciążenia, takich jak pamięć podręczna, pamięć, użycie procesora CPU i pozyskiwanie, optymalizowanie wydajności i minimalizowanie kosztów.
  • Bezproblemowa integracja z innymi środowiskami i elementami w usłudze Microsoft Fabric.

Kiedy używać analizy w czasie rzeczywistym?

Jeśli którekolwiek z tych pytań opisuje Twoje potrzeby dotyczące danych, analiza w czasie rzeczywistym jest właściwym rozwiązaniem dla Ciebie:

  • Czy potrzebuję wysokiej świeżości z pozyskiwania danych do wykonywania zapytań?
  • Czy chcę przekształcić dane przesyłane strumieniowo?
  • Czy mam usługę, która musi uzyskiwać dostęp do danych z małym opóźnieniem zapytań (w ciągu kilku sekund)?
  • Czy muszę wyszukiwać lub uzyskiwać dostęp do danych w różnych formatach, takich jak dane ustrukturyzowane, częściowo ustrukturyzowane dane (w tym skomplikowane dane, takie jak JSON lub inne tablice) lub dane bez struktury (na przykład dowolny tekst)?
  • Czy chcę mieć możliwość wykonywania zapytań dotyczących dużych ilości danych?
  • Czy moje dane mają składnik czasu, który może korzystać ze struktury bazy danych zoptymalizowanej pod kątem szeregów czasowych?
  • Czy chcę mieć możliwość tworzenia zapytań ad hoc w dowolnym polu lub wierszu bez wcześniejszej optymalizacji?

Typy branż, które korzystają z analizy danych w analizie w czasie rzeczywistym, są zróżnicowane. Na przykład: finanse, transport i logistyka, inteligentne miasta, inteligentne budynki, operacje produkcyjne, motoryzacyjne i naftowe i gazowe.

Scenariusze

Marketing

Jako specjalista ds. marketingu wdrażający nową kampanię, analiza w czasie rzeczywistym umożliwia analizowanie bezpośredniego wpływu kampanii na sprzedaż, zapasy i logistykę. Możesz przesyłać strumieniowo duże ilości danych do bazy danych KQL za pośrednictwem strumienia zdarzeń z opóźnieniem kilku sekund, a następnie użyć zestawu zapytań KQL, aby przeanalizować wydajność kampanii i zwizualizować wyniki w udostępnionym raporcie usługi Power BI. Możesz użyć tych szczegółowych informacji, aby natychmiast zmodyfikować różne aspekty kampanii i łatwo wyświetlić efekt w czasie rzeczywistym. Możesz również udzielić dostępu do wyświetlania bazy danych KQL różnym zespołom w firmie, takim jak zespoły finansowe i produkcyjne, w celu analizowania danych przesyłanych strumieniowo i wprowadzania odpowiednio korekt kosztów i produkcji produktu.

Sprzedaż

Jako analityk biznesowy pracujący dla globalnej sieci detalicznej odpowiadasz za analizowanie danych przychodzących i przekazywanie szczegółowych informacji kluczowym uczestnikom projektu w firmie. Dane można zbierać i przechowywać z różnych źródeł, takich jak producenci, nadawcy, dostawcy i w różnych formatach, takich jak dane ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane. Wszystkie te dane z możliwością działania są przechwytywane w bazie danych KQL, zapewniając skalowalne rozwiązanie danych dla rosnących danych, które mogą przechowywać miliardy rekordów, które mogą być przechowywane przez lata na koniec, aby wykonywać zapytania i porównywać je z danymi przesyłanymi strumieniowo. Zestaw zapytań KQL umożliwia nie tylko przeprowadzanie analizy szeregów czasowych, ale także tworzenie raportów usługi Power BI wizualizowania geoprzestrzennej analizy tras lądowych i morskich, szybkiego wykrywania anomalii i współpracy z menedżerami projektów na pulpitach nawigacyjnych w celu podejmowania lepszych decyzji biznesowych.

Jak pracować w analizie w czasie rzeczywistym?

Główne elementy dostępne w analizie czasu rzeczywistego obejmują:

  • Strumień zdarzeń do przechwytywania, przekształcania i routingu zdarzeń w czasie rzeczywistym do różnych miejsc docelowych bez obsługi kodu.
  • Baza danych KQL do przechowywania i zarządzania danymi. Dostęp do danych załadowanych do bazy danych KQL można uzyskać w usłudze OneLake i jest udostępniany innym środowiskom sieci szkieletowej.
  • Zestaw zapytań KQL do uruchamiania zapytań, wyświetlania i dostosowywania wyników zapytań dotyczących danych. Zestaw zapytań KQL umożliwia zapisywanie zapytań dotyczących przyszłego użycia, eksportowania i udostępniania zapytań innym osobom oraz zawiera opcję generowania raportu usługi Power BI.

Zobacz, jak te elementy współpracują ze sobą w scenariuszu kompleksowego użycia danych przesyłania strumieniowego i analizy: Samouczek analizy w czasie rzeczywistym — wprowadzenie

Integracja z innymi środowiskami

Schematic image of architecture of Real-Time Analytics integration with other experiences.

  • Tworzenie połączeń w chmurze usługi Event Hubs w celu przesyłania strumieniowego danych do analizy w czasie rzeczywistym.
  • Dostęp do danych w usłudze OneLake jest uzyskiwany przez analizę w czasie rzeczywistym na kilka sposobów:
  • Dane załadowane do analizy w czasie rzeczywistym mogą służyć jako dane bazowe do wizualizacji w raporcie usługi Power BI.
  • Dane załadowane do analizy w czasie rzeczywistym mogą służyć do analizy w notesach Jupyter lub Spark w inżynierowie danych.
  • Wyzwalanie zdarzeń ładowania danych w usłudze Data Factory przy użyciu potoków.
  • Wyzwalanie zdarzeń ładowania danych przy użyciu przepływów danych.

Powiązana zawartość