Kiedy używać usługi Azure Data Explorer
W tym miejscu omówimy, jak można zdecydować, czy usługa Azure Data Explorer jest właściwym wyborem dla potrzeb analizy danych big data. Oceniając następujące kryteria, możesz określić, czy usługa Azure Data Explorer spełnia twoje cele dotyczące wydajności i funkcjonalności.
- Interaktywna analiza
- Różnorodność danych
- Szybkość danych
- Ilość danych
- Organizacja danych
- Współbieżność zapytań
- Kompilowanie i kupowanie
Kryteria decyzji
Azure Data Explorer to interaktywna platforma analizy danych big data, która umożliwia użytkownikom podejmowanie decyzji opartych na danych w środowisku o wysokiej elastyczności. Czynniki wymienione tutaj mogą pomóc w ocenie, czy usługa Azure Data Explorer jest odpowiednia dla obciążenia. Zadaj sobie następujące kluczowe pytania:
Interaktywna analiza
Czy muszę interaktywnie analizować dane?
Analiza danych obejmuje techniki, takie jak agregacja, określanie zakresu, ocena, korelacja, wykrywanie anomalii, prognozowanie i ogólna ocena modelu, które pomagają zmniejszyć duże ilości danych do praktycznych wniosków. Interakcyjne prowadzenie takich działań jest tym, o czym polega usługa Azure Data Explorer. Te działania mogą wystąpić w interaktywnych pulpitach nawigacyjnych, analitycznej aplikacji niestandardowej lub bezpośredniej interakcji z danymi za pośrednictwem przyjaznych dla człowieka zapytań i wizualizacji. Usługa Azure Data Explorer może nie być odpowiednią technologią do wykonywania długotrwałych zadań wsadowych na danych. Rozważ użycie technologii takich jak Microsoft Spark, które dobrze współpracują z usługą Azure Data Explorer w przypadku długotrwałych zadań.
Różnorodność danych
Jak zróżnicowana jest struktura danych?
Usługa Azure Data Explorer zapewnia skalowalny indeks pełnotekstowy o wysokiej wydajności i obsługę schematu dynamicznego. Jeśli musisz analizować i przetwarzać dane ustrukturyzowane, częściowo ustrukturyzowane (json/xml) i tekstowe, warto wskazać, że usługa Azure Data Explorer jest odpowiednia dla obciążenia.
Szybkość danych
Czy analiza danych w czasie rzeczywistym jest czynnikiem krytycznym?
Usługa Azure Data Explorer umożliwia szybkie i małe opóźnienia pozyskiwanie ogromnych ilości danych. Typowe zestawy danych obejmują ślady, dzienniki transakcji, szeregi czasowe, metryki i ogólnie strumienie rekordów aktywności. Analiza niemal w czasie rzeczywistym na nowych danych jest typowym przypadkiem użycia. Usługa Azure Data Explorer łączy się dobrze z technologiami przesyłania strumieniowego, takimi jak azure Event Hubs, centra IoT, platforma Kafka, aby zasilać takie obciążenia. Jednak w przypadku potrzeby analizy w czasie rzeczywistym usługa Azure Data Explorer może nie być najlepszą opcją.
Ilość danych
Ile danych muszę pozyskać?
Usługa Azure Data Explorer została utworzona w celu zapewnienia analizy ścieżek ciepłych, interaktywnych i za pośrednictwem interfejsu API za pośrednictwem ogromnych obciążeń danych. W przypadku scenariuszy, w których łączny skumulowany rozmiar danych wynosi kilka gigabajtów, mogą istnieć inne bardziej ekonomiczne rozwiązania.
Organizacja danych
Jak spójnie są zorganizowane moje dane?
Usługa Azure Data Explorer została utworzona w celu zastosowania schematu podczas odczytu danych pierwotnych. Takie podejście umożliwia elastyczne analizowanie danych na różne sposoby i z różnych punktów widzenia na podstawie bieżących potrzeb. Ta możliwość jest cenna w radzeniu sobie z nieoczekiwanymi wyzwaniami w zakresie bezpieczeństwa, operacji i konkurencyjnych środowisk między innymi. Usługa Azure Data Explorer zapewnia ekstremalną szybkość, skalowalność i wydajność kosztową analizowania danych pierwotnych. Często we wdrożeniach magazynowania danych proces wyodrębniania, przekształcania, ładowania (ETL) okresowo generuje dobrze wyselekcjonowany, wysoce spójny i dobrze udokumentowany zestaw jednostek i atrybutów. Analiza tych złożonych schematów gwiazd zwykle wiąże się z dużymi przyłączaniami faktów do faktów, które nie są zoptymalizowane pod kątem usługi Azure Data Explorer.
Współbieżność zapytań
Ilu użytkowników musi jednocześnie wykonywać zapytania/pozyskiwać/przetwarzać dane?
Usługa Azure Data Explorer jest szeroko używana do implementowania ofert SaaS analizy. Jeśli istnieje potrzeba obsługi różnych i unikatowych potrzeb analitycznych w zależności od dużej liczby żądań równolegle, usługa Azure Data Explorer powinna zapewnić dobre rozwiązanie.
Kompilowanie a kupowanie
Ile chcę dostosować platformę danych?
Azure Data Explorer to w pełni zarządzana platforma jako usługa. Nie zapewnia jednak gotowego rozwiązania. Wymaga on dostosowywania, konfigurowania, łączenia i tworzenia środowisk w celu dostarczenia rozwiązania (kompilacji). Istnieją różne rozwiązania od firmy Microsoft i innych firm, które używają usługi Azure Data Explorer do dostarczania takich rozwiązań w różnych domenach i pionie. Na przykład usługa Azure Monitor dla operacji IT. Usługi Microsoft Advanced Threat Protection i Microsoft Sentinel w domenie zabezpieczeń oraz usługi Azure Time Series Szczegółowe informacje i Azure IoT Central w domenach IoT.
Stosowanie kryteriów
Usługa Azure Data Explorer najlepiej sprawdza się w celu umożliwienia interaktywnych funkcji analitycznych pracownikom wiedzy z dużą szybkością i różnymi danymi nieprzetworzonymi. Zastanówmy się, jak zastosować wymienione wcześniej kryteria do naszych przykładowych procesów w scenariuszu firmy odzieżowej.
Czy usługa Azure Data Explorer powinna być używana na potrzeby danych produkcyjnych?
Dział produkcji naszej przykładowej firmy odzieżowej musi podejmować decyzje dotyczące zarządzania magazynami i ilościami produkcyjnymi. Mają przychodzące dzienniki danych dla spisu. Firma chce również używać danych geoprzestrzennych z marketingu, aby przewidywać potrzeby produktów według regionów. Te dane mają wysoki stopień różnorodności, szybkości i ilości. Nie jest ona spójnie zorganizowana , a wielu uczestników projektu musi współbieżnie wykonywać zapytania dotyczące tych danych. Od pozyskiwania do zapytania wymagają małego opóźnienia. Potrzebują czasów odpowiedzi zapytania o mniej niż sekundę i w górę. Na podstawie kryteriów decyzyjnych usługa Azure Data Explorer jest dobrym rozwiązaniem dla działu produkcyjnego firmy odzieżowej.
Czy usługa Azure Data Explorer powinna być używana na potrzeby danych marketingowych?
Dział marketingu firmy odzieżowej chce ocenić skuteczność swojej kampanii. Mają one dane strumienia kliknięć ze swojej witryny internetowej i kampanii reklamowych. Mają również bezpłatne dane tekstowe (bez struktury) z mediów społecznościowych. Te dane są bardzo zróżnicowane i niezorganizowane. Dział będzie chciał wykonywać eksploracyjne interaktywne analizy. Na podstawie kryteriów decyzyjnych usługa Azure Data Explorer jest dobrym rozwiązaniem dla działu marketingowego firmy odzieżowej.
Podsumowanie wskazówek
W poniższej tabeli przedstawiono sposób oceny nowych przypadków użycia. Chociaż wszystkie przypadki użycia nie są tutaj omówione, uważamy, że może to pomóc w podjęciu decyzji, czy usługa Azure Data Explorer jest właściwym rozwiązaniem dla Ciebie.
| Przypadek użycia | Interaktywna analiza | Dane big data (różnorodność, szybkość, ilość) | Organizacja danych | Współbieżność | Kompilowanie i kupowanie | Czy należy używać usługi Azure Data Explorer? |
|---|---|---|---|---|---|---|
| Implementowanie usługi Security Analytics SaaS | Intensywne korzystanie z interaktywnych, niemal w czasie rzeczywistym analiz. | Dane zabezpieczeń są zróżnicowane, duże i szybkie. | Różne wartości | System jest często używany przez wielu analityków z wielu dzierżaw. | Implementowanie oferty SaaS jest scenariuszem kompilacji. | Tak |
| Analiza dzienników usługi CDN | Interaktywne do rozwiązywania problemów, monitorowania QoS. | Dzienniki CDN są zróżnicowane, duże i duże prędkości. | Oddzielaj rekordy dziennika. | Niewielka grupa analityków danych może korzystać z tych analiz, ale może również zasilać wiele pulpitów nawigacyjnych. | Wartość wyodrębniona z analizy usługi CDN jest specyficzna dla scenariusza i wymaga analizy niestandardowej. | Tak |
| Baza danych szeregów czasowych dla telemetrii IoT | Interakcyjny do rozwiązywania problemów, analizowania trendów, użycia i wykrywania anomalii. | Dane telemetryczne IoT są szybkie, ale mogą być ustrukturyzowane tylko lub średnie. | Powiązane zestawy rekordów. | Niewielka grupa analityków danych może korzystać z tych analiz, ale może również zasilać wiele pulpitów nawigacyjnych. | Kontekst jest zwykle kompilować podczas wyszukiwania bazy danych. | Tak |
Poniższa tabela schematu blokowego zawiera podsumowanie kluczowych pytań, które należy zadać podczas rozważania korzystania z usługi Azure Data Explorer.
