Dane wyjściowe usługi Azure Data Explorer z usługi Azure Stream Analytics
Usługi Azure Data Explorer można używać jako danych wyjściowych do analizowania dużych ilości różnorodnych danych z dowolnego źródła danych, takich jak witryny internetowe, aplikacje i urządzenia Internetu rzeczy (IoT). Azure Data Explorer to szybka i wysoce skalowalna usługa eksploracji danych na potrzeby danych dziennika i telemetrycznych. Ułatwia ona obsługę wielu strumieni danych emitowanych przez nowoczesne oprogramowanie, dzięki czemu można zbierać, przechowywać i analizować dane. Te dane są używane na potrzeby diagnostyki, monitorowania, raportowania, uczenia maszynowego i dodatkowych możliwości analizy.
Usługa Azure Data Explorer obsługuje kilka metod pozyskiwania, w tym łączniki do typowych usług, takich jak Azure Event Hubs, programowe pozyskiwanie za pośrednictwem zestawów SDK, takich jak .NET i Python, oraz bezpośredni dostęp do aparatu na potrzeby eksploracji. Usługa Azure Data Explorer integruje się z funkcją analizy i usługami modelowania w celu przeprowadzania dodatkowej analizy i wizualizacji danych.
Aby uzyskać więcej informacji na temat usługi Azure Data Explorer, zobacz Co to jest usługa Azure Data Explorer?.
Aby dowiedzieć się więcej na temat tworzenia klastra usługi Azure Data Explorer przy użyciu witryny Azure Portal, zobacz Szybki start: tworzenie klastra i bazy danych usługi Azure Data Explorer.
Uwaga
Usługa Azure Data Explorer z usługi Azure Stream Analytics obsługuje dane wyjściowe w usłudze Azure Synapse Data Explorer. Aby zapisać dane w klastrach w usłudze Azure Synapse Data Explorer, określ adres URL klastra w okienku konfiguracji danych wyjściowych usługi Azure Data Explorer w zadaniu usługi Azure Stream Analytics.
Konfiguracja danych wyjściowych
W poniższej tabeli wymieniono nazwy właściwości i ich opisy dotyczące tworzenia danych wyjściowych usługi Azure Data Explorer.
| Nazwa właściwości | Opis |
|---|---|
| Alias danych wyjściowych | Przyjazna nazwa używana w zapytaniach do kierowania danych wyjściowych zapytania do tej bazy danych. |
| Subskrypcja | Subskrypcja platformy Azure, której chcesz użyć dla klastra. |
| Klaster | Unikatowa nazwa identyfikująca klaster. Nazwa domeny <region.kusto.windows.net> jest dołączana do podanej nazwy klastra. Nazwa może zawierać tylko małe litery i cyfry. Musi zawierać od 4 do 22 znaków. |
| Baza danych | Nazwa bazy danych, w której wysyłasz dane wyjściowe. Nazwa bazy danych musi być unikatowa w obrębie klastra. |
| Uwierzytelnianie | Tożsamość zarządzana z identyfikatora Entra firmy Microsoft, która umożliwia klastrowi łatwy dostęp do innych chronionych zasobów firmy Microsoft, takich jak Azure Key Vault. Tożsamość jest zarządzana przez platformę Azure i nie wymaga inicjowana obsługi ani rotacji żadnych wpisów tajnych. Konfiguracja tożsamości zarządzanej jest obecnie obsługiwana tylko w celu włączenia kluczy zarządzanych przez klienta dla klastra. |
| Table | Nazwa tabeli, w której są zapisywane dane wyjściowe. W nazwie tabeli jest uwzględniana wielkość liter. Schemat tej tabeli powinien dokładnie odpowiadać liczbie pól i ich typów generowanych przez dane wyjściowe zadania. |
Partycjonowanie
Partycjonowanie musi być włączone i jest oparte na PARTITION BY klauzuli w zapytaniu. Po włączeniu opcji Dziedzicz partycjonowanie następuje po partycjonowaniu wejściowym dla w pełni równoległych zapytań.
Kiedy należy używać usług Azure Stream Analytics i Azure Data Explorer
Cechy usługi Azure Stream Analytics obejmują:
- Aparat przetwarzania strumieniowego: analiza ciągłego przesyłania strumieniowego w czasie rzeczywistym
- Praca oparta na zadaniach
- Okno wyszukiwania z 1 milisekundy do 7 dni na potrzeby analizy czasowej w pamięci i przetwarzania strumienia
- Pozyskiwanie z usług Azure Event Hubs i Azure IoT Hub z opóźnieniem podrzędnym
Cechy usługi Azure Data Explorer obejmują:
- Aparat analityczny: interaktywna analiza w czasie rzeczywistym na żądanie
- Przesyłanie strumieniowe pozyskiwania danych do trwałego magazynu danych oraz możliwości wykonywania zapytań
- Pozyskiwanie danych z usług Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark i Azure Data Factory
- Opóźnienie od 10 sekund do 5 minut w przypadku obciążeń o wysokiej przepływności
- Proste przekształcanie danych za pomocą zasad aktualizacji podczas pozyskiwania
Zakres analizy w czasie rzeczywistym można znacznie zwiększyć przy użyciu usług Azure Stream Analytics i Azure Data Explorer razem. Oto kilka scenariuszy:
- Usługa Stream Analytics identyfikuje anomalie w czasie rzeczywistym, a usługa Azure Data Explorer pomaga określić, jak i dlaczego wystąpiły za pośrednictwem interaktywnej eksploracji.
- Usługa Stream Analytics deserializuje przychodzące strumienie danych do użycia w usłudze Azure Data Explorer (na przykład pozyskiwanie formatu Protobuf przy użyciu niestandardowego deserializacji lub niestandardowych formatów binarnych).
- Usługa Stream Analytics może agregować, filtrować, wzbogacać i przekształcać przychodzące strumienie danych do użycia w usłudze Azure Data Explorer.
Inne scenariusze i ograniczenia
- Nazwa kolumn i typu danych powinna być zgodna z zapytaniem SQL usługi Azure Stream Analytics i tabelą usługi Azure Data Explorer. Porównanie uwzględnia wielkość liter.
- Kolumny, które istnieją w klastrach usługi Azure Data Explorer, ale brakuje ich w usłudze Azure Stream Analytics, są ignorowane. Brak kolumn w usłudze Azure Stream Analytics zgłasza błąd.
- Kolejność kolumn w zapytaniu usługi Azure Stream Analytics nie ma znaczenia. Schemat tabeli usługi Azure Data Explorer określa kolejność.
- Usługa Azure Data Explorer ma zasady agregacji (dzielenia na partie) na potrzeby pozyskiwania danych, które zostały zaprojektowane pod kątem optymalizacji procesu pozyskiwania danych. Zasady są domyślnie skonfigurowane do 5 minut, 1000 elementów lub 1 GB danych, więc może wystąpić opóźnienie. Aby zmniejszyć opóźnienie, włącz pozyskiwanie przesyłania strumieniowego w klastrze, a następnie tabelę lub bazę danych, wykonując kroki opisane w temacie Konfigurowanie pozyskiwania przesyłania strumieniowego w klastrze usługi Azure Data Explorer. Aby zapoznać się z opcjami agregacji, zobacz Zasady pozyskiwaniazasądania.