Filtrowanie i pozyskiwanie do usługi Azure Data Explorer przy użyciu edytora kodu usługi Stream Analytics

W tym artykule opisano, jak łatwo utworzyć zadanie usługi Stream Analytics za pomocą edytora kodu bez edytora kodu. Stale odczytuje z usługi Event Hubs, filtruje dane przychodzące, a następnie zapisuje wyniki w sposób ciągły w usłudze Azure Data Explorer.

Wymagania wstępne

• Zasoby usług Azure Event Hubs i Azure Data Explorer muszą być publicznie dostępne i nie muszą znajdować się za zaporą lub zabezpieczone w usłudze Azure Virtual Network
• Dane w usłudze Event Hubs muszą być serializowane w formacie JSON, CSV lub Avro.

Opracowywanie zadania usługi Stream Analytics w celu filtrowania i pozyskiwania danych w czasie rzeczywistym

1. W witrynie Azure Portal znajdź i wybierz wystąpienie usługi Azure Event Hubs.

2. Wybierz pozycję Funkcje>Przetwarzanie danych, a następnie wybierz pozycję Rozpocznij na karcie Filtrowanie i przechowywanie danych w usłudze Azure Data Explorer.

   

3. Wprowadź nazwę zadania usługi Stream Analytics, a następnie wybierz pozycję Utwórz.

   

4. Określ typ serializacji danych w oknie usługi Event Hubs i metodę uwierzytelniania, która będzie używana przez zadanie w celu nawiązania połączenia z usługą Event Hubs. Następnie wybierz pozycję Połącz.
   

5. Gdy połączenie zostanie nawiązane pomyślnie i masz strumienie danych przepływające do wystąpienia usługi Event Hubs, natychmiast zobaczysz dwie rzeczy:

   • Pola, które znajdują się w danych wejściowych. Możesz wybrać pozycję Dodaj pole lub wybrać trzy symbol kropki obok pola, aby usunąć, zmienić nazwę lub zmienić jego typ.
     
   • Przykład na żywo danych przychodzących w tabeli Podgląd danych w widoku diagramu. Jest on okresowo odświeżany. Możesz wybrać pozycję Wstrzymaj podgląd przesyłania strumieniowego, aby wyświetlić statyczny widok przykładowych danych wejściowych.
     

6. Wybierz kafelek Filtr, aby zagregować dane. W obszarze Filtr wybierz pole, aby filtrować dane przychodzące za pomocą warunku.

   

7. Wybierz kafelek Zarządzaj. W panelu Zarządzanie polami wybierz pola, które chcesz wyświetlić w centrum zdarzeń. Jeśli chcesz dodać wszystkie pola, wybierz pozycję Dodaj wszystkie pola.

   

8. Wybierz kafelek Azure Data Explorer . W panelu konfiguracji wypełnij wymagane parametry i połącz.

   Uwaga

   Tabela musi istnieć w wybranej bazie danych, a schemat tabeli musi dokładnie odpowiadać liczbie pól i ich typów generowanych przez podgląd danych.

   

9. Opcjonalnie wybierz pozycję Pobierz statyczną wersję zapoznawcza/Odśwież statyczną wersję zapoznawcza , aby wyświetlić podgląd danych, który zostanie pozyskany w centrum zdarzeń.
   

10. Wybierz pozycję Zapisz , a następnie wybierz pozycję Uruchom zadanie usługi Stream Analytics.
    

11. Aby uruchomić zadanie, określ:

    • Liczba jednostek przesyłania strumieniowego (SU) uruchamianych przez zadanie. Jednostki SU reprezentują ilość zasobów obliczeniowych i pamięci przydzielonych do zadania. Zalecamy rozpoczęcie od trzech, a następnie dostosowanie zgodnie z potrzebami.
    • Obsługa błędów danych wyjściowych — umożliwia określenie zachowania, które ma nastąpić, gdy dane wyjściowe zadania do miejsca docelowego kończą się niepowodzeniem z powodu błędów danych. Domyślnie zadanie ponawia próbę, dopóki operacja zapisu nie powiedzie się. Możesz również zrezygnować z takich zdarzeń wyjściowych.
      

12. Po wybraniu pozycji Uruchom zadanie zostanie uruchomione w ciągu dwóch minut, a metryki zostaną otwarte w sekcji tabulacji poniżej.

    

    Zadanie można również wyświetlić w sekcji Przetwarzanie danych na karcie Zadania usługi Stream Analytics. Wybierz pozycję Otwórz metryki , aby je monitorować lub zatrzymać i uruchomić ponownie, zgodnie z potrzebami.

    

Zagadnienia dotyczące korzystania z funkcji replikacji geograficznej usługi Event Hubs

Usługa Azure Event Hubs niedawno uruchomiła funkcję replikacji geograficznej w publicznej wersji zapoznawczej. Ta funkcja różni się od funkcji odzyskiwania po awarii geograficznej w usłudze Azure Event Hubs.

Gdy typ trybu failover jest wymuszony , a spójność replikacji jest asynchroniczna, zadanie usługi Stream Analytics nie gwarantuje dokładnie raz danych wyjściowych danych wyjściowych usługi Azure Event Hubs.

Usługa Azure Stream Analytics, jako producent z centrum zdarzeń, może obserwować opóźnienie limitu w zadaniu w czasie trwania pracy w trybie failover i podczas ograniczania przepustowości przez usługę Event Hubs w przypadku opóźnienia replikacji między główną i pomocniczą osiąga maksymalne skonfigurowane opóźnienie.

Usługa Azure Stream Analytics, jako użytkownik z usługą Event Hubs jako dane wejściowe, może obserwować opóźnienie limitu w zadaniu podczas trwania trybu failover i może pominąć dane lub znaleźć zduplikowane dane po zakończeniu pracy w trybie failover.

Ze względu na te zastrzeżenia zalecamy ponowne uruchomienie zadania usługi Stream Analytics z odpowiednim czasem rozpoczęcia bezpośrednio po zakończeniu pracy w trybie failover usługi Event Hubs. Ponadto, ponieważ funkcja replikacji geograficznej usługi Event Hubs jest dostępna w publicznej wersji zapoznawczej, nie zalecamy używania tego wzorca dla produkcyjnych zadań usługi Stream Analytics. Bieżące zachowanie usługi Stream Analytics poprawi się, zanim funkcja replikacji geograficznej usługi Event Hubs będzie ogólnie dostępna i może być używana w zadaniach produkcyjnych usługi Stream Analytics.

Następne kroki

Dowiedz się więcej o usłudze Azure Stream Analytics i sposobie monitorowania utworzonego zadania.

• Wprowadzenie do usługi Azure Stream Analytics
• Monitorowanie zadania usługi Stream Analytics za pomocą witryny Azure Portal