Samouczek: zapisywanie w tabeli delty przechowywanej w usłudze Azure Data Lake Storage Gen2

  • Artykuł

W tym samouczku pokazano, jak utworzyć zadanie usługi Stream Analytics w celu zapisania w tabeli delty w usłudze Azure Data Lake Storage Gen2. Z tego samouczka dowiesz się, jak wykonywać następujące czynności:

  • Wdrażanie generatora zdarzeń wysyłającego przykładowe dane do centrum zdarzeń
  • Tworzenie zadania usługi Stream Analytics
  • Konfigurowanie usługi Azure Data Lake Storage Gen2 przy użyciu tabeli różnicowej
  • Uruchamianie zadania usługi Stream Analytics

Wymagania wstępne

Przed rozpoczęciem wykonaj następujące kroki:

  • Jeśli nie masz subskrypcji platformy Azure, utwórz bezpłatne konto.
  • Wdróż generator zdarzeń TollApp na platformie Azure, użyj tego linku, aby wdrożyć szablon platformy Azure TollApp. Ustaw parametr "interval" na 1. Utwórz nową grupę zasobów i użyj jej na potrzeby tego kroku.
  • Utwórz konto usługi Data Lake Storage Gen2.

Tworzenie zadania usługi Stream Analytics

  1. Zaloguj się w witrynie Azure Portal.

  2. Wybierz pozycję Wszystkie usługi w menu po lewej stronie.

  3. Przenieś wskaźnik myszy nad zadaniami usługi Stream Analytics w sekcji Analiza i wybierz pozycję + (plus).

    Zrzut ekranu przedstawiający wybór zadań usługi Stream Analytics na stronie Wszystkie usługi.

  4. W lewym górnym rogu witryny Azure Portal wybierz pozycję Utwórz zasób.

  5. Wybierz pozycję Zadanie usługi>Stream Analytics z listy wyników.

  6. Na stronie Nowe zadanie usługi Stream Analytics wykonaj następujące kroki:

    1. W polu Subskrypcja wybierz subskrypcję platformy Azure.
    2. W polu Grupa zasobów wybierz ten sam zasób, który został użyty wcześniej we wdrożeniu usługi TollApp.
    3. W polu Nazwa wprowadź nazwę zadania. Nazwa zadania usługi Stream Analytics może zawierać wyłącznie znaki alfanumeryczne, łączniki i podkreślenia oraz musi składać się z od 3 do 63 znaków.
    4. W przypadku środowiska hostingu upewnij się, że wybrano opcję Chmura .
    5. W obszarze Jednostki usługi Stream wybierz pozycję 1. Jednostki przesyłania strumieniowego reprezentują zasoby obliczeniowe, które są wymagane do wykonania zadania. Aby dowiedzieć się więcej na temat skalowania jednostek przesyłania strumieniowego, zobacz artykuł Understanding and adjusting streaming units (Opis i dostosowywanie jednostek przesyłania strumieniowego).

    Zrzut ekranu przedstawiający stronę Tworzenie zadania usługi Stream Analytics.

  7. Wybierz pozycję Przejrzyj i utwórz w dolnej części strony.

  8. Na stronie Przeglądanie i tworzenie przejrzyj ustawienia i wybierz pozycję Utwórz, aby utworzyć usługę Stream Analytics.

  9. Na stronie wdrożenia wybierz pozycję Przejdź do zasobu , aby przejść do strony zadania usługi Stream Analytics.

Konfigurowanie danych wejściowych zadania

Następnym krokiem jest zdefiniowanie źródła danych wejściowych zadania odczytu danych przy użyciu centrum zdarzeń utworzonego we wdrożeniu TollApp.

  1. Znajdź zadanie usługi Stream Analytics utworzone w poprzedniej sekcji.

  2. W sekcji Topologia zadań zadania usługi Stream Analytics wybierz pozycję Dane wejściowe.

  3. Wybierz pozycję + Dodaj dane wejściowe i Centrum zdarzeń.

    Zrzut ekranu przedstawiający stronę Dane wejściowe.

  4. Wypełnij formularz wejściowy następującymi wartościami utworzonymi za pomocą szablonu platformy Azure TollApp:

    1. W polu Alias wejściowy wprowadź wartość entrystream.

    2. Wybierz pozycję Wybierz centrum zdarzeń z subskrypcji.

    3. W polu Subskrypcja wybierz subskrypcję platformy Azure.

    4. W obszarze Przestrzeń nazw centrum zdarzeń wybierz przestrzeń nazw centrum zdarzeń utworzoną w poprzedniej sekcji.

    5. Użyj opcji domyślnych w pozostałych ustawieniach i wybierz pozycję Zapisz.

      Zrzut ekranu przedstawiający wybór centrum zdarzeń wejściowych.

Konfigurowanie danych wyjściowych zadania

Następnym krokiem jest zdefiniowanie ujścia danych wyjściowych, w którym zadanie może zapisywać dane. W tym samouczku zapisujesz dane wyjściowe w tabeli delty w usłudze Azure Data Lake Storage Gen2.

  1. W sekcji Topologia zadań zadania usługi Stream Analytics wybierz opcję Dane wyjściowe.

  2. Wybierz pozycję + Dodaj wyjściowy>magazyn obiektów blob/usługę ADLS Gen2.

    Zrzut ekranu przedstawiający stronę Dane wyjściowe.

  3. Wypełnij formularz danych wyjściowych następującymi szczegółami i wybierz pozycję Zapisz:

    1. W polu Alias danych wyjściowych wprowadź wartość DeltaOutput.

    2. Wybierz pozycję Wybierz usługę Blob Storage/ADLS Gen2 z subskrypcji.

    3. W polu Subskrypcja wybierz subskrypcję platformy Azure.

    4. W polu Konto magazynu wybierz utworzone konto usługi ADLS Gen2 (rozpoczynające się od aplikacji płatnej).

    5. W polu Kontener wybierz pozycję Utwórz nową i podaj unikatową nazwę kontenera.

    6. W obszarze Format serializacji zdarzeń wybierz pozycję Delta Lake. Chociaż usługa Delta Lake jest wymieniona jako jedna z opcji w tym miejscu, nie jest to format danych. Usługa Delta Lake używa plików Parquet w wersji do przechowywania danych. Aby dowiedzieć się więcej o usłudze Delta Lake.

    7. W polu Ścieżka tabeli delty wprowadź folder samouczka/tabelę delty.

    8. Użyj opcji domyślnych w pozostałych ustawieniach i wybierz pozycję Zapisz.

      Zrzut ekranu przedstawiający konfigurację danych wyjściowych.

Tworzenie zapytań

Na tym etapie masz skonfigurowane zadanie usługi Stream Analytics w celu odczytywania przychodzącego strumienia danych. Następnym krokiem jest utworzenie zapytania, które analizuje dane w czasie rzeczywistym. Zapytania używają języka przypominającego SQL, który ma pewne rozszerzenia specyficzne dla usługi Stream Analytics.

  1. Teraz wybierz pozycję Zapytanie w obszarze Topologia zadania w menu po lewej stronie.

  2. Wprowadź następujące zapytanie w oknie zapytania. W tym przykładzie zapytanie odczytuje dane z usługi Event Hubs i kopiuje wybrane wartości do tabeli delty w usłudze ADLS Gen2.

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. Wybierz pozycję Zapisz zapytanie na pasku narzędzi.

    Zrzut ekranu przedstawiający zapytanie dotyczące zadania.

Uruchamianie zadania usługi Stream Analytics i sprawdzanie danych wyjściowych

  1. Wróć do strony przeglądu zadania w witrynie Azure Portal i wybierz pozycję Uruchom.

    Zrzut ekranu przedstawiający wybór przycisku Uruchom zadanie na stronie Przegląd.

  2. Na stronie Start job (Uruchamianie zadania) upewnij się, że wybrano pozycję Now (Now) w polu Job output start time (Godzina rozpoczęcia zadania), a następnie wybierz pozycję Start (Rozpocznij) w dolnej części strony.

    Zrzut ekranu przedstawiający wybór strony Zadania uruchamiania.

  3. Po kilku minutach w portalu znajdź konto magazynu i kontener skonfigurowany jako dane wyjściowe zadania. Teraz możesz zobaczyć tabelę delty w folderze określonym w kontenerze. Uruchomienie zadania trwa kilka minut po raz pierwszy, po jego uruchomieniu, będzie ono nadal działać po nadejściu danych.

    Zrzut ekranu przedstawiający wyjściowe pliki danych w kontenerze.

Czyszczenie zasobów

Gdy grupa zasobów, zadanie usługi Stream Analytics i wszystkie powiązane zasoby nie będą już potrzebne, usuń grupę zasobów. Usunięcie zadania pozwala uniknąć opłat za jednostki przesyłania strumieniowego zużywane przez zadanie. Jeśli planujesz użyć zadania w przyszłości, możesz je zatrzymać i uruchomić ponownie później, gdy będzie potrzebne. Jeśli nie zamierzasz nadal korzystać z tego zadania, usuń wszystkie zasoby utworzone w tym samouczku, wykonując następujące czynności:

  1. W menu znajdującym się po lewej stronie w witrynie Azure Portal wybierz pozycję Grupy zasobów, a następnie wybierz nazwę utworzonego zasobu.
  2. Na stronie grupy zasobów wybierz pozycję Usuń, wpisz w polu tekstowym nazwę zasobu do usunięcia, a następnie wybierz pozycję Usuń.

Następne kroki

W tym samouczku utworzono proste zadanie usługi Stream Analytics, przefiltrowane dane przychodzące i zapisano wyniki w tabeli delty na koncie usługi ADLS Gen2. Aby dowiedzieć się więcej o zadaniach usługi Stream Analytics:

Zapisywanie w usłudze ASA w danych wyjściowych usługi Delta Lake