Share via

Przechwytywanie danych z usługi Event Hubs przy użyciu usługi Azure Data Lake Storage Gen1

  • Artykuł

Dowiedz się, jak używać usługi Azure Data Lake Storage Gen1 do przechwytywania danych odebranych przez Azure Event Hubs.

Wymagania wstępne

Przypisywanie uprawnień do usługi Event Hubs

W tej sekcji utworzysz folder w ramach konta, w którym chcesz przechwycić dane z usługi Event Hubs. Możesz również przypisać uprawnienia do usługi Event Hubs, aby mogła zapisywać dane na koncie Data Lake Storage Gen1.

  1. Otwórz konto Data Lake Storage Gen1, na którym chcesz przechwycić dane z usługi Event Hubs, a następnie kliknij pozycję Data Explorer.

    eksplorator danych Data Lake Storage Gen1

  2. Kliknij pozycję Nowy folder , a następnie wprowadź nazwę folderu, w którym chcesz przechwycić dane.

    Tworzenie nowego folderu w Data Lake Storage Gen1

  3. Przypisz uprawnienia w katalogu głównym Data Lake Storage Gen1.

    a. Kliknij Data Explorer, wybierz katalog główny konta Data Lake Storage Gen1, a następnie kliknij pozycję Dostęp.

    Zrzut ekranu przedstawiający Eksploratora danych z katalogiem głównym konta i wywołaną opcją Dostęp.

    b. W obszarze Dostęp kliknij pozycję Dodaj, kliknij pozycję Wybierz użytkownika lub grupę, a następnie wyszukaj ciąg Microsoft.EventHubs.

    Zrzut ekranu przedstawiający stronę Dostęp z opcją Dodaj, wybierz użytkownika lub grupę i wywołaną opcją Microsoft Eventhubs.

    Kliknij pozycję Wybierz.

    c. W obszarze Przypisywanie uprawnień kliknij pozycję Wybierz uprawnienia. Ustaw pozycję Uprawnienia do wykonania. Ustaw pozycję Dodaj nawartość Ten folder i wszystkie elementy podrzędne. Ustaw pozycję Dodaj jako na wpis uprawnień dostępu i domyślny wpis uprawnień.

    Ważne

    Podczas tworzenia nowej hierarchii folderów do przechwytywania danych odbieranych przez Azure Event Hubs jest to prosty sposób zapewnienia dostępu do folderu docelowego. Jednak dodanie uprawnień do wszystkich elementów podrzędnych folderu najwyższego poziomu z wieloma plikami podrzędnymi i folderami może zająć dużo czasu. Jeśli folder główny zawiera dużą liczbę plików i folderów, może być szybsze dodawanie uprawnień do wykonywania dla Microsoft.EventHubs poszczególnych folderów w ścieżce do końcowego folderu docelowego.

    Zrzut ekranu przedstawiający sekcję Przypisywanie uprawnień z wywołaną opcją Wybierz uprawnienia. Obok sekcji Wybierz uprawnienia znajduje się opcja Wykonaj, Dodaj do i Opcja Dodaj jako.

    Kliknij przycisk OK.

  4. Przypisz uprawnienia do folderu w ramach konta Data Lake Storage Gen1, na którym chcesz przechwytywać dane.

    a. Kliknij Data Explorer, wybierz folder na koncie Data Lake Storage Gen1, a następnie kliknij przycisk Dostęp.

    Zrzut ekranu eksploratora danych z folderem na koncie i wybraną opcją Dostęp.

    b. W obszarze Dostęp kliknij pozycję Dodaj, kliknij pozycję Wybierz użytkownika lub grupę, a następnie wyszukaj ciąg Microsoft.EventHubs.

    Zrzut ekranu przedstawiający stronę Dostęp eksploratora danych z opcją Dodaj, wybierz użytkownika lub grupę i wywołaną opcją Microsoft Eventhubs.

    Kliknij pozycję Wybierz.

    c. W obszarze Przypisywanie uprawnień kliknij pozycję Wybierz uprawnienia. Ustaw pozycję Uprawnienia do odczytu, zapisu i wykonywania. Ustaw pozycję Dodaj nawartość Ten folder i wszystkie elementy podrzędne. Na koniec ustaw pozycję Dodaj jako na wpis uprawnień dostępu i domyślny wpis uprawnień.

    Zrzut ekranu przedstawiający sekcję Przypisywanie uprawnień z wywołaną opcją Wybierz uprawnienia. Sekcja Wybierz uprawnienia znajduje się obok niej z opcjami Odczyt, Zapis i Wykonywanie, Dodaj do i opcja Dodaj jako wywołaną.

    Kliknij przycisk OK.

Konfigurowanie usługi Event Hubs w celu przechwytywania danych w celu Data Lake Storage Gen1

W tej sekcji utworzysz centrum zdarzeń w przestrzeni nazw usługi Event Hubs. Należy również skonfigurować centrum zdarzeń do przechwytywania danych na koncie usługi Azure Data Lake Storage Gen1. W tej sekcji założono, że utworzono już przestrzeń nazw usługi Event Hubs.

  1. W okienku Przegląd przestrzeni nazw usługi Event Hubs kliknij pozycję + Centrum zdarzeń.

    Zrzut ekranu przedstawiający okienko Przegląd z wywołaną opcją Centrum zdarzeń.

  2. Podaj następujące wartości, aby skonfigurować usługę Event Hubs do przechwytywania danych w celu Data Lake Storage Gen1.

    Zrzut ekranu przedstawiający okno dialogowe Tworzenie centrum zdarzeń z polem tekstowym Nazwa, opcją Przechwytywanie, opcją Dostawca przechwytywania, opcją Wybierz usługę Data Lake Store i wywołaną opcją Ścieżka usługi Data Lake.

    a. Podaj nazwę centrum zdarzeń.

    b. Na potrzeby tego samouczka ustaw wartości domyślne dla opcji Liczba partycji i Przechowywanie komunikatów .

    c. Ustaw opcję Przechwytywanie na Włączone. Ustaw przedział czasu (częstotliwość przechwytywania) i okno rozmiaru (rozmiar danych do przechwycenia).

    d. W polu Dostawca przechwytywania wybierz pozycję Azure Data Lake Store, a następnie wybierz utworzone wcześniej konto Data Lake Storage Gen1. W polu Ścieżka usługi Data Lake wprowadź nazwę folderu utworzonego na koncie Data Lake Storage Gen1. Wystarczy podać ścieżkę względną do folderu.

    e. Pozostaw wartości domyślne formaty nazwy pliku przechwytywania przykładowego . Ta opcja określa strukturę folderów utworzoną w folderze przechwytywania.

    f. Kliknij pozycję Utwórz.

Testowanie konfiguracji

Teraz możesz przetestować rozwiązanie, wysyłając dane do usługi Azure Event Hub. Postępuj zgodnie z instrukcjami w temacie Wysyłanie zdarzeń do Azure Event Hubs. Po rozpoczęciu wysyłania danych zobaczysz dane odzwierciedlone w Data Lake Storage Gen1 przy użyciu określonej struktury folderów. Na przykład na twoim koncie Data Lake Storage Gen1 zostanie wyświetlona struktura folderów, jak pokazano na poniższym zrzucie ekranu.

Przykładowe dane usługi EventHub w Data Lake Storage Gen1

Uwaga

Nawet jeśli nie masz komunikatów przychodzących do usługi Event Hubs, usługa Event Hubs zapisuje puste pliki z tylko nagłówkami na koncie Data Lake Storage Gen1. Pliki są zapisywane w tym samym interwale czasu, który podano podczas tworzenia usługi Event Hubs.

Analizowanie danych w Data Lake Storage Gen1

Gdy dane są w Data Lake Storage Gen1, można uruchamiać zadania analityczne, aby przetwarzać i buforować dane. Zobacz przykład USQL Avro, aby dowiedzieć się, jak to zrobić przy użyciu usługi Azure Data Lake Analytics.

Zobacz też