Udostępnij za pośrednictwem

Szybki start: pozyskiwanie danych przy użyciu potoków usługi Azure Synapse (wersja zapoznawcza)

  • Artykuł

Z tego przewodnika Szybki start dowiesz się, jak ładować dane ze źródła danych do puli usługi Azure Synapse Data Explorer.

Wymagania wstępne

  • Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.

  • Tworzenie puli eksploratora danych przy użyciu programu Synapse Studio lub witryny Azure Portal

  • Utwórz bazę danych eksploratora danych.

    1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Dane.

    2. Wybierz + pozycję (Dodaj nowy zasób) >pulę Eksploratora danych i użyj następujących informacji:

      Ustawienie Sugerowana wartość opis
      Nazwa puli contosodataexplorer Nazwa puli Eksploratora danych do użycia
      Nazwisko TestDatabase Nazwa bazy danych musi być unikatowa w obrębie klastra.
      Domyślny okres przechowywania 365 Przedział czasu (w dniach), w którym gwarantowana jest dostępność danych dla zapytania. Przedział czasu jest mierzony od momentu pozyskania danych.
      Domyślny okres pamięci podręcznej 31 Przedział czasu (w dniach), w którym często używane w zapytaniach dane mają być dostępne na dysku SSD lub w pamięci RAM zamiast w magazynie długoterminowym.

    3. Wybierz pozycję Utwórz, aby utworzyć bazę danych. Tworzenie zazwyczaj zajmuje mniej niż minutę.

  • Utwórz tabelę

    1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Opracuj.
    2. W obszarze Skrypty KQL wybierz + skrypt KQL (Dodaj nowy zasób). > W okienku po prawej stronie możesz nazwać skrypt.
    3. W menu Połączenie wybierz pozycję contosodataexplorer.
    4. W menu Użyj bazy danych wybierz pozycję TestDatabase.
    5. Wklej następujące polecenie i wybierz pozycję Uruchom , aby utworzyć tabelę.
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)

    Napiwek

    Sprawdź, czy tabela została pomyślnie utworzona. W okienku po lewej stronie wybierz pozycję Dane, wybierz menu contosodataexplorer więcej, a następnie wybierz pozycję Odśwież. W obszarze contosodataexplorer rozwiń węzeł Tables (Tabele ) i upewnij się, że tabela StormEvents znajduje się na liście.

  • Pobierz punkty końcowe pozyskiwania zapytań i danych. Aby skonfigurować połączoną usługę, potrzebny będzie punkt końcowy zapytania.

    1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Zarządzaj pulami>eksploratora danych.

    2. Wybierz pulę Eksploratora danych, której chcesz użyć, aby wyświetlić jego szczegóły.

      Screenshot of the Data Explorer pools screen, showing the list of existing pools.

    3. Zanotuj punkty końcowe zapytań i pozyskiwania danych. Użyj punktu końcowego zapytania jako klastra podczas konfigurowania połączeń z pulą eksploratora danych. Podczas konfigurowania zestawów SDK na potrzeby pozyskiwania danych użyj punktu końcowego pozyskiwania danych.

      Screenshot of the Data Explorer pools properties pane, showing the Query and Data Ingestion URI addresses.

Tworzenie usługi połączonej

W usłudze Azure Synapse Analytics połączona usługa służy do definiowania informacji o połączeniu z innymi usługami. W tej sekcji utworzysz połączoną usługę dla usługi Azure Data Explorer.

  1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Zarządzaj połączonymi usługami>.

  2. Wybierz + Nowy.

    Screenshot of the Linked services screen, showing the list of existing services and highlighting the add new button.

  3. Wybierz usługę Azure Data Explorer z galerii, a następnie wybierz pozycję Kontynuuj.

    Screenshot of the new Linked services pane, showing the list of available services and highlighting the add new Azure Data Explorer service.

  4. Na stronie Nowe połączone usługi użyj następujących informacji:

    Ustawienie Sugerowana wartość opis
    Nazwa/nazwisko contosodataexplorerlinkedservice Nazwa nowej połączonej usługi Azure Data Explorer.
    Metoda uwierzytelniania Tożsamość zarządzana Metoda uwierzytelniania nowej usługi.
    Metoda wyboru konta Wprowadź ręcznie Metoda określania punktu końcowego zapytania.
    Punkt końcowy https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net Zanotuj wcześniej punkt końcowy zapytania.
    Baza danych TestDatabase Baza danych, w której chcesz pozyskiwać dane.

    Screenshot of the new Linked services details pane, showing the fields that need to be completed for the new service.

  5. Wybierz pozycję Testuj połączenie , aby zweryfikować ustawienia, a następnie wybierz pozycję Utwórz.

Tworzenie potoku w celu pozyskiwania danych

Potok zawiera przepływ logiczny na potrzeby wykonywania zestawu działań. W tej sekcji utworzysz potok zawierający działanie kopiowania, które pozysuje dane z preferowanego źródła do puli Eksploratora danych.

  1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Integruj.

  2. Wybierz pozycję +>Potok. W okienku po prawej stronie możesz nazwać potok.

    Screenshot showing the selection for creating a new pipeline.

  3. W obszarze Działania>Przenieś i przekształć przeciągnij pozycję Kopiuj dane na kanwę potoku.

  4. Wybierz działanie kopiowania i przejdź do karty Źródło . Wybierz lub utwórz nowy źródłowy zestaw danych jako źródło, z których chcesz skopiować dane.

  5. Przejdź do karty Ujście. Wybierz pozycję Nowy, aby utworzyć nowy zestaw danych ujścia.

    Screenshot of the pipeline copy activity, showing the selection for creating a new sink.

  6. Wybierz zestaw danych usługi Azure Data Explorer z galerii, a następnie wybierz pozycję Kontynuuj.

  7. W okienku Ustaw właściwości użyj poniższych informacji, a następnie wybierz przycisk OK.

    Ustawienie Sugerowana wartość opis
    Nazwa/nazwisko AzureDataExplorerTable Nazwa nowego potoku.
    Połączona usługa contosodataexplorerlinkedservice Utworzona wcześniej połączona usługa.
    Table StormEvents Utworzona wcześniej tabela.

    Screenshot of the pipeline copy activity set properties pane, showing the fields that need to be completed for the new sink.

  8. Aby zweryfikować potok, wybierz pozycję Weryfikuj na pasku narzędzi. Wynik danych wyjściowych weryfikacji potoku jest widoczny po prawej stronie.

Debugowanie i publikowanie potoku

Po zakończeniu konfigurowania potoku możesz wykonać przebieg debugowania przed opublikowaniem artefaktów, aby sprawdzić, czy wszystko jest poprawne.

  1. Wybierz pozycję Debuguj na pasku narzędzi. Na karcie Dane wyjściowe w dolnej części okna wyświetlany jest stan uruchomienia potoku.

  2. Po pomyślnym uruchomieniu potoku na górnym pasku narzędzi wybierz pozycję Opublikuj wszystko. Ta akcja publikuje jednostki (zestawy danych i potoki) utworzone w usłudze Synapse Analytics.

  3. Poczekaj na wyświetlenie komunikatu Pomyślnie opublikowano. Aby wyświetlić komunikaty powiadomień, wybierz przycisk dzwonka w prawym górnym rogu.

Wyzwalanie i monitorowanie potoku

W tej sekcji ręcznie wyzwolisz potok opublikowany w poprzednim kroku.

  1. Wybierz pozycję Dodaj wyzwalacz na pasku narzędzi, a następnie wybierz pozycję Wyzwól teraz. Na stronie Uruchamianie potoku wybierz przycisk OK.

  2. Przejdź do karty Monitor znajdującej się na lewym pasku bocznym. Widoczne jest uruchomienie potoku, które zostało wyzwolone za pomocą wyzwalacza ręcznego.

  3. Po pomyślnym zakończeniu przebiegu potoku wybierz link w kolumnie Nazwa potoku, aby wyświetlić szczegóły przebiegu działania lub ponownie uruchomić potok. W tym przykładzie istnieje tylko jedno działanie, dlatego na liście jest widoczny tylko jeden wpis.

  4. Aby uzyskać szczegółowe informacje na temat operacji kopiowania, wybierz link Szczegóły (ikona okularów) w kolumnie Nazwa działania. Możesz monitorować szczegóły, takie jak ilość danych skopiowanych ze źródła do ujścia, przepływność danych, kroki wykonywania z odpowiednim czasem trwania i używane konfiguracje.

  5. Aby wrócić do widoku przebiegów potoku, wybierz link Wszystkie uruchomienia potoku u góry. Wybierz pozycję Odśwież, aby odświeżyć listę.

  6. Sprawdź, czy dane są poprawnie zapisywane w puli Eksplorator danych.

Następne kroki