Kopiowanie danych do usługi Azure Data Explorer przy użyciu usługi Azure Data Factory

Ważne

Tego łącznika można używać w analizie czasu rzeczywistego w usłudze Microsoft Fabric. Skorzystaj z instrukcji w tym artykule z następującymi wyjątkami:

• W razie potrzeby utwórz bazy danych, korzystając z instrukcji w temacie Tworzenie bazy danych KQL.
• W razie potrzeby utwórz tabele, korzystając z instrukcji w temacie Tworzenie pustej tabeli.
• Pobierz identyfikatory URI zapytań lub pozyskiwania, korzystając z instrukcji w temacie Copy URI (Kopiowanie identyfikatora URI).
• Uruchamianie zapytań w zestawie zapytań KQL.

Usługa Azure Data Explorer to szybka, w pełni zarządzana usługa analizy danych. Oferuje ona analizę w czasie rzeczywistym na dużych ilościach danych przesyłanych strumieniowo z wielu źródeł, takich jak aplikacje, witryny internetowe i urządzenia IoT. Dzięki usłudze Azure Data Explorer można iteracyjnie eksplorować dane i identyfikować wzorce i anomalie w celu ulepszania produktów, ulepszania środowisk klientów, monitorowania urządzeń i zwiększania operacji. Ułatwia to eksplorowanie nowych pytań i uzyskiwanie odpowiedzi w ciągu kilku minut.

Azure Data Factory to w pełni zarządzana, oparta na chmurze usługa integracji danych. Można jej użyć do wypełnienia bazy danych usługi Azure Data Explorer danymi z istniejącego systemu. Może to pomóc zaoszczędzić czas podczas tworzenia rozwiązań analitycznych.

Podczas ładowania danych do usługi Azure Data Explorer usługa Data Factory zapewnia następujące korzyści:

• Łatwa konfiguracja: uzyskaj intuicyjny, pięcioetapowy kreator bez konieczności tworzenia skryptów.
• Rozbudowana obsługa magazynu danych: uzyskaj wbudowaną obsługę bogatego zestawu lokalnych i opartych na chmurze magazynów danych. Aby uzyskać szczegółową listę, zobacz tabelę Obsługiwanych magazynów danych.
• Bezpieczne i zgodne: dane są przesyłane za pośrednictwem protokołu HTTPS lub usługi Azure ExpressRoute. Obecność globalnej usługi gwarantuje, że dane nigdy nie opuszczają granicy geograficznej.
• Wysoka wydajność: szybkość ładowania danych wynosi do 1 gigabajta na sekundę (GB/s) do usługi Azure Data Explorer. Aby uzyskać więcej informacji, zobacz działanie Kopiuj wydajność.

W tym artykule użyjesz narzędzia do kopiowania danych usługi Data Factory, aby załadować dane z usługi Amazon Simple Storage Service (S3) do usługi Azure Data Explorer. Możesz wykonać podobny proces, aby skopiować dane z innych magazynów danych, takich jak:

• Azure Blob Storage
• Azure SQL Database
• Azure SQL Data Warehouse
• Google BigQuery
• Oracle
• System plików

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Źródło danych.

Tworzenie fabryki danych

1. Zaloguj się w witrynie Azure Portal.

2. W okienku po lewej stronie wybierz pozycję Utwórz fabrykę danychanalizy> zasobów.>

   

3. W okienku Nowa fabryka danych podaj wartości pól w poniższej tabeli:

   

   Ustawienie	Wartość do wprowadzenia
   Nazwa	W polu wprowadź globalnie unikatową nazwę fabryki danych. Jeśli wystąpi błąd, nazwa fabryki danych "LoadADXDemo" jest niedostępna, wprowadź inną nazwę fabryki danych. Aby uzyskać reguły nazewnictwa artefaktów usługi Data Factory, zobacz Reguły nazewnictwa usługi Data Factory.
   Subskrypcja	Z listy rozwijanej wybierz subskrypcję platformy Azure, w której chcesz utworzyć fabrykę danych.
   Grupa zasobów	Wybierz pozycję Utwórz nową, a następnie wprowadź nazwę nowej grupy zasobów. Jeśli masz już grupę zasobów, wybierz pozycję Użyj istniejącej.
   Wersja	Z listy rozwijanej wybierz pozycję V2.
   Lokalizacja	Z listy rozwijanej wybierz lokalizację fabryki danych. Na liście są wyświetlane tylko obsługiwane lokalizacje. Magazyny danych używane przez fabrykę danych mogą istnieć w innych lokalizacjach lub regionach.

4. Wybierz przycisk Utwórz.

5. Aby monitorować proces tworzenia, wybierz pozycję Powiadomienia na pasku narzędzi. Po utworzeniu fabryki danych wybierz ją.

   Zostanie otwarte okienko Data Factory .

   

6. Aby otworzyć aplikację w osobnym okienku, wybierz kafelek Tworzenie & Monitor .

Ładowanie danych do usługi Azure Data Explorer

Dane z wielu typów magazynów danych można załadować do usługi Azure Data Explorer. W tym artykule omówiono sposób ładowania danych z usługi Amazon S3.

Dane można załadować na jeden z następujących sposobów:

• W interfejsie użytkownika Azure Data Factory w okienku po lewej stronie wybierz ikonę Autor. Jest to wyświetlane w sekcji "Tworzenie fabryki danych" w sekcji Tworzenie fabryki danych przy użyciu interfejsu użytkownika Azure Data Factory.
• W narzędziu do kopiowania danych Azure Data Factory, jak pokazano w temacie Używanie narzędzia do kopiowania danych do kopiowania danych.

Kopiowanie danych z usługi Amazon S3 (źródło)

1. W okienku Wprowadzenie otwórz narzędzie Do kopiowania danych, wybierając pozycję Kopiuj dane.

   

2. W okienku Właściwości w polu Nazwa zadania wprowadź nazwę, a następnie wybierz przycisk Dalej.

   

3. W okienku Źródłowy magazyn danych wybierz pozycję Utwórz nowe połączenie.

   

4. Wybierz pozycję Amazon S3, a następnie wybierz pozycję Kontynuuj.

   

5. W okienku Nowa połączona usługa (Amazon S3) wykonaj następujące czynności:

   

   a. W polu Nazwa wprowadź nazwę nowej połączonej usługi.

   b. Z listy rozwijanej Połącz za pomocą środowiska Integration Runtime wybierz wartość.

   c. W polu Identyfikator klucza dostępu wprowadź wartość.

   Uwaga

   W usłudze Amazon S3, aby zlokalizować klucz dostępu, wybierz swoją nazwę użytkownika amazon na pasku nawigacyjnym, a następnie wybierz pozycję Moje poświadczenia zabezpieczeń.

   d. W polu Klucz dostępu do wpisu tajnego wprowadź wartość.

   e. Aby przetestować utworzone połączenie połączonej usługi, wybierz pozycję Testuj połączenie.

   f. Wybierz pozycję Zakończ.

   W okienku Źródłowy magazyn danych zostanie wyświetlone nowe połączenie AmazonS31.

6. Wybierz opcję Dalej.

   

7. W okienku Wybierz plik wejściowy lub folder wykonaj następujące czynności:

   a. Przejdź do pliku lub folderu, który chcesz skopiować, a następnie wybierz go.

   b. Wybierz żądane zachowanie kopiowania. Upewnij się, że pole wyboru Kopia binarna jest wyczyszczone.

   c. Wybierz pozycję Next (Dalej).

   

8. W okienku Ustawienia formatu pliku wybierz odpowiednie ustawienia pliku. a następnie wybierz przycisk Dalej.

   

Kopiowanie danych do usługi Azure Data Explorer (miejsce docelowe)

Nowa połączona usługa Azure Data Explorer jest tworzona w celu skopiowania danych do tabeli docelowej (ujścia) platformy Azure Data Explorer określonej w tej sekcji.

Uwaga

Użyj działania polecenia Azure Data Factory, aby uruchomić polecenia zarządzania Data Explorer platformy Azure i użyć dowolnego pozyskiwania z poleceń zapytań, takich jak .set-or-replace.

Tworzenie połączonej usługi Azure Data Explorer

Aby utworzyć połączoną usługę Azure Data Explorer, wykonaj następujące czynności:

1. Aby użyć istniejącego połączenia magazynu danych lub określić nowy magazyn danych, w okienku Docelowy magazyn danych wybierz pozycję Utwórz nowe połączenie.

   

2. W okienku Nowa połączona usługa wybierz pozycję Azure Data Explorer, a następnie wybierz pozycję Kontynuuj.

   

3. W okienku Nowa połączona usługa (Azure Data Explorer) wykonaj następujące czynności:

   

   1. W polu Nazwa wprowadź nazwę połączonej usługi Azure Data Explorer.

   2. W obszarze Metoda uwierzytelniania wybierz pozycję Tożsamość zarządzana przypisana przez system lub jednostka usługi.

      • Aby uwierzytelnić się przy użyciu tożsamości zarządzanej, przyznaj tożsamości zarządzanej dostęp do bazy danych przy użyciu nazwy tożsamości zarządzanej lub identyfikatora obiektu tożsamości zarządzanej.

      • Aby uwierzytelnić się przy użyciu jednostki usługi:

        1. W polu Dzierżawa wprowadź nazwę dzierżawy.
        2. W polu Identyfikator jednostki usługi wprowadź identyfikator jednostki usługi.
        3. Wybierz pozycję Klucz jednostki usługi , a następnie w polu Klucz jednostki usługi wprowadź wartość klucza.

      Uwaga

      • Jednostka usługi jest używana przez Azure Data Factory w celu uzyskania dostępu do usługi Azure Data Explorer. Aby utworzyć jednostkę usługi, przejdź do tworzenia jednostki usługi Microsoft Entra.
      • Aby przypisać uprawnienia do tożsamości zarządzanej lub jednostki usługi lub , zobacz zarządzanie uprawnieniami.
      • Nie należy używać metody azure Key Vault ani tożsamości zarządzanej przypisanej przez użytkownika.

   3. W obszarze Metoda wyboru konta wybierz jedną z następujących opcji:

      • Wybierz pozycję Z subskrypcji platformy Azure , a następnie z listy rozwijanej wybierz subskrypcję platformy Azure i klaster.

        Uwaga

        • Kontrolka listy rozwijanej Klaster zawiera tylko klastry skojarzone z subskrypcją.
        • Klaster musi mieć odpowiednią jednostkę SKU w celu uzyskania najlepszej wydajności.

      • Wybierz pozycję Wprowadź ręcznie, a następnie wprowadź punkt końcowy.

   4. Z listy rozwijanej Baza danych wybierz nazwę bazy danych. Alternatywnie zaznacz pole wyboru Edytuj , a następnie wprowadź nazwę bazy danych.

   5. Aby przetestować utworzone połączenie z połączoną usługą, wybierz pozycję Testuj połączenie. Jeśli możesz nawiązać połączenie z połączoną usługą, w okienku zostanie wyświetlony zielony znacznik wyboru i komunikat Pomyślne połączenie .

   6. Aby przetestować utworzone połączenie z połączoną usługą, wybierz pozycję Testuj połączenie. Jeśli możesz nawiązać połączenie z połączoną usługą, w okienku zostanie wyświetlony zielony znacznik wyboru i komunikat Pomyślne połączenie .

   7. Wybierz pozycję Utwórz, aby ukończyć tworzenie połączonej usługi.

Konfigurowanie połączenia danych usługi Azure Data Explorer

Po utworzeniu połączonego połączenia z usługą zostanie otwarte okienko Docelowy magazyn danych , a utworzone połączenie jest dostępne do użycia. Aby skonfigurować połączenie, wykonaj następujące czynności:

1. Wybierz opcję Dalej.

   

2. W okienku Mapowanie tabeli ustaw nazwę tabeli docelowej, a następnie wybierz przycisk Dalej.

   

3. W okienku Mapowanie kolumny odbywają się następujące mapowania:

   a. Pierwsze mapowanie jest wykonywane przez Azure Data Factory zgodnie z mapowaniem schematu Azure Data Factory. Wykonaj następujące czynności:

   • Ustaw mapowania kolumn dla tabeli docelowej Azure Data Factory. Domyślne mapowanie jest wyświetlane ze źródła do tabeli docelowej Azure Data Factory.

   • Anuluj wybór kolumn, których nie musisz definiować.

   b. Drugie mapowanie występuje, gdy te dane tabelaryczne są pozyskiwane do usługi Azure Data Explorer. Mapowanie jest wykonywane zgodnie z regułami mapowania csv. Nawet jeśli dane źródłowe nie są w formacie CSV, Azure Data Factory konwertuje dane na format tabelaryczny. Dlatego mapowanie woluminów CSV jest jedynym odpowiednim mapowaniem na tym etapie. Wykonaj następujące czynności:

   • (Opcjonalnie) W obszarze Właściwości ujścia usługi Azure Data Explorer (Kusto) dodaj odpowiednią nazwę mapowania pozyskiwania, aby można było użyć mapowania kolumn.

   • Jeśli nazwa mapowania pozyskiwania nie jest określona, zostanie użyta kolejność mapowania według nazw zdefiniowana w sekcji Mapowania kolumn . Jeśli mapowanie według nazw nie powiedzie się, usługa Azure Data Explorer próbuje pozyskać dane w kolejności położenia według kolumny (czyli mapuje je według pozycji domyślnej).

   • Wybierz opcję Dalej.

   

4. W okienku Ustawienia wykonaj następujące czynności:

   a. W obszarze Ustawienia odporności na uszkodzenia wprowadź odpowiednie ustawienia.

   b. W obszarze Ustawienia wydajności opcja Włącz przemieszczanie nie ma zastosowania, a ustawienia zaawansowane obejmują zagadnienia dotyczące kosztów. Jeśli nie masz żadnych konkretnych wymagań, pozostaw te ustawienia tak, jak to jest.

   c. Wybierz pozycję Next (Dalej).

   

5. W okienku Podsumowanie przejrzyj ustawienia, a następnie wybierz pozycję Dalej.

   

6. W okienku Ukończone wdrażanie wykonaj następujące czynności:

   a. Aby przełączyć się na kartę Monitor i wyświetlić stan potoku (czyli postęp, błędy i przepływ danych), wybierz pozycję Monitor.

   b. Aby edytować połączone usługi, zestawy danych i potoki, wybierz pozycję Edytuj potok.

   c. Wybierz pozycję Zakończ , aby ukończyć zadanie kopiowania danych.

   

Zawartość pokrewna

• Dowiedz się więcej o łączniku usługi Azure Data Explorer dla Azure Data Factory.
• Edytuj połączone usługi, zestawy danych i potoki w interfejsie użytkownika usługi Data Factory.
• Wykonywanie zapytań dotyczących danych w internetowym interfejsie użytkownika usługi Azure Data Explorer.