Pobieranie danych z usługi Azure Storage

Z tego artykułu dowiesz się, jak pobierać dane z usługi Azure Storage (kontener usługi ADLS Gen2, kontener obiektów blob lub pojedyncze obiekty blob). Dane można wprowadzać do swojej tabeli w sposób ciągły lub jako jednorazowe pozyskiwanie. Po pozyskaniu dane staną się dostępne dla zapytań.

• Ciągłe pozyskiwanie (wersja zapoznawcza): ciągłe pozyskiwanie obejmuje skonfigurowanie potoku pozyskiwania, który umożliwia usłudze Eventhouse nasłuchiwanie zdarzeń usługi Azure Storage. Kanał przetwarzania powiadamia magazyn zdarzeń o ściągnięciu informacji podczas wystąpienia subskrybowanych zdarzeń. Zdarzenia to BlobCreated i BlobRenamed.

  Ważne

  Ta funkcja jest dostępna w wersji zapoznawczej.

  Uwaga

  Strumień ciągłego pozyskiwania może mieć wpływ na rozliczenia. Aby uzyskać więcej informacji, zobacz Eventhouse i użycie bazy danych KQL.

• Jednorazowe pozyskiwanie: użyj tej metody, aby pobrać dane z usługi Azure Storage jako jednorazową operację.

Warunki wstępne

• Obszar roboczy z pojemnością obsługiwaną przez Microsoft Fabric.
• Baza danych KQL z uprawnieniami do edycji.
• Konto magazynu.

W przypadku ciągłego pozyskiwania wymagane jest również:

• Tożsamość obszaru roboczego. Mój obszar roboczy nie jest obsługiwany. W razie potrzeby utwórz nowy obszar roboczy.

• Włącz hierarchiczną przestrzeń nazw na koncie przechowywania.

  

• Uprawnienia roli Czytelnik danych obiektu blob usługi Storage przypisane do tożsamości obszaru roboczego.

• Kontener do przechowywania plików danych.

• Plik danych przekazany do kontenera. Struktura pliku danych służy do definiowania schematu tabeli. Aby uzyskać więcej informacji, zobacz Formaty danych obsługiwane przez Real-Time Intelligence.

  Uwaga

  Musisz przekazać plik danych:

  • Przed konfiguracją w celu zdefiniowania schematu tabeli podczas konfigurowania.
  • Po zakończeniu konfiguracji w celu rozpoczęcia ciągłego pozyskiwania danych można przejrzeć dane oraz zweryfikować połączenie.

Dodawanie przypisania roli tożsamości obszaru roboczego do konta magazynu

1. W ustawieniach obszaru roboczego w Fabric, skopiuj identyfikator tożsamości obszaru roboczego.

   

2. W witrynie Azure Portal przejdź do konta usługi Azure Storage i wybierz pozycję Kontrola dostępu (IAM)>Dodaj>przypisanie roli.

3. Wybierz Czytelnik danych Storage Blob.

4. W oknie dialogowym Dodawanie przypisania roli wybierz pozycję + Wybierz członków.

5. Wklej identyfikator tożsamości obszaru roboczego, wybierz aplikację, a następnie Wybierz>Przejrzyj i przypisz.

Tworzenie kontenera z plikiem danych

1. Na koncie magazynu wybierz pozycję Kontenery.

2. Wybierz pozycję + Kontener, wprowadź nazwę kontenera i wybierz pozycję Zapisz.

3. Wprowadź kontener, wybierz pozycję Przekaż i przekaż przygotowany wcześniej plik danych.

   Aby uzyskać więcej informacji, zobacz obsługiwane formaty i obsługiwane kompresje.

4. Z menu kontekstowego [...] wybierz pozycję Właściwości kontenera i skopiuj adres URL do danych wejściowych podczas konfiguracji.

   

Źródło

Ustaw źródło, aby pobrać dane.

1. W obszarze roboczym otwórz usługę EventHouse i wybierz bazę danych.

2. Na wstążce bazy danych KQL wybierz pozycję Pobierz dane.

3. Wybierz źródło danych z listy dostępnych. W tym przykładzie pobierane są dane z usługi Azure storage.

   

Konfiguruj

Ciągłe przetwarzanie

1. Wybierz tabelę docelową. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję + Nowa tabela i wprowadź nazwę tabeli.

   Uwaga

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

2. W obszarze Konfigurowanie połączenia usługi Azure Blob Storage upewnij się, że opcja Ciągłe pozyskiwanie jest włączona. Jest ona domyślnie włączona.

3. Skonfiguruj połączenie, tworząc nowe połączenie lub używając istniejącego połączenia.

   Aby utworzyć nowe połączenie:

   1. Wybierz Połącz z kontem magazynowym.

      

   2. Poniższe opisy ułatwiają wypełnianie pól.

      ustawienie	Opis pola
      Subskrypcja	Subskrypcja konta magazynowego.
      Konto przechowywania Blob	Nazwa konta magazynu.
      Pojemnik	Pojemnik do przechowywania zawierający plik, który chcesz załadować.

   3. W polu Połączenie otwórz listę rozwijaną i wybierz pozycję + Nowe połączenie, a następnie pozycję Zapisz>zamknij. Ustawienia połączenia są już wypełnione.

   Uwaga

   Utworzenie nowego połączenia powoduje wyświetlenie nowego strumienia zdarzeń. Nazwa jest zdefiniowana jako <storate_account_name>_eventstream. Upewnij się, że nie usuwasz ciągłego strumienia pozyskiwania zdarzeń z arey roboczej.

   Aby użyć istniejącego połączenia:

   1. Wybierz istniejące konto magazynu.

      

   2. Poniższe opisy ułatwiają wypełnianie pól.

      ustawienie	Opis pola
      RTAStorageAccount	Strumień zdarzeń połączony z kontem magazynowym z Fabric.
      Pojemnik	Pojemnik do przechowywania zawierający plik, który chcesz załadować.
      Połączenie	Jest to wstępnie wypełnione parametrami połączenia

   3. W polu Połączenie otwórz listę rozwijaną i wybierz z listy istniejące parametry połączenia. Następnie wybierz pozycję Zapisz>zamknij.

4. Opcjonalnie rozwiń Filtry plików i określ następujące filtry:

   ustawienie	Opis pola
   Ścieżka folderu	Filtruje dane w celu pobierania plików z określoną ścieżką folderu.
   Rozszerzenie pliku	Filtruje dane, aby wczytywać pliki tylko o określonym rozszerzeniu.

5. W sekcji Ustawienia Eventstearm można wybrać zdarzenia do monitorowania w zaawansowanych ustawieniach>Typ(y) zdarzeń. Domyślnie wybrana jest opcja Blob created. Możesz również wybrać zmieniona nazwa Blob.

   

6. Wybierz przycisk Dalej , aby wyświetlić podgląd danych.

Jednorazowe pozyskiwanie

1. Wybierz tabelę docelową. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję + Nowa tabela i wprowadź nazwę tabeli.

   Uwaga

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

2. W obszarze Konfigurowanie połączenia usługi Azure Blob Storage upewnij się, że ciągłe pozyskiwanie jest wyłączone. Jest ona domyślnie włączona.

3. Aby utworzyć nowe połączenie, utwórz nowe połączenie lub użyj istniejącego połączenia.

   Aby utworzyć nowe połączenie:

   1. Wybierz Połącz z kontem magazynowym.

      

   2. Poniższe opisy ułatwiają wypełnianie pól.

   ustawienie	Opis pola
   Subskrypcja	Nazwa subskrypcji, w której znajduje się konto magazynu.
   Konto przechowywania Blob	Nazwa identyfikująca konto magazynu. Jeśli nazwa konta zostanie zmieniona na platformie Azure, musisz zaktualizować połączenie, wybierając nową nazwę.
   Pojemnik	Pojemnik do przechowywania zawierający plik, który chcesz załadować.

   Aby połączyć istniejące konto:

   1. Aby utworzyć połączenie przy użyciu adresu URL sygnatury dostępu współdzielonego, wybierz pozycję Użyj adresu URL sygnatury dostępu współdzielonego do pobierania z konta magazynowego.

      

   2. Wklej parametry połączenia magazynu w polu Wprowadź adres URL SAS, a następnie kliknij +.

      Ciąg składa się z URI obiektu blob z tokenem SAS lub kluczem konta. W poniższej tabeli wymieniono obsługiwane metody uwierzytelniania i uprawnienia wymagane do pozyskiwania danych z usługi Azure Storage.

      Metoda uwierzytelniania	Pojedynczy blob	Kontener blob	Azure Data Lake Storage Gen2
      Token dostępu współdzielonego (SAS)	Odczyt i zapis	Przeczytaj i wymień	Przeczytaj i wymień
      [Klucz dostępu do konta magazynu](/azure/data-explorer/kusto/api/connection-strings/storage-connection-strings#storage-account-access-key?context=/fabric/context#storage-account-access-key)

   Uwaga

   • Można dodać do 10 pojedynczych blobów lub zaimportować maksymalnie 5000 blobów z jednego kontenera. Nie można spożywać obu w tym samym czasie.
   • Każdy obiekt blob może mieć maksymalnie 1 GB w stanie nieskompresowanym.

4. Opcjonalnie rozwiń Filtry plików i określ następujące filtry:

   ustawienie	Opis pola
   Ścieżka folderu	Filtruje dane w celu pobierania plików z określoną ścieżką folderu.
   Rozszerzenie pliku	Filtruje dane, aby wczytywać pliki tylko o określonym rozszerzeniu.

5. Wybierz przycisk Dalej , aby wyświetlić podgląd danych.

Inspekcjonować

Karta „Inspekcja” zostanie otwarta z podglądem danych.

Aby ukończyć proces pobierania danych, wybierz Zakończ.

Uwaga

Aby wywołać ciągłe pozyskiwanie i wyświetlanie podglądu danych, upewnij się, że po konfiguracji przekazano nowy obiekt blob magazynu.

Opcjonalnie:

• Użyj listy rozwijanej pliku definicji schematu, aby zmienić plik, z którego jest wywnioskowany schemat.

• Użyj listy rozwijanej Typ pliku, aby zapoznać się z opcjami zaawansowanymi na podstawie typu danych.

• Użyj listy rozwijanej Table_mapping , aby zdefiniować nowe mapowanie.

• Wybierz </> , aby otworzyć przeglądarkę poleceń, aby wyświetlić i skopiować automatyczne polecenia wygenerowane na podstawie danych wejściowych. Możesz również otworzyć polecenia w zestawie zapytań

• Wybierz ikonę ołówka, aby edytować kolumny.

Edytowanie kolumn

Uwaga

• W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można dwukrotnie mapować kolumny. Aby zamapować na istniejącą kolumnę, najpierw usuń nową kolumnę.
• Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz mapować kolumnę na inny format, może się okazać, że kolumny będą puste.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

• typ tabeli jest nowy lub istniejący
• typ mapowania jest nowy lub istniejący

Typ tabeli	Typ mapowania	Dostępne korekty
Nowa tabela	Nowe mapowanie	Zmień nazwę kolumny, zmień typ danych, zmień źródło danych, transformacja mapowania, dodaj kolumnę, usuń kolumnę
Istniejąca tabela	Nowe mapowanie	Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować)
Istniejąca tabela	Istniejące mapowanie	żadne

Transformacje mapowania

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste przekształcenia czasu wprowadzania. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytuj kolumny.

Przekształcenia mapowania można przeprowadzać na kolumnach typu string lub datetime, gdzie źródło ma typ danych int lub long. Aby uzyskać więcej informacji, zobacz pełną listę obsługiwanych transformacji mapowania.

Opcje zaawansowane oparte na typie danych

formaty tabelaryczne (CSV, TSV, PSV):

• Jeśli importujesz formaty tabelaryczne do istniejącej tabeli, możesz wybrać Zaawansowane>Zachowaj schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

  

• Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Aby użyć pierwszego wiersza jako nazw kolumn, wybierz Pierwszy wiersz to nagłówek kolumny.

  Zrzut ekranu przedstawiający przełącznik nagłówka kolumn znajdujący się w pierwszym wierszu.

formaty tabelaryczne (CSV, TSV, PSV):

• Jeśli importujesz formaty tabelaryczne w istniejącej tabeli, możesz wybrać Table_mapping>Użyj istniejącego schematu. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

• Aby użyć pierwszego wiersza jako nazw kolumn, wybierz pozycję Nagłówek pierwszego wiersza.

  

JSON:

• Aby określić podział kolumn danych JSON, wybierz Poziomy zagnieżdżenia, które mogą być w zakresie od 1 do 100.

  

Streszczenie

W oknie Podsumowanie wszystkie kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym zakończeniu pozyskiwania danych. Możesz wybrać kartę, aby eksplorować dane, usunąć pozyskane dane lub utworzyć pulpit nawigacyjny z kluczowymi metrykami.

Ciągłe przetwarzanie

Po zamknięciu okna możesz zobaczyć połączenie na karcie Eksplorator w obszarze Strumienie danych. W tym miejscu można filtrować strumienie danych i usuwać strumień danych.

Jednorazowe pozyskiwanie

Powiązana zawartość

• Aby zarządzać bazą danych, zobacz Zarządzanie danymi
• Aby tworzyć, przechowywać i eksportować zapytania, zobacz Dane zapytań w zestawie zapytań KQL