Pobieranie danych z usługi Amazon S3

Z tego artykułu dowiesz się, jak pobrać dane z usługi Amazon S3 do nowej lub istniejącej tabeli. Amazon S3 to usługa magazynu obiektów utworzona do przechowywania i pobierania danych.

Aby uzyskać więcej informacji na temat usługi Amazon S3, zobacz Co to jest Amazon S3?.

Warunki wstępne

• Obszar roboczy z włączoną pojemnością usługi Microsoft Fabric
• Baza danych KQL z uprawnieniami do edycji
• Zasobnik usługi Amazon S3 z danymi

Źródło

1. Na dolnej wstążce bazy danych KQL wybierz pozycję Pobierz dane.

   W oknie Pobieranie danych zostanie wybrana karta Źródło.

2. Wybierz źródło danych z listy dostępnych. W tym przykładzie pozyskiwane są dane z usługi Amazon S3.

   

Skonfiguruj

1. Wybierz tabelę docelową. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję +Nowa tabela i wprowadź nazwę tabeli.

   Notatka

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane przez system.

2. W polu identyfikatora URI wklej ciąg połączenia pojedynczego bucketu lub pojedyńczy obiekt w następującym formacie.

   Zasobnik: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

   Opcjonalnie można zastosować filtry zasobników, aby filtrować dane zgodnie z określonym rozszerzeniem pliku.

   

3. Wybierz pozycję Dalej.

Sprawdź

Karta Inspekcja otwiera się z podglądem danych.

Aby ukończyć proces importowania, wybierz pozycję Zakończ.

Możesz wyświetlać, sprawdzać i konfigurować pozyskane dane. Liczby na obrazie odpowiadają następującym opcjom:

(1) Wybierz Podgląd poleceń, aby wyświetlić i skopiować automatyczne polecenia wygenerowane na podstawie twoich danych wejściowych.

(2) Użyj listy rozwijanej "Plik definicji schematu", aby zmienić plik, z którego schemat jest wywnioskowany.

(3) Zmień automatycznie wnioskowany format danych, wybierając żądany format z listy rozwijanej. Aby uzyskać więcej informacji, zobacz Formaty danych obsługiwane przez Real-Time Intelligence.

(4) Edytuj kolumny.

(5) Odkryj opcje zaawansowane na podstawie typu danych.

Edytowanie kolumn

Notatka

• W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można dwukrotnie mapować kolumny. Aby zamapować istniejącą kolumnę, najpierw usuń nową kolumnę.
• Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz mapować kolumnę na inny format, może się okazać, że kolumny będą puste.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

• Typ tabeli jest nowy lub istniejący
• Typ mapowania to nowy lub istniejący

Typ tabeli	Typ mapowania	Dostępne korekty
Nowa tabela	Nowe mapowanie	Zmień nazwę kolumny, zmień typ danych, zmień źródło danych, transformacja mapowania, dodaj kolumnę, usuń kolumnę
Istniejąca tabela	Nowe mapowanie	Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować)
Istniejąca tabela	Istniejące mapowanie	żadne

Mapowanie transformacji

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują proste transformacje podczas wczytywania danych. Aby zastosować przekształcenia mapowania, utwórz lub zaktualizuj kolumnę w oknie Edytuj kolumny.

Przekształcenia mapowania można przeprowadzać na kolumnach typu string lub datetime, gdzie źródło ma typ danych int lub long. Aby uzyskać więcej informacji, zobacz pełną listę obsługiwanych transformacji mapowania.

Opcje zaawansowane oparte na typie danych

Format tabelaryczny (CSV, TSV, PSV):

• Jeśli importujesz formaty tabelaryczne do istniejącej tabeli, możesz wybrać Zaawansowane>Zachowaj schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

  

• Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Aby użyć pierwszego wiersza jako nazw kolumn, wybierz Pierwszy wiersz to nagłówek kolumny.

  Zrzut ekranu przedstawiający przełącznik nagłówka kolumn znajdujący się w pierwszym wierszu.

Streszczenie

W oknie przygotowywania danych , wszystkie trzy kroki są oznaczone zielonymi znacznikami po pomyślnym zakończeniu pozyskiwania danych. Możesz wybrać kartę do zapytania, usunąć wprowadzone dane lub wyświetlić panel podsumowania wprowadzenia danych.

Powiązana zawartość

• Aby zarządzać bazą danych, zobacz Zarządzanie danymi
• Aby tworzyć, przechowywać i eksportować zapytania, zobacz Dane zapytań w zestawie zapytań KQL