Tworzenie połączenia danych usługi Event Grid dla usługi Azure Data Explorer
W tym artykule dowiesz się, jak pozyskiwać obiekty blob z konta magazynu do usługi Azure Data Explorer przy użyciu połączenia danych usługi Event Grid. Utworzysz połączenie danych usługi Event Grid, które ustawia subskrypcję Azure Event Grid. Subskrypcja usługi Event Grid kieruje zdarzenia z konta magazynu do usługi Azure Data Explorer za pośrednictwem Azure Event Hubs.
Uwaga
Maksymalny rozmiar pliku obsługiwany w pozyskiwaniu wynosi 6 GB. Zaleceniem jest pozyskiwanie plików z zakresu od 100 MB do 1 GB.
Aby dowiedzieć się, jak utworzyć połączenie przy użyciu zestawów SDK kusto, zobacz Tworzenie połączenia danych usługi Event Grid z zestawami SDK.
Aby uzyskać ogólne informacje na temat pozyskiwania do usługi Azure Data Explorer z usługi Event Grid, zobacz Łączenie z usługą Event Grid.
Uwaga
Aby uzyskać najlepszą wydajność za pomocą połączenia usługi Event Grid, ustaw rawSizeBytes
właściwość pozyskiwania za pośrednictwem metadanych obiektu blob. Aby uzyskać więcej informacji, zobacz właściwości pozyskiwania.
Wymagania wstępne
- Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.
- Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
- Tabela docelowa. Utwórz tabelę lub użyj istniejącej tabeli.
- Mapowanie pozyskiwania dla tabeli.
- Konto magazynu. Subskrypcję powiadomień usługi Event Grid można ustawić na kontach usługi Azure Storage dla
BlobStorage
,StorageV2
lub Data Lake Storage Gen2. - Zarejestruj dostawcę zasobów usługi Event Grid.
Tworzenie połączenia danych usługi Event Grid
W tej sekcji ustanowić połączenie między usługą Event Grid i tabelą usługi Azure Data Explorer.
Przejdź do klastra usługi Azure Data Explorer w Azure Portal.
W obszarze Dane wybierz pozycję Bazy danych>TestDatabase.
W obszarze Ustawienia wybierz pozycję Połączenia danych, a następnie wybierz pozycję Dodaj połączenie> danychEvent Grid (Blob Storage).
Wypełnij formularz połączenia danych usługi Event Grid następującymi informacjami:
Ustawienie Sugerowana wartość Opis pola Nazwa połączenia danych test-grid-connection Nazwa połączenia, które chcesz utworzyć w usłudze Azure Data Explorer. Nazwy połączeń danych mogą zawierać tylko znaki alfanumeryczne, kreski i kropki oraz maksymalnie 40 znaków. Subskrypcja konta magazynu Identyfikator Twojej subskrypcji Identyfikator subskrypcji, w którym znajduje się twoje konto magazynu. Typ zdarzenia Utworzono obiekt blob lub zmieniono nazwę obiektu blob Typ zdarzenia wyzwalającego pozyskiwanie. Zmiana nazwy obiektu blob jest obsługiwana tylko w przypadku magazynu ADLSv2. Aby zmienić nazwę obiektu blob, przejdź do obiektu blob w Azure Portal, kliknij prawym przyciskiem myszy obiekt blob i wybierz polecenie Zmień nazwę. Obsługiwane typy to: Microsoft.Storage.BlobCreated lub Microsoft.Storage.BlobRenamed. Konto magazynu gridteststorage1 Nazwa utworzonego wcześniej konta magazynu. Tworzenie zasobów Automatyczne Włączenie automatycznego tworzenia zasobów oznacza, że usługa Azure Data Explorer tworzy subskrypcję usługi Event Grid, przestrzeń nazw usługi Event Hubs i usługę Event Hubs. W przeciwnym razie należy ręcznie utworzyć te zasoby, aby zapewnić utworzenie połączenia danych. Zobacz Ręczne tworzenie zasobów na potrzeby pozyskiwania usługi Event Grid Opcjonalnie można śledzić określone tematy usługi Event Grid. Filtry dla powiadomień ustaw w następujący sposób:
- Pole prefiksu jest prefiksemliterału tematu. Gdy zastosowany wzorzec zaczyna się od, może obejmować wiele kontenerów, folderów lub obiektów blob. Symbole wieloznaczne nie są dozwolone.
- Aby zdefiniować filtr w kontenerze obiektów blob, pole musi być ustawione w następujący sposób:
/blobServices/default/containers/[container prefix]
. - Aby zdefiniować filtr w prefiksie obiektu blob (lub folderze w usłudze Azure Data Lake Gen2), należy ustawić pole w następujący sposób:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
.
- Aby zdefiniować filtr w kontenerze obiektów blob, pole musi być ustawione w następujący sposób:
- Pole sufiksu jest sufiksemliterału obiektu blob. Symbole wieloznaczne nie są dozwolone.
- Pole Uwzględniana wielkość liter wskazuje, czy filtry prefiksów i sufiksów są uwzględniane wielkość liter
Aby uzyskać więcej informacji na temat filtrowania zdarzeń, zobacz Zdarzenia usługi Blob Storage.
- Pole prefiksu jest prefiksemliterału tematu. Gdy zastosowany wzorzec zaczyna się od, może obejmować wiele kontenerów, folderów lub obiektów blob. Symbole wieloznaczne nie są dozwolone.
Opcjonalnie możesz określić ustawienia routingu danych zgodnie z poniższymi informacjami. Nie musisz określać wszystkich ustawień routingu danych. Ustawienia częściowe są również akceptowane.
Ustawienie Sugerowana wartość Opis pola Zezwalaj na kierowanie danych do innych baz danych (połączenie danych z wieloma bazami danych) Nie zezwalaj Włącz tę opcję, jeśli chcesz zastąpić domyślną docelową bazę danych skojarzona z połączeniem danych. Aby uzyskać więcej informacji na temat routingu bazy danych, zobacz Routing zdarzeń. Nazwa tabeli TestTable Tabela utworzona przez Ciebie w obszarze TestDatabase. Format danych JSON Obsługiwane formaty to APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT i W3CLOG. Obsługiwane opcje kompresji to Zip i Gzip. Nazwa mapowania TestTable_mapping Mapowanie utworzone w bazie danych TestDatabase, które mapuje dane przychodzące na nazwy kolumn i typy danych tabeli TestTable. Jeśli nie zostanie określone, mapowanie danych tożsamości pochodzące ze schematu tabeli jest generowane automatycznie. Ignoruj błędy formatu Ignoruj Włącz tę opcję, jeśli chcesz zignorować błędy formatu dla formatu danych JSON. Uwaga
Nazwy tabel i mapowań są uwzględniane w wielkości liter.
Opcjonalnie w obszarze Ustawienia zaawansowane można określić typ tożsamości zarządzanej , który jest używany przez połączenie danych. Domyślnie jest zaznaczona opcja Przypisana przez system .
Jeśli wybierzesz opcję Przypisane przez użytkownika, musisz ręcznie przypisać tożsamość zarządzaną. Jeśli wybierzesz użytkownika, który nie jest jeszcze przypisany do klastra, zostanie on automatycznie przypisany. Aby uzyskać więcej informacji, zobacz Konfigurowanie tożsamości zarządzanych dla klastra usługi Azure Data Explorer.
W przypadku wybrania pozycji Brak konto magazynu i centrum zdarzeń są uwierzytelniane za pośrednictwem parametrów połączenia. Ta metoda nie jest zalecana.
Wybierz pozycję Utwórz
Korzystanie z połączenia danych usługi Event Grid
W tej sekcji pokazano, jak wyzwolić pozyskiwanie z Azure Blob Storage lub usługi Azure Data Lake Gen 2 do klastra po utworzeniu obiektu blob lub zmianie nazwy obiektu blob.
Wybierz odpowiednią kartę na podstawie typu zestawu SDK magazynu używanego do przekazywania obiektów blob.
Poniższy przykładowy kod używa zestawu SDK Azure Blob Storage do przekazania pliku do Azure Blob Storage. Przekazywanie wyzwala połączenie danych usługi Event Grid, które pozyskiwa dane do usługi Azure Data Explorer.
var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);
Uwaga
Usługa Azure Data Explorer nie usunie obiektów blob po pozyskiwaniu. Zachowaj obiekty blob przez trzy do pięciu dni przy użyciu cyklu życia usługi Azure Blob Storage , aby zarządzać usuwaniem obiektów blob.
Uwaga
Wyzwalanie pozyskiwania po CopyBlob
operacji nie jest obsługiwane w przypadku kont magazynu z włączoną funkcją hierarchicznej przestrzeni nazw.
Usuwanie połączenia danych usługi Event Grid
Aby usunąć połączenie usługi Event Grid z Azure Portal, wykonaj następujące czynności:
- Przejdź do klastra. W menu po lewej stronie wybierz pozycję Bazy danych. Następnie wybierz bazę danych zawierającą tabelę docelową.
- W menu po lewej stronie wybierz pozycję Połączenia danych. Następnie zaznacz pole wyboru obok odpowiedniego połączenia danych usługi Event Grid.
- Na górnym pasku menu wybierz pozycję Usuń.
Zawartość pokrewna
Opinia
https://aka.ms/ContentUserFeedback.
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź:Prześlij i wyświetl opinię dla