Kopiowanie danych do lub z usługi Azure Data Explorer przy użyciu usługi Azure Data Factory lub Synapse Analytics

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano sposób używania działania kopiowania w potokach usługi Azure Data Factory i usługi Synapse Analytics do kopiowania danych do lub z usługi Azure Data Explorer. Jest on oparty na artykule omówienie działania kopiowania, który zawiera ogólne omówienie działania kopiowania.

Napiwek

Aby dowiedzieć się więcej na temat integracji usługi Azure Data Explorer z usługą, przeczytaj temat Integracja usługi Azure Data Explorer.

Obsługiwane możliwości

Ten łącznik usługi Azure Data Explorer jest obsługiwany w następujących funkcjach:

Obsługiwane możliwości IR
działanie Kopiuj (źródło/ujście) ① ②
Przepływ danych mapowania (źródło/ujście) ①
Działanie Lookup ① ②

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Możesz skopiować dane z dowolnego obsługiwanego magazynu danych źródłowych do usługi Azure Data Explorer. Możesz również skopiować dane z usługi Azure Data Explorer do dowolnego obsługiwanego magazynu danych ujścia. Aby uzyskać listę magazynów danych obsługiwanych przez działanie kopiowania jako źródła lub ujścia, zobacz tabelę Obsługiwane magazyny danych.

Uwaga

Kopiowanie danych do lub z usługi Azure Data Explorer za pośrednictwem lokalnego magazynu danych przy użyciu własnego środowiska Integration Runtime jest obsługiwane w wersji 3.14 lub nowszej.

Za pomocą łącznika usługi Azure Data Explorer można wykonać następujące czynności:

  • Kopiowanie danych przy użyciu uwierzytelniania tokenu aplikacji Entra firmy Microsoft przy użyciu jednostki usługi.
  • Jako źródło pobierz dane przy użyciu zapytania KQL (Kusto).
  • Jako ujście dołącz dane do tabeli docelowej.

Wprowadzenie

Napiwek

Aby zapoznać się z przewodnikiem po łączniku usługi Azure Data Explorer, zobacz Kopiowanie danych do/z usługi Azure Data Explorer i kopiowanie zbiorcze z bazy danych do usługi Azure Data Explorer.

Aby wykonać działanie Kopiuj za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

Tworzenie połączonej usługi z usługą Azure Data Explorer przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z usługą Azure Data Explorer w interfejsie użytkownika witryny Azure Portal.

  1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

  2. Wyszukaj pozycję Eksplorator i wybierz łącznik Usługi Azure Data Explorer (Kusto).

    Screenshot of the Azure Data Explorer (Kusto) connector.

  3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

    Screenshot of linked service configuration for Azure Data Explorer.

szczegóły konfiguracji Połączenie or

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek specyficznych dla łącznika usługi Azure Data Explorer.

Właściwości połączonej usługi

Łącznik usługi Azure Data Explorer obsługuje następujące typy uwierzytelniania. Aby uzyskać szczegółowe informacje, zobacz odpowiednie sekcje:

Uwierzytelnianie nazwy głównej usługi

Aby użyć uwierzytelniania jednostki usługi, wykonaj następujące kroki, aby uzyskać jednostkę usługi i udzielić uprawnień:

  1. Zarejestruj aplikację w Platforma tożsamości Microsoft. Aby dowiedzieć się, jak to zrobić, zobacz Szybki start: rejestrowanie aplikacji przy użyciu Platforma tożsamości Microsoft. Zanotuj te wartości, których użyjesz do zdefiniowania połączonej usługi:

    • Application ID
    • Klucz aplikacji
    • Identyfikator dzierżawy

  2. Przyznaj jednostce usługi prawidłowe uprawnienia w usłudze Azure Data Explorer. Zobacz Zarządzanie uprawnieniami bazy danych usługi Azure Data Explorer, aby uzyskać szczegółowe informacje na temat ról i uprawnień oraz zarządzania uprawnieniami. Ogólnie rzecz biorąc, musisz:

    • Jako źródło przyznaj co najmniej rolę podglądubazy danych bazie danych
    • Jako ujście przyznaj co najmniej rolę użytkownika Baza danych bazie danych do bazy danych

Uwaga

Gdy używasz interfejsu użytkownika do tworzenia, domyślnie konto użytkownika logowania jest używane do wyświetlania listy klastrów, baz danych i tabel usługi Azure Data Explorer. Możesz wybrać wyświetlanie listy obiektów przy użyciu jednostki usługi, klikając listę rozwijaną obok przycisku odświeżania lub ręcznie wprowadź nazwę, jeśli nie masz uprawnień do tych operacji.

Następujące właściwości są obsługiwane dla połączonej usługi Azure Data Explorer:

Właściwości Opis Wymagania
type Właściwość type musi być ustawiona na AzureDataExplorer. Tak
endpoint Adres URL punktu końcowego klastra usługi Azure Data Explorer z formatem .https://<clusterName>.<regionName>.kusto.windows.net Tak
database Nazwa bazy danych. Tak
tenant Określ informacje o dzierżawie (nazwę domeny lub identyfikator dzierżawy), w ramach których znajduje się aplikacja. Jest to nazywane "identyfikatorem urzędu" w usłudze Kusto parametry połączenia. Pobierz go, umieszczając wskaźnik myszy w prawym górnym rogu witryny Azure Portal. Tak
servicePrincipalId Określ identyfikator klienta aplikacji. Jest to nazywane "Identyfikatorem klienta aplikacji Microsoft Entra" w usłudze Kusto parametry połączenia. Tak
servicePrincipalKey Określ klucz aplikacji. Jest to nazywane "kluczem aplikacji Microsoft Entra" w usłudze Kusto parametry połączenia. Oznacz to pole jako securestring , aby bezpiecznie przechowywać je lub odwoływać się do bezpiecznych danych przechowywanych w usłudze Azure Key Vault. Tak
connectVia Środowisko Integration Runtime do nawiązania połączenia z magazynem danych. Możesz użyć środowiska Azure Integration Runtime lub własnego środowiska Integration Runtime, jeśli magazyn danych znajduje się w sieci prywatnej. Jeśli nie zostanie określony, zostanie użyte domyślne środowisko Azure Integration Runtime. Nie.

Przykład: używanie uwierzytelniania klucza jednostki usługi

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Uwierzytelnianie tożsamości zarządzanej przypisanej przez system

Aby dowiedzieć się więcej o tożsamościach zarządzanych dla zasobów platformy Azure, zobacz Tożsamości zarządzane dla zasobów platformy Azure.

Aby użyć uwierzytelniania tożsamości zarządzanej przypisanej przez system, wykonaj następujące kroki, aby udzielić uprawnień:

  1. Pobierz informacje o tożsamości zarządzanej, kopiując wartość identyfikatora obiektu tożsamości zarządzanej wygenerowanego wraz z fabryką lub obszarem roboczym usługi Synapse.

  2. Przyznaj tożsamości zarządzanej prawidłowe uprawnienia w usłudze Azure Data Explorer. Zobacz Zarządzanie uprawnieniami bazy danych usługi Azure Data Explorer, aby uzyskać szczegółowe informacje na temat ról i uprawnień oraz zarządzania uprawnieniami. Ogólnie rzecz biorąc, musisz:

    • Jako źródło przyznaj bazie danych rolę podglądu bazy danych.
    • Jako ujście przyznaj rolę Ingestor bazy danych i Podgląd bazy danych do bazy danych.

Uwaga

Gdy używasz interfejsu użytkownika do tworzenia, konto użytkownika logowania jest używane do wyświetlania listy klastrów, baz danych i tabel usługi Azure Data Explorer. Wprowadź nazwę ręcznie, jeśli nie masz uprawnień do tych operacji.

Następujące właściwości są obsługiwane dla połączonej usługi Azure Data Explorer:

Właściwości Opis Wymagania
type Właściwość type musi być ustawiona na AzureDataExplorer. Tak
endpoint Adres URL punktu końcowego klastra usługi Azure Data Explorer z formatem .https://<clusterName>.<regionName>.kusto.windows.net Tak
database Nazwa bazy danych. Tak
connectVia Środowisko Integration Runtime do nawiązania połączenia z magazynem danych. Możesz użyć środowiska Azure Integration Runtime lub własnego środowiska Integration Runtime, jeśli magazyn danych znajduje się w sieci prywatnej. Jeśli nie zostanie określony, zostanie użyte domyślne środowisko Azure Integration Runtime. Nie.

Przykład: używanie uwierzytelniania tożsamości zarządzanej przypisanej przez system

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Uwierzytelnianie tożsamości zarządzanej przypisanej przez użytkownika

Aby dowiedzieć się więcej o tożsamościach zarządzanych dla zasobów platformy Azure, zobacz Tożsamości zarządzane dla zasobów platformy Azure

Aby użyć uwierzytelniania tożsamości zarządzanej przypisanej przez użytkownika, wykonaj następujące kroki:

  1. Utwórz jedną lub wiele tożsamości zarządzanych przypisanych przez użytkownika i przyznaj uprawnienie w usłudze Azure Data Explorer. Zobacz Zarządzanie uprawnieniami bazy danych usługi Azure Data Explorer, aby uzyskać szczegółowe informacje na temat ról i uprawnień oraz zarządzania uprawnieniami. Ogólnie rzecz biorąc, musisz:

    • Jako źródło przyznaj co najmniej rolę podglądubazy danych bazie danych
    • Jako ujście przyznaj co najmniej rolę ingestor bazy danych do bazy danych

  2. Przypisz jedną lub wiele tożsamości zarządzanych przypisanych przez użytkownika do fabryki danych lub obszaru roboczego usługi Synapse i utwórz poświadczenia dla każdej tożsamości zarządzanej przypisanej przez użytkownika.

Następujące właściwości są obsługiwane dla połączonej usługi Azure Data Explorer:

Właściwości Opis Wymagania
type Właściwość type musi być ustawiona na AzureDataExplorer. Tak
endpoint Adres URL punktu końcowego klastra usługi Azure Data Explorer z formatem .https://<clusterName>.<regionName>.kusto.windows.net Tak
database Nazwa bazy danych. Tak
poświadczenia Określ tożsamość zarządzaną przypisaną przez użytkownika jako obiekt poświadczeń. Tak
connectVia Środowisko Integration Runtime do nawiązania połączenia z magazynem danych. Możesz użyć środowiska Azure Integration Runtime lub własnego środowiska Integration Runtime, jeśli magazyn danych znajduje się w sieci prywatnej. Jeśli nie zostanie określony, zostanie użyte domyślne środowisko Azure Integration Runtime. Nie.

Przykład: używanie uwierzytelniania tożsamości zarządzanej przypisanej przez użytkownika

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz Zestawy danych. W tej sekcji wymieniono właściwości obsługiwane przez zestaw danych usługi Azure Data Explorer.

Aby skopiować dane do usługi Azure Data Explorer, ustaw właściwość type zestawu danych na Wartość AzureDataExplorerTable.

Obsługiwane są następujące właściwości:

Właściwości Opis Wymagania
type Właściwość type musi być ustawiona na AzureDataExplorerTable. Tak
table Nazwa tabeli, do którego odwołuje się połączona usługa. Tak dla ujścia; Nie dla źródła

Przykład właściwości zestawu danych:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz Potoki i działania. Ta sekcja zawiera listę właściwości, które obsługują źródła i ujścia usługi Azure Data Explorer.

Usługa Azure Data Explorer jako źródło

Aby skopiować dane z usługi Azure Data Explorer, ustaw właściwość type w źródle działanie Kopiuj na wartość AzureDataExplorerSource. Następujące właściwości są obsługiwane w sekcji źródło działania kopiowania:

Właściwości Opis Wymagania
type Właściwość type źródła działania kopiowania musi być ustawiona na: AzureDataExplorerSource Tak
zapytanie Żądanie tylko do odczytu podane w formacie KQL. Użyj niestandardowego zapytania KQL jako odwołania. Tak
Querytimeout Czas oczekiwania przed przekroczeniem limitu czasu żądania zapytania. Wartość domyślna to 10 minut (00:10:00); dozwolona wartość maksymalna to 1 godzina (01:00:00). Nie.
noTruncation Wskazuje, czy obcinać zwrócony zestaw wyników. Domyślnie wynik jest obcinany po 500 000 rekordów lub 64 megabajtach (MB). Obcięcie jest zdecydowanie zalecane, aby zapewnić prawidłowe zachowanie działania. Nie.

Uwaga

Domyślnie źródło usługi Azure Data Explorer ma limit rozmiaru 500 000 rekordów lub 64 MB. Aby pobrać wszystkie rekordy bez obcinania, możesz określić set notruncation; na początku zapytania. Aby uzyskać więcej informacji, zobacz Limity zapytań.

Przykład:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Azure Data Explorer jako ujście

Aby skopiować dane do usługi Azure Data Explorer, ustaw właściwość type w ujściu działania kopiowania na wartość AzureDataExplorerSink. Następujące właściwości są obsługiwane w sekcji ujścia działania kopiowania:

Właściwości Opis Wymagania
type Właściwość type ujścia działania kopiowania musi być ustawiona na: AzureDataExplorerSink. Tak
ingestionMappingName Nazwa wstępnie utworzonego mapowania w tabeli Kusto. Aby zamapować kolumny ze źródła na usługę Azure Data Explorer (która ma zastosowanie do wszystkich obsługiwanych magazynów i formatów źródłowych, w tym formatów CSV/JSON/Avro), możesz użyć mapowania kolumn działania kopiowania (niejawnie według nazwy lub jawnie skonfigurowane) i/lub mapowań usługi Azure Data Explorer. Nie.
additionalProperties Torba właściwości, która może służyć do określania dowolnych właściwości pozyskiwania, które nie są jeszcze ustawiane przez ujście usługi Azure Data Explorer. W szczególności może być przydatne do określania tagów pozyskiwania. Dowiedz się więcej na temat usługi Azure Data Explore data ingestion doc. Nie.

Przykład:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Właściwości przepływu mapowania danych

Podczas przekształcania danych w przepływie mapowania danych można odczytywać dane i zapisywać je w tabelach w usłudze Azure Data Explorer. Aby uzyskać więcej informacji, zobacz przekształcanie źródła i przekształcanie ujścia w przepływach danych mapowania. Możesz użyć zestawu danych usługi Azure Data Explorer lub wbudowanego zestawu danych jako typu źródła i ujścia.

Przekształcanie źródła

W poniższej tabeli wymieniono właściwości obsługiwane przez źródło usługi Azure Data Explorer. Te właściwości można edytować na karcie Opcje źródła.

Nazwa/nazwisko opis Wymagania Dozwolone wartości Właściwość skryptu przepływu danych
Table W przypadku wybrania pozycji Tabela jako danych wejściowych przepływ danych pobierze wszystkie dane z tabeli określonej w zestawie danych usługi Azure Data Explorer lub w opcjach źródłowych podczas korzystania z wbudowanego zestawu danych. Nie. String (tylko w przypadku wbudowanego zestawu danych)
tableName
Query Żądanie tylko do odczytu podane w formacie KQL. Użyj niestandardowego zapytania KQL jako odwołania. Nie. String zapytanie
Timeout Czas oczekiwania przed przekroczeniem limitu czasu żądania zapytania. Wartość domyślna to "172000" (2 dni) Nie. Liczba całkowita timeout

Przykłady skryptów źródłowych usługi Azure Data Explorer

Jeśli używasz zestawu danych usługi Azure Data Explorer jako typu źródła, skojarzony skrypt przepływu danych to:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Jeśli używasz wbudowanego zestawu danych, skojarzony skrypt przepływu danych to:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Przekształcenie ujścia

W poniższej tabeli wymieniono właściwości obsługiwane przez ujście usługi Azure Data Explorer. Te właściwości można edytować na karcie Ustawienia. W przypadku korzystania z wbudowanego zestawu danych zostaną wyświetlone dodatkowe ustawienia, które są takie same jak właściwości opisane w sekcji właściwości zestawu danych.

Nazwa/nazwisko opis Wymagania Dozwolone wartości Właściwość skryptu przepływu danych
Akcja tabeli Określa, czy należy ponownie utworzyć lub usunąć wszystkie wiersze z tabeli docelowej przed zapisem.
- Brak: żadna akcja nie zostanie wykonana w tabeli.
- Utwórz ponownie: tabela zostanie porzucona i utworzona ponownie. Wymagane w przypadku dynamicznego tworzenia nowej tabeli.
- Obcinanie: wszystkie wiersze z tabeli docelowej zostaną usunięte.		 Nie. true lub false Odtworzyć
truncate
Skrypty pre-sql i post Określ wiele skryptów poleceń sterowania Kusto, które będą wykonywane przed (przetwarzanie wstępne) i po (przetwarzanie końcowe) dane są zapisywane w bazie danych ujścia. Nie. String preSQLs; postSQLs
Timeout Czas oczekiwania przed przekroczeniem limitu czasu żądania zapytania. Wartość domyślna to "172000" (2 dni) Nie. Liczba całkowita timeout

Przykłady skryptów ujścia usługi Azure Data Explorer

Jeśli używasz zestawu danych usługi Azure Data Explorer jako typu ujścia, skojarzony skrypt przepływu danych to:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Jeśli używasz wbudowanego zestawu danych, skojarzony skrypt przepływu danych to:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Właściwości działania wyszukiwania

Aby uzyskać więcej informacji na temat właściwości, zobacz Działanie wyszukiwania.

Powiązana zawartość