Copiare dati da o verso Azure Esplora dati usando Azure Data Factory o Synapse Analytics

  • Articolo

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .

Questo articolo descrive come usare l'attività di copia nelle pipeline di Azure Data Factory e Synapse Analytics per copiare dati da o verso Azure Esplora dati. Si basa sull'articolo di panoramica dell'attività di copia, che offre una panoramica generale dell'attività di copia.

Suggerimento

Per altre informazioni sull'integrazione di Azure Esplora dati con il servizio, vedere Integrare Azure Esplora dati.

Funzionalità supportate

Questo connettore Esplora dati di Azure è supportato per le funzionalità seguenti:

Funzionalità supportate IR
Attività di copia (origine/sink) ① ②
Flusso di dati di mapping (origine/sink) ①
Attività Lookup ① ②

(1) Runtime di integrazione di Azure (2) Runtime di integrazione self-hosted

È possibile copiare dati da qualsiasi archivio dati di origine supportato in Esplora dati di Azure. È anche possibile copiare dati da Esplora dati di Azure in un qualsiasi archivio dati sink supportato. Per un elenco di archivi dati supportati dall'attività di copia come origini o sink, vedere la tabella Archivi dati supportati.

Nota

La copia di dati da o verso Azure Esplora dati tramite un archivio dati locale tramite il runtime di integrazione self-hosted è supportata nella versione 3.14 e successive.

Con il connettore azure Esplora dati è possibile eseguire le operazioni seguenti:

  • Copiare i dati usando l'autenticazione del token dell'applicazione Microsoft Entra con un'entità servizio.
  • Come origine, recupero di dati tramite una query KQL (Kusto).
  • Come sink, accodamento di dati a una tabella di destinazione.

Introduzione

Suggerimento

Per una procedura dettagliata del connettore azure Esplora dati, vedere Copiare dati da e verso Azure Esplora dati e copiare in blocco da un database ad Azure Esplora dati.

Per eseguire l'attività di copia con una pipeline, è possibile usare uno degli strumenti o SDK seguenti:

Creare un servizio collegato ad Azure Esplora dati usando l'interfaccia utente

Usare la procedura seguente per creare un servizio collegato ad Azure Esplora dati nell'interfaccia utente di portale di Azure.

  1. Passare alla scheda Gestisci nell'area di lavoro di Azure Data Factory o Synapse e selezionare Servizi collegati, quindi fare clic su Nuovo:

  2. Cercare Explorer e selezionare il connettore Azure Esplora dati (Kusto).

    Screenshot of the Azure Data Explorer (Kusto) connector.

  3. Configurare i dettagli del servizio, testare la connessione e creare il nuovo servizio collegato.

    Screenshot of linked service configuration for Azure Data Explorer.

Dettagli di configurazione di Connessione or

Le sezioni seguenti forniscono informazioni dettagliate sulle proprietà usate per definire entità specifiche del connettore di Azure Esplora dati.

Proprietà del servizio collegato

Il connettore azure Esplora dati supporta i tipi di autenticazione seguenti. Per informazioni dettagliate, vedere le sezioni corrispondenti:

Autenticazione dell'entità servizio

Per usare l'autenticazione dell'entità servizio, seguire questa procedura per ottenere un'entità servizio e concedere le autorizzazioni:

  1. Registrare un'applicazione con Microsoft Identity Platform. Per informazioni su come, vedere Guida introduttiva: Registrare un'applicazione con Microsoft Identity Platform. Prendere nota di questi valori, usati per definire il servizio collegato:

    • ID applicazione
    • Chiave applicazione
    • ID tenant

  2. Concedere all'entità servizio le autorizzazioni corrette in Azure Esplora dati. Vedere Gestire le autorizzazioni del database Esplora dati di Azure per informazioni dettagliate sui ruoli e sulle autorizzazioni e sulla gestione delle autorizzazioni. In generale, è necessario:

    • Come origine, concedere almeno il ruolo Visualizzatore database al database
    • Come sink, concedere almeno il ruolo utente database al database

Nota

Quando si usa l'interfaccia utente per creare, per impostazione predefinita viene usato l'account utente di accesso per elencare cluster, database e tabelle di Azure Esplora dati. È possibile scegliere di elencare gli oggetti usando l'entità servizio facendo clic sull'elenco a discesa accanto al pulsante di aggiornamento oppure immettendo manualmente il nome se non si dispone dell'autorizzazione per queste operazioni.

Per il servizio collegato di Azure Esplora dati sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type deve essere impostata su AzureDataExplorer. Sì
endpoint URL dell'endpoint del cluster di Esplora dati di Azure con il formato https://<clusterName>.<regionName>.kusto.windows.net. Sì
database Nome del database. Sì
tenant Specificare le informazioni sul tenant (nome di dominio o ID tenant) in cui si trova l'applicazione. Questa operazione è nota come "ID autorità" in Kusto stringa di connessione. Recuperarlo passando il puntatore del mouse nell'angolo superiore destro del portale di Azure. Sì
servicePrincipalId Specificare l'ID client dell'applicazione. Questa operazione è nota come "ID client applicazione Microsoft Entra" in Kusto stringa di connessione. Sì
servicePrincipalKey Specificare la chiave dell'applicazione. Questa operazione è nota come "Chiave dell'applicazione Microsoft Entra" in Kusto stringa di connessione. Contrassegnare questo campo come SecureString per archiviarlo in modo sicuro o fare riferimento a dati protetti archiviati in Azure Key Vault. Sì
connectVia Runtime di integrazione da usare per la connessione all'archivio dati. È possibile usare Azure Integration Runtime o un runtime di integrazione self-hosted, se l'archivio dati si trova in una rete privata. Se non specificato, viene usato il runtime di integrazione di Azure predefinito. No

Esempio: uso dell'autenticazione della chiave dell'entità servizio

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "tenant": "<tenant name/id e.g. microsoft.onmicrosoft.com>",
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            }
        }
    }
}

Autenticazione dell'identità gestita assegnata dal sistema

Per altre informazioni sulle identità gestite per le risorse di Azure, vedere Identità gestite per le risorse di Azure.

Per usare l'autenticazione dell'identità gestita assegnata dal sistema, seguire questa procedura per concedere le autorizzazioni:

  1. Recuperare le informazioni sull'identità gestita copiando il valore dell'ID oggetto identità gestito generato insieme all'area di lavoro factory o Synapse.

  2. Concedere all'identità gestita le autorizzazioni corrette in Azure Esplora dati. Vedere Gestire le autorizzazioni del database Esplora dati di Azure per informazioni dettagliate sui ruoli e sulle autorizzazioni e sulla gestione delle autorizzazioni. In generale, è necessario:

    • Come origine, concedere il ruolo Visualizzatore database al database.
    • Come sink, concedere al database i ruoli Ingestor e Visualizzatore database.

Nota

Quando si usa l'interfaccia utente per creare, l'account utente di accesso viene usato per elencare cluster, database e tabelle di Azure Esplora dati. Immettere manualmente il nome se non si dispone dell'autorizzazione per queste operazioni.

Per il servizio collegato di Azure Esplora dati sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type deve essere impostata su AzureDataExplorer. Sì
endpoint URL dell'endpoint del cluster di Esplora dati di Azure con il formato https://<clusterName>.<regionName>.kusto.windows.net. Sì
database Nome del database. Sì
connectVia Runtime di integrazione da usare per la connessione all'archivio dati. È possibile usare Azure Integration Runtime o un runtime di integrazione self-hosted, se l'archivio dati si trova in una rete privata. Se non specificato, viene usato il runtime di integrazione di Azure predefinito. No

Esempio: uso dell'autenticazione dell'identità gestita assegnata dal sistema

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
        }
    }
}

Autenticazione dell'identità gestita assegnata dall'utente

Per altre informazioni sulle identità gestite per le risorse di Azure, vedere Identità gestite per le risorse di Azure

Per usare l'autenticazione dell'identità gestita assegnata dall'utente, seguire questa procedura:

  1. Creare una o più identità gestite assegnate dall'utente e concedere l'autorizzazione in Azure Esplora dati. Vedere Gestire le autorizzazioni del database Esplora dati di Azure per informazioni dettagliate sui ruoli e sulle autorizzazioni e sulla gestione delle autorizzazioni. In generale, è necessario:

    • Come origine, concedere almeno il ruolo Visualizzatore database al database
    • Come sink, concedere almeno il ruolo di ingestor database al database

  2. Assegnare una o più identità gestite assegnate dall'utente alla data factory o all'area di lavoro di Synapse e creare le credenziali per ogni identità gestita assegnata dall'utente.

Per il servizio collegato di Azure Esplora dati sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type deve essere impostata su AzureDataExplorer. Sì
endpoint URL dell'endpoint del cluster di Esplora dati di Azure con il formato https://<clusterName>.<regionName>.kusto.windows.net. Sì
database Nome del database. Sì
credentials Specificare l'identità gestita assegnata dall'utente come oggetto credenziale. Sì
connectVia Runtime di integrazione da usare per la connessione all'archivio dati. È possibile usare Azure Integration Runtime o un runtime di integrazione self-hosted, se l'archivio dati si trova in una rete privata. Se non specificato, viene usato il runtime di integrazione di Azure predefinito. No

Esempio: uso dell'autenticazione dell'identità gestita assegnata dall'utente

{
    "name": "AzureDataExplorerLinkedService",
    "properties": {
        "type": "AzureDataExplorer",
        "typeProperties": {
            "endpoint": "https://<clusterName>.<regionName>.kusto.windows.net ",
            "database": "<database name>",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            }
        }
    }
}

Proprietà del set di dati

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione dei set di dati, vedere Set di dati. Questa sezione elenca le proprietà supportate dal set di dati Esplora dati di Azure.

Per copiare dati in Esplora dati di Azure, impostare la proprietà type del set di dati su AzureDataExplorerTable.

Sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type deve essere impostata su AzureDataExplorerTable. Sì
table Nome della tabella a cui fa riferimento il servizio collegato. Sì per il sink, no per l'origine

Esempio di proprietà del set di dati:

{
   "name": "AzureDataExplorerDataset",
    "properties": {
        "type": "AzureDataExplorerTable",
        "typeProperties": {
            "table": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Azure Data Explorer linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Proprietà dell'attività di copia

Per un elenco completo delle sezioni e delle proprietà disponibili per la definizione delle attività, vedere Pipeline e attività. Questa sezione fornisce un elenco delle proprietà supportate da Origini e sink di Azure Esplora dati.

Esplora dati di Azure come origine

Per copiare dati da Esplora dati di Azure, impostare la proprietà type nell'origine dell'attività di copia su AzureDataExplorerSource. Nella sezione origine dell'attività di copia sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type dell'origine dell'attività di copia deve essere impostata su: AzureDataExplorerSource Sì
query Richiesta di sola lettura in formato KQL. Usare la query KQL personalizzata come riferimento. Sì
queryTimeout Tempo di attesa prima del timeout della richiesta di query. Il valore predefinito è 10 min (00:10:00); il valore massimo consentito è 1 ora (01:00:00). No
noTruncation Indica se troncare il set di risultati restituito. Per impostazione predefinita, il risultato viene troncato dopo 500.000 record o 64 megabyte (MB). Il troncamento è fortemente consigliato per garantire il comportamento corretto dell'attività. No

Nota

Per impostazione predefinita, l'origine di Azure Esplora dati ha un limite di dimensioni pari a 500.000 record o 64 MB. Per recuperare tutti i record senza troncamento, è possibile specificare set notruncation; all'inizio della query. Per altre informazioni, vedere Limiti delle query.

Esempio:

"activities":[
    {
        "name": "CopyFromAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "AzureDataExplorerSource",
                "query": "TestTable1 | take 10",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        },
        "inputs": [
            {
                "referenceName": "<Azure Data Explorer input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Esplora dati di Azure come sink

Per copiare dati in Esplora dati di Azure, impostare la proprietà type nel sink dell'attività di copia su AzureDataExplorerSink. Nella sezione sink dell'attività di copia sono supportate le proprietà seguenti:

Proprietà Descrizione Richiesto
Tipo La proprietà type del sink dell'attività di copia deve essere impostata su AzureDataExplorerSink. Sì
ingestionMappingName Nome di un mapping già creato in una tabella Kusto. Per eseguire il mapping delle colonne dall'origine ad Azure Esplora dati (che si applica a tutti gli archivi e i formati di origine supportati, inclusi i formati CSV/JSON/Avro), è possibile usare il mapping delle colonne dell'attività di copia (in modo implicito per nome o in modo esplicito come configurato) e/o mapping di Azure Esplora dati. No
additionalProperties Contenitore delle proprietà che può essere usato per specificare le proprietà di inserimento che non sono già impostate dal sink di Azure Esplora dati. In particolare, può essere utile per specificare i tag di inserimento. Altre informazioni sono disponibili nel documento Esplora inserimento dati di Azure. No

Esempio:

"activities":[
    {
        "name": "CopyToAzureDataExplorer",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureDataExplorerSink",
                "ingestionMappingName": "<optional Azure Data Explorer mapping name>",
                "additionalProperties": {<additional settings for data ingestion>}
            }
        },
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure Data Explorer output dataset name>",
                "type": "DatasetReference"
            }
        ]
    }
]

Proprietà del flusso di dati per mapping

Quando si trasformano i dati nel flusso di dati di mapping, è possibile leggere e scrivere nelle tabelle in Azure Esplora dati. Per altre informazioni, vedere la trasformazione origine e la trasformazione sink nei flussi di dati per mapping. È possibile scegliere di usare un set di dati di azure Esplora dati o un set di dati inline come tipo di origine e sink.

Trasformazione origine

La tabella seguente elenca le proprietà supportate dall'origine Esplora dati di Azure. È possibile modificare queste proprietà nella scheda Opzioni origine.

Name Descrizione Richiesto Valori consentiti Proprietà script flusso di dati
Tabella Se si seleziona Tabella come input, il flusso di dati recupera tutti i dati dalla tabella specificata nel set di dati di Azure Esplora dati o nelle opzioni di origine quando si usa il set di dati inline. No Stringa (solo per set di dati inline)
tableName
Query Richiesta di sola lettura in formato KQL. Usare la query KQL personalizzata come riferimento. No Stringa query
Timeout Tempo di attesa prima del timeout della richiesta di query. Il valore predefinito è "172000" (2 giorni) No Integer timeout

Esempi di script di origine di Azure Esplora dati

Quando si usa Azure Esplora dati set di dati come tipo di origine, lo script del flusso di dati associato è:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'table | take 10',
	format: 'query') ~> AzureDataExplorerSource

Se si usa un set di dati inline, lo script del flusso di dati associato è:

source(allowSchemaDrift: true,
    validateSchema: false,
    format: 'query',
    query: 'table | take 10',
    store: 'azuredataexplorer') ~> AzureDataExplorerSource

Trasformazione sink

La tabella seguente elenca le proprietà supportate da Azure Esplora dati sink. È possibile modificare queste proprietà nella scheda Impostazioni. Quando si usa il set di dati inline, verranno visualizzate impostazioni aggiuntive, che corrispondono alle proprietà descritte nella sezione proprietà del set di dati.

Name Descrizione Richiesto Valori consentiti Proprietà script flusso di dati
azione Tabella determina se ricreare o rimuovere tutte le righe dalla tabella di destinazione prima della scrittura.
- Nessuno: nessuna azione verrà eseguita nella tabella.
- Ricrea: la tabella verrà eliminata e ricreata. Questa opzione è obbligatoria se si crea una nuova tabella in modo dinamico.
- Troncamento: tutte le righe della tabella di destinazione verranno rimosse.		 No true o false Ricreare
truncate
Pre e post-script SQL Specificare più script di comandi di controllo Kusto che verranno eseguiti prima (pre-elaborazione) e dopo la scrittura dei dati (post-elaborazione) nel database sink. No Stringa preSQLs; postSQLs
Timeout Tempo di attesa prima del timeout della richiesta di query. Il valore predefinito è "172000" (2 giorni) No Integer timeout

Esempi di script sink di Azure Esplora dati

Quando si usa Azure Esplora dati set di dati come tipo di sink, lo script del flusso di dati associato è:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	preSQLs:['pre SQL scripts'],
	postSQLs:['post SQL script'],
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Se si usa un set di dati inline, lo script del flusso di dati associato è:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    format: 'table',
    store: 'azuredataexplorer',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureDataExplorerSink

Proprietà dell'attività Lookup

Per altre informazioni sulle proprietà, vedere Attività di ricerca.

Contenuto correlato