Servizi collegati in Azure Data Factory e Azure Synapse Analytics
SI APPLICA A: Azure Data Factory Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!
In questo articolo vengono descritti i servizi collegati, la procedura di definizione dei set in formato JSON e le modalità di utilizzo in Azure Data Factory e Azure Synapse Analytics.
Per altre informazioni, leggere l'articolo introduttivo per Azure Data Factory o Azure Synapse.
Panoramica
Azure Data Factory e Azure Synapse Analytics possono avere una o più pipeline. Una pipeline è un raggruppamento logico di attività che insieme eseguono un compito. Le attività in una pipeline definiscono le azioni da eseguire sui dati. Ad esempio, è possibile usare un'attività Copy per copiare i dati da SQL Server ad archiviazione BLOB di Azure. Quindi, si può usare un'attività Hive che esegue uno script Hive in un cluster HDInsight di Azure per elaborare i dati dall'archiviazione BLOB per produrre dati di output. Infine, è possibile usare una seconda attività di copia per copiare i dati di output in Azure Synapse Analytics per la compilazione delle soluzioni di report di business intelligence (BI). Per altre informazioni su pipeline e attività, vedere Pipeline e attività.
Un set di dati è una visualizzazione dati denominata che punta o fa riferimento ai dati usati come input e output nelle attività.
Prima di creare un set di dati, è necessario creare un servizio collegato per collegare l'archivio dati al Data Factory o Workspace Synapse. I servizi collegati sono molto simili a stringhe di connessione e definiscono le informazioni necessarie per la connessione del servizio a risorse esterne. In altre parole, il set di dati rappresenta la struttura dei dati all'interno degli archivi dati collegati e il servizio collegato definisce la connessione all'origine dati. Il servizio collegato Archiviazione di Azure,ad esempio, collega l'account di archiviazione al servizio. Un set di dati BLOB di Azure rappresenta il contenitore BLOB e la cartella all'interno dell'account di Archiviazione di Azure che contiene i BLOB di input da elaborare.
Di seguito è riportato uno scenario di esempio. Per copiare i dati da un'archiviazione BLOB a un Database SQL, si creano due servizi collegati: Archiviazione di Azure e Database SQL di Azure. Quindi, si creano due set di dati: un set di dati BLOB di Azure, che si riferisce al servizio collegato Archiviazione di Azure, e un set di dati della tabella SQL di Azure, che si riferisce al servizio collegato Database SQL di Azure. I servizi collegati Archiviazione di Azure e Database SQL di Azure contengono stringhe di connessione usate dal servizio in fase di runtime per connettersi rispettivamente all'archiviazione di Azure e al database SQL di Azure. Il set di dati BLOB di Azure specifica il contenitore e una cartella BLOB che contengono i BLOB di input presenti nell'archiviazione BLOB di Azure. Il set di dati della tabella SQL di Azure specifica la tabella SQL del database SQL in cui verranno copiati i dati.
Nel diagramma seguente viene illustrata la relazione tra pipeline, attività, set di dati e il servizio collegato nel servizio:
Servizio collegato con l'interfaccia utente
Per creare un nuovo servizio collegato in Studio di Azure Data Factory, selezionare la scheda Gestisci e quindi servizi collegati, in cui è possibile visualizzare tutti i servizi collegati esistenti definiti. Selezionare + Nuovo per creare un nuovo servizio collegato.
Dopo aver selezionato + Nuovo per creare un nuovo servizio collegato, è possibile scegliere uno dei connettori supportati e configurarne i dettagli di conseguenza. Successivamente, è possibile usare il servizio collegato in qualsiasi pipeline creata.
JSON servizio collegato
Un servizio collegato viene definito in formato JSON come segue:
{
"name": "<Name of the linked service>",
"properties": {
"type": "<Type of the linked service>",
"typeProperties": {
"<data store or compute-specific type properties>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
La tabella seguente descrive le proprietà nel codice JSON precedente:
Proprietà | Descrizione | Richiesto |
---|---|---|
name | Nome del servizio collegato. Vedere Regole di denominazione delle code. | Sì |
type | Tipo di servizio collegato. Ad esempio: AzureBlobStorage (archivio dati) o AzureBatch (calcolo). Vedere la descrizione di typeProperties. | Sì |
typeProperties | Le proprietà del tipo sono diverse per ogni archivio dati o calcolo. Per i tipi di archivio dati supportati e le relative proprietà del tipo, vedere l'articolo Panoramica sui connettori. Vedere l'articolo sul connettore dell'archivio dati per informazioni sulle proprietà del tipo specifiche di un archivio dati. Per i tipi di calcolo supportati e le relative proprietà del tipo, vedere Servizi collegati di calcolo. |
Sì |
connectVia | Il runtime di integrazione da usare per la connessione all'archivio dati. È possibile usare il runtime di integrazione di Azure o il runtime di integrazione self-hosted (se l'archivio dati si trova in una rete privata). Se non specificato, viene usato il runtime di integrazione di Azure predefinito. | No |
Esempio di servizio collegato
Il seguente servizio collegato è un servizio collegato di Archiviazione Blob di Azure. Si noti che il valore type è impostato su Archiviazione Blob di Azure. Le proprietà del tipo per il servizio collegato di Archiviazione Blob di Azure includono una stringa di connessione. Il servizio usa questa stringa di connessione per connettersi all'archivio dati in fase di esecuzione.
{
"name": "AzureBlobStorageLinkedService",
"properties": {
"type": "AzureBlobStorage",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Creare servizi collegati
È possibile creare i servizi collegati nell'ambito dell'esperienza utente di Azure Data Factory tramite l'hub di gestione e qualsiasi attività, set di dati o flusso di dati che vi faccia riferimento.
È possibile creare servizi collegati tramite uno di questi strumenti o SDK: API .NET, PowerShell, API REST, modello di Azure Resource Manager e portale di Azure.
Quando si crea un servizio collegato, l'utente deve disporre dell'autorizzazione appropriata per il servizio designato. Se non viene concesso un accesso sufficiente, l'utente non può visualizzare le risorse disponibili e deve usare l'opzione di immissione manuale.
Servizi collegati dell'archivio dati
È possibile trovare l'elenco degli archivi dati supportati nell'articolo di Panoramica sui connettori. Selezionare un archivio dati per informazioni sulle proprietà di connessione supportate.
Servizi collegati di calcolo
Per informazioni dettagliate sui diversi ambienti di calcolo a cui è possibile connettersi dal servizio e le diverse configurazioni, fare riferimento agli ambienti di calcolo supportati.
Contenuto correlato
Vedere le esercitazioni seguenti per istruzioni dettagliate sulla creazione di pipeline e set di dati tramite uno di questi strumenti o SDK.