Gekoppelde services in Azure Data Factory en Azure Synapse Analytics
VAN TOEPASSING OP:
Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
In dit artikel wordt beschreven wat gekoppelde services zijn, hoe ze worden gedefinieerd in JSON-indeling en hoe ze worden gebruikt in Azure Data Factory en Azure Synapse Analytics.
Lees het inleidende artikel voor Azure Data Factory of Azure Synapse voor meer informatie.
Overzicht
Azure Data Factory en Azure Synapse Analytics kunnen een of meer pijplijnen hebben. Een pijplijn is een logische groepering van activiteiten die samen een taak uitvoeren. De activiteiten in een pijplijn bepalen acties die moeten worden uitgevoerd op uw gegevens. U kunt bijvoorbeeld een kopieeractiviteit gebruiken om gegevens van SQL Server naar Azure Blob Storage te kopiëren. Vervolgens kunt u een Hive-activiteit gebruiken waarmee een Hive-script wordt uitgevoerd op een Azure HDInsight-cluster om gegevens uit Blob-opslag te verwerken om uitvoergegevens te produceren. Tot slot kunt u een tweede kopieeractiviteit gebruiken voor het kopiëren van de uitvoergegevens naar Azure Synapse Analytics waarop rapportageoplossingen voor business intelligence (BI) zijn gebouwd. Zie Pijplijnen en activiteiten voor meer informatie over pijplijnen en activiteiten.
Een gegevensset is nu een benoemde weergave van gegevens die simpelweg verwijst naar of verwijst naar de gegevens die u in uw activiteiten wilt gebruiken als invoer en uitvoer.
Voordat u een gegevensset maakt, moet u een gekoppelde service maken om uw gegevensarchief te koppelen aan de Data Factory- of Synapse-werkruimte. Gekoppelde services zijn vergelijkbaar met verbindingsreeks s, waarmee de verbindingsgegevens worden gedefinieerd die nodig zijn voor de service om verbinding te maken met externe resources. U kunt dit op deze manier zien: de gegevensset vertegenwoordigt de structuur van de gegevens in de gekoppelde gegevensarchieven en de gekoppelde service definieert de verbinding met de gegevensbron. Een gekoppelde Azure Storage-service koppelt bijvoorbeeld een opslagaccount aan de service. Een Azure Blob-gegevensset vertegenwoordigt de blobcontainer en de map in dat Azure Storage-account dat de invoer-blobs bevat die moeten worden verwerkt.
Hier volgt een voorbeeldscenario. Als u gegevens wilt kopiëren van Blob Storage naar een SQL Database, maakt u twee gekoppelde services: Azure Storage en Azure SQL Database. Maak vervolgens twee gegevenssets: Azure Blob-gegevensset (die verwijst naar de gekoppelde Azure Storage-service) en Azure SQL Table-gegevensset (die verwijst naar de gekoppelde Azure SQL Database-service). De gekoppelde Azure Storage- en Azure SQL Database-services bevatten verbindingsreeks s die de service tijdens runtime gebruikt om verbinding te maken met uw Azure Storage en Azure SQL Database. De Azure Blob-gegevensset geeft de blobcontainer en blobmap op die de invoer-blobs in uw Blob-opslag bevat. De Azure SQL Table-gegevensset geeft de SQL-tabel in uw SQL Database op waarnaar de gegevens moeten worden gekopieerd.
In het volgende diagram ziet u de relaties tussen pijplijn, activiteit, gegevensset en gekoppelde service in de service:
Gekoppelde service met gebruikersinterface
Als u een nieuwe gekoppelde service wilt maken in Azure Data Factory Studio, selecteert u het tabblad Beheren en vervolgens gekoppelde services, waar u alle bestaande gekoppelde services kunt zien die u hebt gedefinieerd. Selecteer Nieuw om een nieuwe gekoppelde service te maken.
Nadat u Nieuw hebt geselecteerd om een nieuwe gekoppelde service te maken, kunt u een van de ondersteunde connectors kiezen en de details dienovereenkomstig configureren. Daarna kunt u de gekoppelde service gebruiken in elke pijplijn die u maakt.
JSON voor gekoppelde service
Een gekoppelde service wordt als volgt gedefinieerd in JSON-indeling:
{
"name": "<Name of the linked service>",
"properties": {
"type": "<Type of the linked service>",
"typeProperties": {
"<data store or compute-specific type properties>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
In de volgende tabel worden eigenschappen in de bovenstaande JSON beschreven:
| Eigenschappen | Beschrijving | Vereist |
|---|---|---|
| name | Naam van de gekoppelde service. Zie Naamgevingsregels. | Ja |
| type | Type van de gekoppelde service. Bijvoorbeeld: AzureBlobStorage (gegevensarchief) of AzureBatch (compute). Zie de beschrijving voor typeProperties. | Ja |
| typeProperties | De typeeigenschappen verschillen voor elk gegevensarchief of elke berekening. Zie het overzichtsartikel van de connector voor de ondersteunde typen gegevensarchieven en de bijbehorende typeeigenschappen. Ga naar het artikel over de connector voor gegevensarchieven voor meer informatie over typeeigenschappen die specifiek zijn voor een gegevensarchief. Zie Gekoppelde compute-services voor de ondersteunde rekentypen en de bijbehorende typeeigenschappen. |
Ja |
| connectVia | De Integration Runtime die moet worden gebruikt om verbinding te maken met het gegevensarchief. U kunt Azure Integration Runtime of zelf-hostende Integration Runtime gebruiken (als uw gegevensarchief zich in een particulier netwerk bevindt). Als dit niet is opgegeven, wordt de standaard Azure Integration Runtime gebruikt. | Nee |
Voorbeeld van gekoppelde service
De volgende gekoppelde service is een gekoppelde Azure Blob Storage-service. U ziet dat het type is ingesteld op Azure Blob Storage. De typeeigenschappen voor de gekoppelde Azure Blob Storage-service bevatten een verbindingsreeks. De service gebruikt deze verbindingsreeks om tijdens runtime verbinding te maken met het gegevensarchief.
{
"name": "AzureBlobStorageLinkedService",
"properties": {
"type": "AzureBlobStorage",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Gekoppelde services maken
Gekoppelde services kunnen worden gemaakt in de Azure Data Factory UX via de beheerhub en alle activiteiten, gegevenssets of gegevensstromen waarnaar wordt verwezen.
U kunt gekoppelde services maken met behulp van een van deze hulpprogramma's of SDK's: .NET API, PowerShell, REST API, Azure Resource Manager-sjabloon en Azure Portal.
Bij het maken van een gekoppelde service heeft de gebruiker de juiste autorisatie nodig voor de aangewezen service. Als er onvoldoende toegang is verleend, kan de gebruiker de beschikbare resources niet zien en moet de optie voor handmatige invoer gebruiken.
Gekoppelde services voor gegevensopslag
U vindt de lijst met ondersteunde gegevensarchieven in het overzichtsartikel van de connector. Klik op een gegevensarchief voor meer informatie over de ondersteunde verbindingseigenschappen.
Gekoppelde services berekenen
Verwijs naar rekenomgevingen die worden ondersteund voor meer informatie over verschillende rekenomgevingen waarmee u verbinding kunt maken vanuit uw service, evenals de verschillende configuraties.
Gerelateerde inhoud
Zie de volgende zelfstudies voor stapsgewijze instructies voor het maken van pijplijnen en gegevenssets met behulp van een van deze hulpprogramma's of SDK's.