Toewijzingsgegevensstromen in Azure Data Factory
VAN TOEPASSING OP:
Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Wat zijn toewijzingsgegevensstromen?
Toewijzingsgegevensstromen zijn visueel ontworpen gegevenstransformaties in Azure Data Factory. Met gegevensstromen kunnen data engineers logica voor gegevenstransformatie ontwikkelen zonder code te schrijven. De resulterende gegevensstromen worden uitgevoerd als activiteiten in Azure Data Factory-pijplijnen die gebruikmaken van uitgeschaalde Apache Spark-clusters. Activiteiten voor gegevensstromen kunnen worden uitgevoerd met behulp van bestaande azure Data Factory-plannings-, controle-, stroom- en bewakingsmogelijkheden.
Toewijzingsgegevensstromen bieden een volledig visuele ervaring zonder dat codering is vereist. Uw gegevensstromen worden uitgevoerd op door ADF beheerde uitvoeringsclusters voor uitgeschaalde gegevensverwerking. Azure Data Factory verwerkt alle codevertalingen, padoptimalisatie en uitvoering van uw gegevensstroomtaken.
Aan de slag
Gegevensstromen worden gemaakt vanuit het deelvenster Factory-resources, zoals pijplijnen en gegevenssets. Als u een gegevensstroom wilt maken, selecteert u het plusteken naast Factory-resources en selecteert u vervolgens Gegevensstroom.
Met deze actie gaat u naar het gegevensstroomcanvas, waar u uw transformatielogica kunt maken. Selecteer Bron toevoegen om de brontransformatie te configureren. Zie Brontransformatie voor meer informatie.
Gegevensstromen ontwerpen
De toewijzingsgegevensstroom heeft een uniek ontwerpcanvas dat is ontworpen om transformatielogica eenvoudig te maken. Het gegevensstroomcanvas is onderverdeeld in drie delen: de bovenste balk, de grafiek en het configuratiepaneel.
Grafiek
In de grafiek wordt de transformatiestroom weergegeven. Hier ziet u de herkomst van brongegevens terwijl deze in een of meer sinks stromen. Als u een nieuwe bron wilt toevoegen, selecteert u Bron toevoegen. Als u een nieuwe transformatie wilt toevoegen, selecteert u het plusteken rechtsonder in een bestaande transformatie. Meer informatie over het beheren van de gegevensstroomgrafiek.
Configuratiepaneel
In het configuratievenster worden de instellingen weergegeven die specifiek zijn voor de momenteel geselecteerde transformatie. Als er geen transformatie is geselecteerd, wordt de gegevensstroom weergegeven. In de configuratie van de algemene gegevensstroom kunt u parameters toevoegen via het tabblad Parameters . Zie Parameters voor toewijzingsgegevensstromen voor meer informatie.
Elke transformatie bevat ten minste vier configuratietabbladen.
Transformatie-instellingen
Het eerste tabblad in het configuratiedeelvenster van elke transformatie bevat de instellingen die specifiek zijn voor die transformatie. Zie de documentatiepagina van die transformatie voor meer informatie.
Optimaliseren
Het tabblad Optimaliseren bevat instellingen voor het configureren van partitioneringsschema's. Zie de prestatiehandleiding voor toewijzingsgegevensstromen voor meer informatie over het optimaliseren van uw gegevensstromen.
Inspecteren
Het tabblad Inspecteren biedt een weergave van de metagegevens van de gegevensstroom die u wilt transformeren. U kunt kolomaantallen zien, de kolommen zijn gewijzigd, de toegevoegde kolommen, gegevenstypen, de kolomvolgorde en kolomverwijzingen. Inspect is een alleen-lezenweergave van uw metagegevens. U hoeft de foutopsporingsmodus niet in te schakelen om metagegevens te zien in het deelvenster Inspecteren .
Wanneer u de vorm van uw gegevens wijzigt via transformaties, ziet u de stroom metagegevenswijzigingen in het deelvenster Inspecteren . Als uw brontransformatie geen gedefinieerd schema bevat, zijn metagegevens niet zichtbaar in het deelvenster Inspecteren . Het ontbreken van metagegevens is gebruikelijk in schemadriftscenario's.
Voorbeeldweergave van gegevens
Als de foutopsporingsmodus is ingeschakeld, krijgt u op het tabblad Gegevensvoorbeeld een interactieve momentopname van de gegevens bij elke transformatie. Zie Voorbeeld van gegevens in de foutopsporingsmodus voor meer informatie.
Bovenste balk
De bovenste balk bevat acties die van invloed zijn op de hele gegevensstroom, zoals opslaan en valideren. U kunt ook het onderliggende JSON-code- en gegevensstroomscript van uw transformatielogica bekijken. Meer informatie over het gegevensstroomscript.
Beschikbare transformaties
Bekijk het overzicht van transformatie van toewijzingsgegevensstromen om een lijst met beschikbare transformaties op te halen.
Gegevenstypen voor gegevensstromen
- matrix
- binair
- boolean
- Complexe
- decimaal (inclusief precisie)
- datum
- zwevend
- geheel getal
- long
- map
- Korte
- tekenreeks
- timestamp
Gegevensstroomactiviteit
Toewijzingsgegevensstromen worden ge operationeel binnen ADF-pijplijnen met behulp van de gegevensstroomactiviteit. Een gebruiker hoeft alleen maar op te geven welke integration runtime moet worden gebruikt en welke parameterwaarden moeten worden doorgegeven. Meer informatie over de Azure Integration Runtime.
Foutopsporingsmodus
Met de foutopsporingsmodus kunt u interactief de resultaten van elke transformatiestap bekijken tijdens het bouwen en opsporen van fouten in uw gegevensstromen. De foutopsporingssessie kan worden gebruikt bij het bouwen van uw gegevensstroomlogica en het uitvoeren van pijplijnopsporingsuitvoeringen met gegevensstroomactiviteiten. Zie de documentatie voor de foutopsporingsmodus voor meer informatie.
Gegevensstromen bewaken
Toewijzingsgegevensstromen kunnen worden geïntegreerd met bestaande bewakingsfuncties van Azure Data Factory. Zie toewijzingsgegevensstromen bewaken voor meer informatie over de uitvoer van gegevensstromen voor gegevensstromen.
Het Azure Data Factory-team heeft een handleiding voor het afstemmen van prestaties gemaakt om u te helpen bij het optimaliseren van de uitvoeringstijd van uw gegevensstromen na het bouwen van uw bedrijfslogica.
Beschikbare regio's
Toewijzingsgegevensstromen zijn beschikbaar in de volgende regio's in ADF:
| Azure-regio | Gegevensstromen in ADF |
|---|---|
| Australië - centraal | |
| Australië - centraal 2 | |
| Australië - oost | ✓ |
| Australië - zuidoost | ✓ |
| Brazilië - zuid | ✓ |
| Canada - midden | ✓ |
| India - centraal | ✓ |
| Central US | ✓ |
| China - oost | |
| China - oost 2 | |
| China - niet-regionaal | |
| China - noord | ✓ |
| China - noord 2 | ✓ |
| China - noord 3 | ✓ |
| Azië - oost | ✓ |
| VS - oost | ✓ |
| VS - oost 2 | ✓ |
| Frankrijk - centraal | ✓ |
| Frankrijk - zuid | |
| Duitsland - centraal (onafhankelijk) | |
| Duitsland - niet-regionaal (onafhankelijk) | |
| Duitsland - noord (openbaar) | |
| Duitsland - noordoost (onafhankelijk) | |
| Duitsland - west-centraal (openbaar) | ✓ |
| Japan East | ✓ |
| Japan - west | ✓ |
| Korea - centraal | ✓ |
| Korea - zuid | |
| VS - noord-centraal | ✓ |
| Europa - noord | ✓ |
| Noorwegen - oost | ✓ |
| Noorwegen - west | |
| Zuid-Afrika - noord | ✓ |
| Zuid-Afrika - west | |
| VS - zuid-centraal | |
| India - zuid | ✓ |
| Azië - zuidoost | ✓ |
| Zwitserland - noord | ✓ |
| Zwitserland - west | |
| UAE - centraal | |
| VAE - noord | ✓ |
| VK - zuid | ✓ |
| Verenigd Koninkrijk West | |
| US DoD Central | |
| US DoD East | |
| US Gov - Arizona | ✓ |
| US Gov - niet-regionaal | |
| US Gov - Texas | |
| VS (overheid) - Virginia | ✓ |
| VS - west-centraal | |
| Europa -west | ✓ |
| India - west | ✓ |
| VS - west | ✓ |
| VS - west 2 | ✓ |
| US - west 3 | ✓ |
Gerelateerde inhoud
- Meer informatie over het maken van een brontransformatie.
- Meer informatie over het bouwen van uw gegevensstromen in de foutopsporingsmodus.