Hoe werkt Azure Data Factory Workflow Orchestration Manager?
VAN TOEPASSING OP: 
Azure Data Factory 
Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Notitie
Workflow Orchestration Manager wordt mogelijk gemaakt door Apache Airflow.
Notitie
Werkstroomindelingsbeheer voor Azure Data Factory is afhankelijk van de open source Apache Airflow-toepassing. Documentatie en meer zelfstudies voor Airflow vindt u op de Apache Airflow-documentatie of communitypagina's.
Workflow Orchestration Manager in Azure Data Factory maakt gebruik van op Python gebaseerde Gerichte Acyclic Graphs (DAG's) om uw indelingswerkstromen uit te voeren. Als u deze functie wilt gebruiken, moet u uw DAG's en invoegtoepassingen opgeven in Azure Blob Storage. U kunt de Airflow-gebruikersinterface van ADF starten met behulp van een opdrachtregelinterface (CLI) of een SDK (Software Development Kit) om uw DAG's te beheren.
Een werkstroomindelingsbeheeromgeving maken
Met de volgende stappen stelt u uw werkstroomindelingsbeheeromgeving in en configureert u deze.
Vereisten
Azure-abonnement: als u nog geen abonnement op Azure hebt, maakt u een gratis Azure-account aan voordat u begint. Maak of selecteer een bestaande Data Factory in de regio waar de preview-versie van Workflow Orchestration Manager wordt ondersteund.
Stappen voor het maken van de omgeving
Maak een nieuwe werkstroomindelingsbeheeromgeving. Ga naar Hub beheren ->Airflow (preview) ->+Nieuw om een nieuwe Airflow-omgeving te maken
Geef de details op (airflow-configuratie)
Belangrijk
Wanneer u basisverificatie gebruikt, moet u de gebruikersnaam en het wachtwoord onthouden die in dit scherm zijn opgegeven. U moet zich later aanmelden in de gebruikersinterface van Workflow Orchestration Manager. De standaardoptie is Microsoft Entra-id en vereist geen gebruikersnaam/wachtwoord voor uw Airflow-omgeving, maar gebruikt in plaats daarvan de referenties van de aangemelde gebruiker voor Azure Data Factory om zich aan te melden/DAG's te bewaken.
Omgevingsvariabelen een eenvoudig sleutelwaardearchief in Airflow om willekeurige inhoud of instellingen op te slaan en op te halen.
Vereisten kunnen worden gebruikt om Python-bibliotheken vooraf te installeren. U kunt deze later ook bijwerken.
DAG's importeren
In de volgende stappen wordt beschreven hoe u DAG's importeert in Workflow Orchestration Manager.
Vereisten
U moet een voorbeeld-DAG uploaden naar een toegankelijk opslagaccount (moet zich onder de map Dags bevinden).
Notitie
Blob Storage achter VNet wordt niet ondersteund tijdens de preview.
KeyVault-configuratie in storageLinkedServices wordt niet ondersteund voor het importeren van dags.
Voorbeeld van Apache Airflow v2.x DAG. Voorbeeld van Apache Airflow v1.10 DAG.
Stappen voor het importeren
Kopieer en plak de inhoud (v2.x of v1.10 op basis van de Airflow-omgeving die u hebt ingesteld) in een nieuw bestand met de naam tutorial.py.
Upload de tutorial.py naar een blobopslag. (Een bestand uploaden naar blob)
Notitie
U moet een mappad selecteren in een blob-opslagaccount met mappen met de naam dags en invoegtoepassingen om deze te importeren in de Airflow-omgeving. Invoegtoepassingen zijn niet verplicht. U kunt ook een container met de naam dags hebben en alle Airflow-bestanden erin uploaden .
Selecteer airflow (preview) onder Hub beheren . Beweeg vervolgens de muisaanwijzer over de eerder gemaakte Airflow-omgeving en selecteer bestanden importeren om alle DAG's en afhankelijkheden in de Airflow-omgeving te importeren.
Maak een nieuwe gekoppelde service voor het toegankelijke opslagaccount dat wordt vermeld in de vereiste (of gebruik een bestaande service als u al uw eigen DAG's hebt).
Gebruik het opslagaccount waar u de DAG hebt geüpload (controlevereisten). Test de verbinding en selecteer Vervolgens Maken.
Blader en selecteer luchtstroom als u de SAS-voorbeeld-URL gebruikt of selecteer de map die dags-map met DAG-bestanden bevat.
Notitie
U kunt DAG's en hun afhankelijkheden importeren via deze interface. U moet een mappad selecteren in een blob-opslagaccount met mappen met de naam dags en invoegtoepassingen om deze te importeren in de Airflow-omgeving. Invoegtoepassingen zijn niet verplicht.
Notitie
Het importeren van DAG's kan enkele minuten duren tijdens de preview. Het meldingencentrum (belpictogram in de ADF-gebruikersinterface) kan worden gebruikt om de importstatusupdates bij te houden.
Problemen met IMPORT DAG oplossen
Probleem: HET importeren van DAG duurt langer dan 5 minuten: Verklein de grootte van de geïmporteerde DAG's met één import. Een manier om dit te bereiken is door meerdere DAG-mappen met minder DAG's te maken in meerdere containers.
Probleem: geïmporteerde DAG's worden niet weergegeven wanneer u zich aanmeldt bij de Gebruikersinterface van Airflow. Risicobeperking: meld u aan bij de gebruikersinterface van Airflow en kijk of er DAG-parseringsfouten zijn. Dit kan gebeuren als de DAG-bestanden incompatibele code bevatten. U vindt de exacte regelnummers en de bestanden, die het probleem hebben via de gebruikersinterface van Airflow.
DAG-uitvoeringen bewaken
Als u de Airflow-DAG's wilt bewaken, meldt u zich aan bij de Gebruikersinterface van Airflow met de eerder gemaakte gebruikersnaam en het wachtwoord.
Selecteer de Airflow-omgeving die is gemaakt.
Meld u aan met het gebruikersnaam-wachtwoord dat is opgegeven tijdens het maken van Airflow Integration Runtime. (U kunt de gebruikersnaam of het wachtwoord opnieuw instellen door indien nodig de Airflow Integration Runtime te bewerken)
DAG's verwijderen uit de Airflow-omgeving
Als u Airflow versie 1.x gebruikt, verwijdert u DAG's die zijn geïmplementeerd in een Airflow-omgeving (IR), dan moet u de DAG's op twee verschillende plaatsen verwijderen.
- De DAG verwijderen uit de gebruikersinterface van Airflow
- De DAG verwijderen in de ADF-gebruikersinterface
Notitie
Dit is de huidige ervaring tijdens de openbare preview en we zullen deze ervaring verbeteren.