Hoe werkt Azure Data Factory Workflow Orchestration Manager?

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

Notitie

Workflow Orchestration Manager wordt mogelijk gemaakt door Apache Airflow.

Notitie

Werkstroomindelingsbeheer voor Azure Data Factory is afhankelijk van de open source Apache Airflow-toepassing. Documentatie en meer zelfstudies voor Airflow vindt u op de Apache Airflow-documentatie of communitypagina's.

Workflow Orchestration Manager in Azure Data Factory maakt gebruik van op Python gebaseerde Gerichte Acyclic Graphs (DAG's) om uw indelingswerkstromen uit te voeren. Als u deze functie wilt gebruiken, moet u uw DAG's en invoegtoepassingen opgeven in Azure Blob Storage. U kunt de Airflow-gebruikersinterface van ADF starten met behulp van een opdrachtregelinterface (CLI) of een SDK (Software Development Kit) om uw DAG's te beheren.

Een werkstroomindelingsbeheeromgeving maken

Met de volgende stappen stelt u uw werkstroomindelingsbeheeromgeving in en configureert u deze.

Vereisten

Azure-abonnement: als u nog geen abonnement op Azure hebt, maakt u een gratis Azure-account aan voordat u begint. Maak of selecteer een bestaande Data Factory in de regio waar de preview-versie van Workflow Orchestration Manager wordt ondersteund.

Stappen voor het maken van de omgeving

  1. Maak een nieuwe werkstroomindelingsbeheeromgeving. Ga naar Hub beheren ->Airflow (preview) ->+Nieuw om een nieuwe Airflow-omgeving te maken

    Schermopname van het maken van een nieuwe beheerde Apache Airflow-omgeving.

  2. Geef de details op (airflow-configuratie)

    Schermopname van enkele omgevingsdetails van Workflow Orchestration Manager.

    Belangrijk

    Wanneer u basisverificatie gebruikt, moet u de gebruikersnaam en het wachtwoord onthouden die in dit scherm zijn opgegeven. U moet zich later aanmelden in de gebruikersinterface van Workflow Orchestration Manager. De standaardoptie is Microsoft Entra-id en vereist geen gebruikersnaam/wachtwoord voor uw Airflow-omgeving, maar gebruikt in plaats daarvan de referenties van de aangemelde gebruiker voor Azure Data Factory om zich aan te melden/DAG's te bewaken.

  3. Omgevingsvariabelen een eenvoudig sleutelwaardearchief in Airflow om willekeurige inhoud of instellingen op te slaan en op te halen.

  4. Vereisten kunnen worden gebruikt om Python-bibliotheken vooraf te installeren. U kunt deze later ook bijwerken.

DAG's importeren

In de volgende stappen wordt beschreven hoe u DAG's importeert in Workflow Orchestration Manager.

Vereisten

U moet een voorbeeld-DAG uploaden naar een toegankelijk opslagaccount (moet zich onder de map Dags bevinden).

Notitie

Blob Storage achter VNet wordt niet ondersteund tijdens de preview.
KeyVault-configuratie in storageLinkedServices wordt niet ondersteund voor het importeren van dags.

Voorbeeld van Apache Airflow v2.x DAG. Voorbeeld van Apache Airflow v1.10 DAG.

Stappen voor het importeren

  1. Kopieer en plak de inhoud (v2.x of v1.10 op basis van de Airflow-omgeving die u hebt ingesteld) in een nieuw bestand met de naam tutorial.py.

    Upload de tutorial.py naar een blobopslag. (Een bestand uploaden naar blob)

    Notitie

    U moet een mappad selecteren in een blob-opslagaccount met mappen met de naam dags en invoegtoepassingen om deze te importeren in de Airflow-omgeving. Invoegtoepassingen zijn niet verplicht. U kunt ook een container met de naam dags hebben en alle Airflow-bestanden erin uploaden .

  2. Selecteer airflow (preview) onder Hub beheren . Beweeg vervolgens de muisaanwijzer over de eerder gemaakte Airflow-omgeving en selecteer bestanden importeren om alle DAG's en afhankelijkheden in de Airflow-omgeving te importeren.

    Schermopname van importbestanden in de hub beheren.

  3. Maak een nieuwe gekoppelde service voor het toegankelijke opslagaccount dat wordt vermeld in de vereiste (of gebruik een bestaande service als u al uw eigen DAG's hebt).

    Schermopname van het maken van een nieuwe gekoppelde service.

  4. Gebruik het opslagaccount waar u de DAG hebt geüpload (controlevereisten). Test de verbinding en selecteer Vervolgens Maken.

    Schermopname met enkele details van de gekoppelde service.

  5. Blader en selecteer luchtstroom als u de SAS-voorbeeld-URL gebruikt of selecteer de map die dags-map met DAG-bestanden bevat.

    Notitie

    U kunt DAG's en hun afhankelijkheden importeren via deze interface. U moet een mappad selecteren in een blob-opslagaccount met mappen met de naam dags en invoegtoepassingen om deze te importeren in de Airflow-omgeving. Invoegtoepassingen zijn niet verplicht.

    Schermopname van browseopslag in importbestanden.

    Schermopname van bladeren in luchtstroom.

    Schermopname van importeren in importbestanden.

    Schermopname van importdagsen.

Notitie

Het importeren van DAG's kan enkele minuten duren tijdens de preview. Het meldingencentrum (belpictogram in de ADF-gebruikersinterface) kan worden gebruikt om de importstatusupdates bij te houden.

Problemen met IMPORT DAG oplossen

  • Probleem: HET importeren van DAG duurt langer dan 5 minuten: Verklein de grootte van de geïmporteerde DAG's met één import. Een manier om dit te bereiken is door meerdere DAG-mappen met minder DAG's te maken in meerdere containers.

  • Probleem: geïmporteerde DAG's worden niet weergegeven wanneer u zich aanmeldt bij de Gebruikersinterface van Airflow. Risicobeperking: meld u aan bij de gebruikersinterface van Airflow en kijk of er DAG-parseringsfouten zijn. Dit kan gebeuren als de DAG-bestanden incompatibele code bevatten. U vindt de exacte regelnummers en de bestanden, die het probleem hebben via de gebruikersinterface van Airflow.

    Schermopname met problemen met importdag.

DAG-uitvoeringen bewaken

Als u de Airflow-DAG's wilt bewaken, meldt u zich aan bij de Gebruikersinterface van Airflow met de eerder gemaakte gebruikersnaam en het wachtwoord.

  1. Selecteer de Airflow-omgeving die is gemaakt.

    Schermopname van de Airflow-omgeving die is gemaakt.

  2. Meld u aan met het gebruikersnaam-wachtwoord dat is opgegeven tijdens het maken van Airflow Integration Runtime. (U kunt de gebruikersnaam of het wachtwoord opnieuw instellen door indien nodig de Airflow Integration Runtime te bewerken)

    Schermopname van aanmelden met behulp van het gebruikersnaam-wachtwoord dat is opgegeven tijdens het maken van Airflow Integration Runtime.

DAG's verwijderen uit de Airflow-omgeving

Als u Airflow versie 1.x gebruikt, verwijdert u DAG's die zijn geïmplementeerd in een Airflow-omgeving (IR), dan moet u de DAG's op twee verschillende plaatsen verwijderen.

  1. De DAG verwijderen uit de gebruikersinterface van Airflow
  2. De DAG verwijderen in de ADF-gebruikersinterface

Notitie

Dit is de huidige ervaring tijdens de openbare preview en we zullen deze ervaring verbeteren. 

Gerelateerde inhoud