Wat is Workflow Orchestration Manager?
VAN TOEPASSING OP:
Azure Data Factory 
Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Notitie
Workflow Orchestration Manager wordt mogelijk gemaakt door Apache Airflow.
Notitie
Deze functie is beschikbaar voor openbare preview. Voor vragen of suggesties voor functies stuurt u een e-mail naar ManagedAirflow@microsoft.com met de details.
Notitie
Werkstroomindelingsbeheer voor Azure Data Factory is afhankelijk van de open source Apache Airflow-toepassing. Documentatie en meer zelfstudies voor Airflow vindt u op de Apache Airflow-documentatie of communitypagina's.
Azure Data Factory biedt serverloze pijplijnen voor indeling van gegevensprocessen, gegevensverplaatsing met meer dan 100 beheerde connectors en visuele transformaties met de toewijzingsgegevensstroom.
De werkstroomindelingsbeheerservice van Azure Data Factory is een eenvoudige en efficiënte manier om Apache Airflow-omgevingen te maken en te beheren, zodat u eenvoudig gegevenspijplijnen op schaal kunt uitvoeren. Apache Airflow is een opensource-platform dat wordt gebruikt voor het programmatisch maken, plannen en bewaken van complexe gegevenswerkstromen. Hiermee kunt u een set taken, operatoren genoemd, definiëren die kunnen worden gecombineerd tot omgeleide acyclische grafieken (DAG's) om gegevenspijplijnen weer te geven. Met Airflow kunt u deze DAG's uitvoeren volgens een planning of als reactie op een gebeurtenis, de voortgang van werkstromen bewaken en inzicht bieden in de status van elke taak. Het wordt veel gebruikt in data engineering en data science om gegevenspijplijnen te organiseren en staat bekend om de flexibiliteit, uitbreidbaarheid en gebruiksgemak.
Wanneer gebruikt u Workflow Orchestration Manager?
Azure Data Factory biedt pijplijnen voor het visueel organiseren van gegevensprocessen (ontwerpen op basis van gebruikersinterface). Hoewel Workflow Orchestration Manager op Airflow gebaseerde Python-DAG's (codegerichte creatie van Python) biedt voor het definiëren van het proces voor gegevensindeling. Als u de achtergrond van Airflow hebt of momenteel Apache Airflow gebruikt, kunt u liever werkstroomindelingsbeheer gebruiken in plaats van de pijplijnen. Als u daarentegen geen op Python gebaseerde DAG's wilt schrijven/beheren voor indeling van gegevensprocessen, kunt u liever pijplijnen gebruiken.
Met Workflow Orchestration Manager biedt Azure Data Factory nu mogelijkheden voor meerdere indelingen die betrekking hebben op visuele, codegerichte OSS-indelingsvereisten.
Functies
Workflow Orchestration Manager in Azure Data Factory biedt een scala aan krachtige functies, waaronder:
- Snelle en eenvoudige implementatie : u kunt Apache Airflow snel en eenvoudig instellen door een Apache Airflow-versie te selecteren wanneer u een werkstroomindelingsbeheer maakt.
- Cloudschaal : Werkstroomindelingsbeheer schaalt Apache Airflow-knooppunten automatisch op basis van bereikspecificatie (min, max).
- Microsoft Entra-integratie: u kunt Microsoft Entra RBAC inschakelen voor uw Airflow-omgeving voor een ervaring voor eenmalige aanmelding die wordt beveiligd door Microsoft Entra ID.
- Metagegevensversleuteling - Workflow Orchestration Manager versleutelt automatisch metagegevens met behulp van door Azure beheerde sleutels om ervoor te zorgen dat uw omgeving standaard veilig is. Het ondersteunt ook dubbele versleuteling met een door de klant beheerde sleutel (CMK).
- Azure Monitoring en waarschuwingen : alle logboeken die door Workflow Orchestration Manager worden gegenereerd, worden geëxporteerd naar Azure Monitor. Het biedt ook metrische gegevens om kritieke voorwaarden bij te houden en u te helpen op de hoogte te stellen als dat nodig is.
Architectuur
Beschikbaarheid van regio's (openbare preview)
- VS - oost
- VS - zuid-centraal
- Vs - west
- Brazilië - zuid
- Verenigd Koninkrijk Zuid
- Europa - noord
- Europa -west
- Zuidoost-Azië
Notitie
Per algemene beschikbaarheid worden alle ADF-regio's ondersteund. De regio Airflow-omgeving is standaard ingesteld op de Data Factory-regio en kan niet worden geconfigureerd. Zorg er dus voor dat u een Data Factory in de bovenstaande ondersteunde regio gebruikt om toegang te krijgen tot de preview-versie van Workflow Orchestration Manager.
Ondersteunde Apache Airflow-versies
- 2.6.3
Notitie
Het wijzigen van de Airflow-versie binnen een bestaande IR wordt niet ondersteund. In plaats daarvan is de aanbevolen oplossing om een nieuwe Airflow IR te maken met de gewenste versie
Integraties
Apache Airflow kan worden geïntegreerd met Microsoft Azure-services via microsoft.azure-provider.
U kunt elk providerpakket installeren door de luchtstroomomgeving te bewerken vanuit de gebruikersinterface van Azure Data Factory. Het duurt ongeveer een paar minuten voordat het pakket is geïnstalleerd.
Beperkingen
- Workflow Orchestration Manager in andere regio's is beschikbaar per algemene beschikbaarheid.
- Gegevensbronnen die verbinding maken via luchtstroom, moeten toegankelijk zijn via een openbaar eindpunt (netwerk).
- DAG's die zich in een Blob Storage in VNet/behind Firewall bevinden, worden momenteel niet ondersteund. In plaats daarvan raden we u aan de Git-synchronisatiefunctie van Workflow Orchestration Manager te gebruiken. Zie Een GitHub-opslagplaats synchroniseren in Workflow Orchestration Manager
- Het importeren van Dags uit Azure Key Vault wordt niet ondersteund in LinkedServices.