Dela via

Vad är Apache Airflow-jobb?

Anteckning

Apache Airflow-jobbet drivs av Apache Airflow. För närvarande stöds inte privata nätverk och Vnet med Fabric Apache Airflow-jobb. Den här funktionen är under utveckling och kommer snart att uppdateras.

Apache Airflow-jobbet är nästa generation av Azure Data Factorys Workflow Orchestration Manager. Det gör det enkelt att skapa och hantera Apache Airflow-jobb , så att du kan köra riktade Acyclic Graphs (DAG:er) i stor skala utan krångel. Som en del av Microsoft Fabrics Data Factory ger det dig ett modernt sätt att ta in, förbereda och transformera data från alla typer av datakällor – till exempel databaser, informationslager, Lakehouse, realtidsdata med mera.

När ska du använda Apache Airflow-jobb?

Apache Airflow-jobb ger dig en hanterad tjänst där du kan skapa och köra Python-baserade DAG:er (Directed Acyclic Graphs) för arbetsflödesorkestrering, utan att behöva bekymra dig om installationen i bakgrunden. Om du gillar att arbeta med Apache Airflow eller föredrar att skriva kod passar det här alternativet bra. Om du inte vill skriva kod erbjuder pipelines ett enkelt sätt att hantera dataorkestrering utan kod.

Huvudfunktioner    

Microsoft Fabrics värdbaserade Apache Airflow-jobb har en mängd användbara funktioner, bland annat:

Huvudfunktioner     Apache Airflow-jobb i Fabric Orchestration Manager för arbetsflöden i Azure Data Factory
Git-synkronisering Ja Ja
Aktivera AKV (Azure Key Vault) som serverdel Ja Ja
Installera privat paket som krav Ja Ja
Diagnostikloggar och metrik Nej Ja
Blob Storage (lagring av blobbar) Nej Ja
Ip-adress för Apache Airflow-kluster Ja Ja
Autoskalning för att hantera toppar för körning av produktionsarbetsbelastningar Ja Delvis
Hög tillgänglighet för att minska avbrott/driftstopp Ja Nej
Uppskjutbara operatörer för att pausa inaktiva operatörer och frigöra arbetare Ja Nej
Pausa och återuppta TTL (time to live) Ja Nej
SaaSified Experience – 10 sekunder för att komma igång – Redigera DAG:er – Kostnadsfri utvärderingsversion av infrastrukturresurser Ja Nej

Regiontillgänglighet

  • Australien, östra
  • Australien, sydöstra
  • Södra Brasilien
  • Centrala Kanada
  • Östra Kanada
  • Centralindien
  • Mellersta USA
  • Asien, östra
  • Östra USA
  • Östra USA 2
  • Frankrike Centrala
  • Tyskland, västra centrala
  • Centrala Indonesien (kommer snart)
  • Israel Centrala
  • Norra Italien
  • Japan, östra
  • Västra Japan
  • Korea Centrala
  • Malaysia, västra (kommer snart)
  • Mexiko Central
  • Nya Zeeland, norra (kommer snart)
  • Norra centrala USA
  • Europa, norra
  • Norge, östra
  • Centrala Polen
  • Qatar Central (kommer snart)
  • Spanien Central (kommer snart)
  • Sydafrika, norra
  • Sydcentrala USA
  • Södra Indien
  • Sydostasien
  • Centrala Sverige
  • Schweiz, norra
  • Schweiz, västra
  • Taiwan North (kommer snart)
  • Taiwan Northwest (kommer snart)
  • Förenade Arabemiraten, norra
  • Storbritannien, södra
  • Storbritannien, västra
  • Europa, västra
  • Västra USA
  • Västra USA 2
  • Västra USA 3

Apache Airflow-versioner som stöds

  • 2.10.5

Python-version som stöds

  • 3.12

Anteckning

Det går för närvarande inte att ändra Apache Airflow-versionen i ett befintligt Apache Airflow-jobb. Om du behöver en annan Apache Airflow-version skapar du ett nytt Apache Airflow-jobb med den uppdaterade version du vill ha.

Relaterat innehåll

  • Last updated on