Dela via

Vad är Apache Airflow-jobb?

Anteckning

Apache Airflow-jobbet drivs av Apache Airflow.

Apache Airflow-jobbet är nästa generation av Azure Data Factorys Workflow Orchestration Manager. Det är ett enkelt och effektivt sätt att skapa och hantera Apache Airflow-orkestreringsjobb så att du enkelt kan köra Riktade Acyclic Graphs (DAG:er) i stor skala. Det är en del av Fabrics datafabrik som ger dig en modern dataintegreringsupplevelse att mata in, förbereda och transformera data från en omfattande uppsättning datakällor, till exempel databaser, informationslager, Lakehouse, realtidsdata med mera.

När ska du använda Apache Airflow-jobb?

Apache Airflow-jobb erbjuder en hanterad tjänst som gör det möjligt för användare att skapa och hantera Python-baserade DAG:er (riktade Acyclic Graphs) för arbetsflödesorkestrering, utan att bekymra sig om den underliggande infrastrukturen. Om du har erfarenhet av Apache Airflow eller om du föredrar kodcentrerad metod är det här alternativet idealiskt. Om du däremot föredrar en lösning utan kod för dataorkestrering erbjuder datapipelines ett användarvänligt alternativ som inte kräver hantering eller skrivning av Python-baserade arbetsflöden.

Huvudfunktioner    

Apache Airflow-jobb som är värdbaserade på Microsoft Fabric erbjuder en rad kraftfulla funktioner, bland annat:

Huvudfunktioner     Apache Airflow-jobb i Fabric Orchestration Manager för arbetsflöden i Azure Data Factory
Git-synkronisering Ja Ja
Aktivera AKV (Azure Key Vault) som serverdel Ja Ja
Installera privat paket som krav Ja Ja
Diagnostikloggar och metrik Nej Ja
Blob Storage (lagring av blobbar) Nej Ja
Ip-adress för Apache Airflow-kluster Ja Ja
Autoskalning för att hantera toppar för körning av produktionsarbetsbelastningar Ja Delvis
Hög tillgänglighet för att minska avbrott/driftstopp Ja Nej
Uppskjutbara operatörer för att pausa inaktiva operatörer och frigöra arbetare Ja Nej
Pausa och återuppta TTL (time to live) Ja Nej
SaaSified Experience – 10 sekunder för att komma igång – Redigera DAG:er – Kostnadsfri utvärderingsversion av infrastrukturresurser Ja Nej

Regiontillgänglighet

  • Australien, östra
  • Australien, sydöstra
  • Södra Brasilien
  • Centrala Kanada
  • Östra Kanada
  • Centralindien
  • Mellersta USA
  • Asien, östra
  • Östra USA
  • Östra USA 2
  • Frankrike Centrala
  • Tyskland, västra centrala
  • Centrala Indonesien (kommer snart)
  • Israel Centrala
  • Norra Italien
  • Japan, östra
  • Västra Japan
  • Korea Centrala
  • Malaysia, västra (kommer snart)
  • Mexiko Central
  • Nya Zeeland, norra (kommer snart)
  • Europa, norra
  • Norge, östra
  • Centrala Polen
  • Qatar Central (kommer snart)
  • Spanien Central (kommer snart)
  • Sydafrika, norra
  • Sydcentrala USA
  • Södra Indien
  • Sydostasien
  • Centrala Sverige
  • Schweiz, norra
  • Schweiz, västra
  • Taiwan North (kommer snart)
  • Taiwan Northwest (kommer snart)
  • Förenade Arabemiraten, norra
  • Storbritannien, södra
  • Storbritannien, västra
  • Europa, västra
  • Västra USA
  • Västra USA 2
  • Västra USA 3

Apache Airflow-versioner som stöds

  • 2.10.5

Stöd för Python-version

  • 3.12

Anteckning

Det går för närvarande inte att ändra Apache Airflow-versionen i ett befintligt Apache Airflow-jobb. I stället är den rekommenderade lösningen att skapa ett nytt Apache Airflow-jobb med önskad version

Relaterat innehåll