Zdieľať cez


Funkcie rozhrania REST API pre úlohy Apache Airflow v službe Fabric Data Factory

Poznámka

Úloha Apache Airflow je poháňaná Apache Airflow.

Fabric Data Factory ponúka výkonnú sadu rozhraní API, ktoré uľahčujú automatizáciu a správu úloh Apache Airflow. Môžete sa pripojiť k rôznym zdrojom údajov a službám a vytvoriť, aktualizovať alebo monitorovať pracovné postupy len pomocou niekoľkých riadkov kódu. Rozhrania API pokrývajú všetko od vytvárania a úpravy úloh Apache Airflow až po ich sledovanie – takže môžete udržiavať plynulý tok údajov bez problémov.

Prípady použitia rozhrania API pre úlohy Apache Airflow

Rozhrania API pre úlohy Apache Airflow v službe Fabric Data Factory možno použiť v rôznych scenároch:

  • Automatizované nasadenie: Automatizujte nasadenie úloh Apache Airflow v rôznych prostrediach (vývoj, testovanie, produkcia) pomocou postupov CI/CD.
  • Monitorovanie a upozornenia: Nastavte automatizované monitorovacie a upozorňovacie systémy na sledovanie stavu úloh Apache Airflow a prijímanie upozornení, ak sa vyskytnú zlyhania alebo problémy s výkonom.
  • Spracovanie chýb: Implementujte vlastné mechanizmy spracovania chýb a opakovania, aby ste zabezpečili hladký chod úloh Apache Airflow a zotavenie sa po zlyhaniach.

Pochopenie rozhraní API

Ak chcete efektívne používať rozhrania API pre úlohy Apache Airflow v službe Fabric Data Factory, je nevyhnutné pochopiť kľúčové koncepty a komponenty:

  • Koncové body: Koncové body API poskytujú prístup k rôznym operáciám úloh Apache Airflow, ako je vytváranie, aktualizácia a odstraňovanie úloh Apache Airflow.
  • Overovanie: Zabezpečený prístup k rozhraniam API pomocou autentifikačných mechanizmov, ako sú kľúče OAuth alebo API.
  • Požiadavky a odpovede: Porozumejte štruktúre žiadostí a odpovedí rozhrania API vrátane požadovaných parametrov a očakávaného výstupu.
  • Limity rýchlosti: Uvedomte si limity rýchlosti uložené pri používaní rozhrania API, aby ste sa vyhli prekročeniu povoleného počtu požiadaviek.

Podpora CRUD

CRUD je skratka pre Vytvorenie, Čítanie, Aktualizáciu a Odstránenie, čo sú štyri základné operácie, ktoré možno vykonať na údajoch. V službe Fabric Data Factory sa operácie CRUD podporujú prostredníctvom rozhrania API pre službu Fabric for Data Factory. Tieto rozhrania API umožňujú používateľom programovo spravovať svoje úlohy Apache Airflow. Tu je niekoľko kľúčových bodov o podpore CRUD:

  • Vytvoriť: Vytvorte nové úlohy Apache Airflow pomocou rozhrania API.
  • Prečítajte si: Načítajte informácie o existujúcich úlohách Apache Airflow.
  • Aktualizácia: Aktualizujte existujúce úlohy Apache Airflow.
  • Odstrániť: Odstráňte úlohy Apache Airflow, ktoré už nie sú potrebné.

Primárnu online referenčnú dokumentáciu pre rozhrania Microsoft Fabric REST API nájdete v dokumentácii k rozhraniu Microsoft Fabric REST API.

Ďalšie rozhrania API ponúkané v úlohách Apache Airflow

Okrem CRUD API je pre úlohy Apache Airflow ponúkaných séria ďalších prevádzkových API:

  • Rozhrania API na správu súborov

Začíname s rozhraniami REST API pre úlohy Apache Airflow

Nasledujúca dokumentácia popisuje, ako vytvárať, aktualizovať a spravovať úlohy Apache Airflow a prevádzkové prípady použitia pomocou rozhraní API služby Fabric Data Factory.

Získanie overeného tokenu

Pred použitím ostatných rozhraní REST API musíte mať nosný token.

Dôležité

V nasledujúcich príkladoch sa uistite, že pred prístupovým tokenom sa nachádza slovo Nosný symbol (s medzerou). Keď používate klienta API a ako typ overenia vyberiete Možnosť Nosný token, automaticky sa vloží výraz Nosný token a vyžaduje sa iba zadanie prístupového tokenu.

Možnosť 1: Použitie MSAL.Net

Pozrite si časť Získať token v rýchlom štarte rozhrania API služby Fabric , kde si môžete pozrieť, ako získať autorizačný token MSAL.

Pomocou MSAL.Net získajte token Microsoft Entra ID pre službu Fabric s nasledujúcimi rozsahmi: Workspace.ReadWrite.All, Item.ReadWrite.All. Ďalšie informácie o akvizícii tokenu pomocou MSAL.Net nájdete v téme Získanie tokenu – knižnica overenia spoločnosti Microsoft pre .NET.

Skopírujte token z vlastnosti AccessToken a nahraďte <zástupný symbol prístupového tokenu> v nasledujúcich príkladoch tokenom.

Možnosť 2: Použitie portálu služby Fabric

Prihláste sa na portál služby Fabric pre nájomníka, na ktorý chcete otestovať, a stlačením klávesu F12 prejdite do režimu vývojára v prehliadači. V konzole spustite:

powerBIAccessToken

Skopírujte token a nahraďte <zástupný symbol prístupového tokenu> v nasledujúcich príkladoch tokenom.

Vytvorenie úlohy toku vzduchu v Apache

Vytvorte úlohu Apache Airflow v zadanom pracovnom priestore.

Žiadosť o vzorku:

Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items

Headers:

{
  "Authorization": "Bearer <access-token>",
  "Content-Type": "application/json"
}

Payload:

{
  "displayName": "My Apache Airflow Job",
  "description": "My Apache Airflow Job description",
  "type": "ApacheAirflowJob"
}

Ukážka odpovede:

{
  "id": "<artifactId>",
  "type": "ApacheAirflowJob",
  "displayName": "My Apache Airflow Job",
  "description": "My Apache Airflow Job description",
  "workspaceId": "<workspaceId>"
}

Vytvorenie úlohy Apache Airflow s definíciou

Vytvorte úlohu Apache Airflow s verejnou definíciou v zadanom pracovnom priestore. Ďalšie podrobnosti o vytvorení úlohy Apache Airflow s definíciou nájdete v téme Microsoft Fabric REST API.

Žiadosť o vzorku:

Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items

Headers:

{
  "Authorization": "Bearer <access-token>",
  "Content-Type": "application/json"
}

Payload:

{
  "displayName": " My Apache Airflow Job",
  "description": "My Apache Airflow Job description",

  "type": "ApacheAirflowJob",
  "definition": { 
    "parts": [ 
      {
        "path": "ApacheAirflowJob.json",
        "payload": "{apacheAirflowJobPayload}",
        "payloadType": "InlineBase64"
      },
      {
        "path": ".platform",
        "payload": "{apacheAirflowJobPayload}",
        "payloadType": "InlineBase64"
      }
    ] 
  }
}

Ukážka odpovede:

{
  "id": "<Your artifactId>",
  "type": "ApacheAirflowJob",
  "displayName": "My Apache Airflow Job",
  "description": "My Apache Airflow Job description",
  "workspaceId": "<Your workspaceId>"
}

Získanie práce v toku vzduchu Apache

Vráti vlastnosti zadanej úlohy Apache Airflow.

Žiadosť o vzorku:

Identifikátor URI:GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}

Headers:

{
  "Authorization": "Bearer <access-token>"
}

Ukážka odpovede:

{
  "id": "<Your artifactId>",
  "type": "ApacheAirflowJob",
  "displayName": "My Apache Airflow Job",
  "description": "My Apache Airflow Job description",
  "workspaceId": "<Your workspaceId>"
}

Získajte úlohu Apache Airflow s definíciou

Vráti definíciu položky úlohy Apache Airflow Job. Ďalšie podrobnosti o získaní úlohy Apache Airflow s definíciou nájdete v téme – Microsoft Fabric REST API.

Žiadosť o vzorku:

Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}/getDefinition

Headers:

{
  "Authorization": "Bearer <access-token>"
}

Ukážka odpovede:

{
  "definition": {
    "parts": [
      {
        "path": "ApacheAirflowJob.json",
        "payload": "{apacheAirflowJobPayload}",
        "payloadType": "InlineBase64"
      },
      {
        "path": ".platform",
        "payload": "{apacheAirflowJobPayload}",
        "payloadType": "InlineBase64"
      }
    ]
  }
}

Aktualizácia úlohy toku vzduchu Apache

Aktualizuje vlastnosti úlohy Apache Airflow.

Žiadosť o vzorku:

Identifikátor URI:PATCH https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}

Headers:

{
  "Authorization": "Bearer <access-token>",
  "Content-Type": "application/json"
}

Payload:

{
  "displayName": "My Apache Airflow Job updated",
  "description": "My Apache Airflow Job description updated",
  "type": "ApacheAirflowJob"
}

Ukážka odpovede:

{
  "id": "<Your artifactId>",
  "type": "ApacheAirflowJob",
  "displayName": "My Apache Airflow Job updated",
  "description": "My Apache Airflow Job description updated",
  "workspaceId": "<Your workspaceId>"
}

Aktualizujte úlohu Apache Airflow s definíciou

Aktualizuje definíciu položky úlohy Apache Airflow. Ďalšie podrobnosti o aktualizácii úlohy Apache Airflow s definíciou nájdete v téme – Microsoft Fabric REST API.

Žiadosť o vzorku:

Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}/updateDefinition

Headers:

{
  "Authorization": "Bearer <access-token>",
  "Content-Type": "application/json"
}

Payload:

{
  "displayName": "My Apache Airflow Job",
  "type": "ApacheAirflowJob",
  "definition": {
    "parts": [ 
      {
        "path": "ApacheAirflowJob.json",
        "payload": "{apacheAirflowJobPayload}",
        "payloadType": "InlineBase64"
      },
      {
        "path": ".platform",
        "payload": "{apacheAirflowJobPayload}",
        "payloadType": "InlineBase64"
      }
    ]
  }
}

Ukážka odpovede:

200 OK

Odstránenie úlohy toku vzduchu Apache

Odstráni zadanú úlohu Apache Airflow.

Žiadosť o vzorku:

Identifikátor URI:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}

Headers:

{
  "Authorization": "Bearer <access-token>"
}

Ukážka odpovede:

200 OK

Rozhrania API na správu súborov

Získajte súbor úlohy Apache Airflow

Vráti súbor úlohy z Apache Airflow podľa cesty.

Identifikátor URI žiadosti: GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files/{filePath}?preview=true

Príklady výsledkov:

200 OK

Vytvorte/aktualizujte súbor úlohy Apache Airflow

Vytvorí alebo aktualizuje súbor úlohy Apache Airflow.

Identifikátor URI žiadosti: PUT https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files/{filePath}?preview=true

Vyžiadať užitočné zaťaženie:

PYTHON files (DAGs), should be UTF-8 encoded

Príklady výsledkov:

200 OK

Odstráňte súbor úlohy Apache Airflow

Odstráni zadaný súbor úlohy Apache Airflow.

Identifikátor URI žiadosti: DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files/{filePath}?preview=true

Príklady výsledkov:

200 OK

Zoznam súborov úloh Apache Airflow

Zobrazí zoznam súborov zadaného súboru úlohy Apache Airflow.

Identifikátor URI žiadosti: GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files?rootPath=”my_folder”&continuationToken={token}?preview=true

Všimnite si, že rootPath a continutationToken sú voliteľné.

Príklady výsledkov:

{
"files": [
{ filePath:string, sizeInBytes: int },
  ],
 "continuationToken": "LDEsMTAwMDAwLDA%3D "
"continuationUri": "https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files?continuationToken='LDEsMTAwMDAwLDA%3D'"
}  

Podpora pre hlavný názov služby (SPN)

Hlavný názov služby (SPN) je funkcia identity zabezpečenia, ktorú používajú aplikácie alebo služby na prístup ku konkrétnym zdrojom. V prípade služby Fabric Data Factory je podpora hlavného názvu služby rozhodujúca pre umožnenie zabezpečeného a automatizovaného prístupu k zdrojom údajov. Tu je niekoľko kľúčových bodov podpory hlavného názvu služby:

  • Overovanie: Hlavné názvy služby sa používajú na overovanie aplikácií alebo služieb pri prístupe k zdrojom údajov. Tým sa zabezpečí, že k údajom budú mať prístup iba oprávnené entity.
  • Konfigurácia: Ak chcete používať hlavné názvy služieb, musíte vytvoriť objekt služby v Azure a udeliť mu potrebné povolenia na prístup k zdroju údajov. Ak napríklad používate dátové jazero, objekt služby potrebuje prístup na čítanie údajov ukladacieho priestoru objektu BLOB.
  • Pripojenie: Pri nastavovaní údajového pripojenia v službe Fabric Data Factory sa môžete rozhodnúť overiť pomocou objektu služby. To zahŕňa zadanie ID nájomníka, ID klienta a tajný kľúč klienta objektu služby.
  • Zabezpečenie: Používanie hlavných názvov služby zvyšuje bezpečnosť tým, že sa vyhýba používaniu pevne zakódovaných poverení v tokoch údajov. Umožňuje tiež lepšiu správu povolení na prístup a audit aktivít prístupu.

Podrobnejšie informácie o tom, ako nastaviť a používať hlavné názvy služby v službe Fabric Data Factory, nájdete v téme podpory hlavného názvu služby v službe Data Factory.

Ďalšie informácie o rozhraniach API v úlohách Apache Airflow v službe Fabric Data Factory nájdete v nasledujúcom obsahu: