Poznámka
Na prístup k tejto stránke sa vyžaduje oprávnenie. Môžete sa skúsiť prihlásiť alebo zmeniť adresáre.
Na prístup k tejto stránke sa vyžaduje oprávnenie. Môžete skúsiť zmeniť adresáre.
Poznámka
Úloha Apache Airflow je poháňaná Apache Airflow.
Fabric Data Factory ponúka výkonnú sadu rozhraní API, ktoré uľahčujú automatizáciu a správu úloh Apache Airflow. Môžete sa pripojiť k rôznym zdrojom údajov a službám a vytvoriť, aktualizovať alebo monitorovať pracovné postupy len pomocou niekoľkých riadkov kódu. Rozhrania API pokrývajú všetko od vytvárania a úpravy úloh Apache Airflow až po ich sledovanie – takže môžete udržiavať plynulý tok údajov bez problémov.
Prípady použitia rozhrania API pre úlohy Apache Airflow
Rozhrania API pre úlohy Apache Airflow v službe Fabric Data Factory možno použiť v rôznych scenároch:
- Automatizované nasadenie: Automatizujte nasadenie úloh Apache Airflow v rôznych prostrediach (vývoj, testovanie, produkcia) pomocou postupov CI/CD.
- Monitorovanie a upozornenia: Nastavte automatizované monitorovacie a upozorňovacie systémy na sledovanie stavu úloh Apache Airflow a prijímanie upozornení, ak sa vyskytnú zlyhania alebo problémy s výkonom.
- Spracovanie chýb: Implementujte vlastné mechanizmy spracovania chýb a opakovania, aby ste zabezpečili hladký chod úloh Apache Airflow a zotavenie sa po zlyhaniach.
Pochopenie rozhraní API
Ak chcete efektívne používať rozhrania API pre úlohy Apache Airflow v službe Fabric Data Factory, je nevyhnutné pochopiť kľúčové koncepty a komponenty:
- Koncové body: Koncové body API poskytujú prístup k rôznym operáciám úloh Apache Airflow, ako je vytváranie, aktualizácia a odstraňovanie úloh Apache Airflow.
- Overovanie: Zabezpečený prístup k rozhraniam API pomocou autentifikačných mechanizmov, ako sú kľúče OAuth alebo API.
- Požiadavky a odpovede: Porozumejte štruktúre žiadostí a odpovedí rozhrania API vrátane požadovaných parametrov a očakávaného výstupu.
- Limity rýchlosti: Uvedomte si limity rýchlosti uložené pri používaní rozhrania API, aby ste sa vyhli prekročeniu povoleného počtu požiadaviek.
Podpora CRUD
CRUD je skratka pre Vytvorenie, Čítanie, Aktualizáciu a Odstránenie, čo sú štyri základné operácie, ktoré možno vykonať na údajoch. V službe Fabric Data Factory sa operácie CRUD podporujú prostredníctvom rozhrania API pre službu Fabric for Data Factory. Tieto rozhrania API umožňujú používateľom programovo spravovať svoje úlohy Apache Airflow. Tu je niekoľko kľúčových bodov o podpore CRUD:
- Vytvoriť: Vytvorte nové úlohy Apache Airflow pomocou rozhrania API.
- Prečítajte si: Načítajte informácie o existujúcich úlohách Apache Airflow.
- Aktualizácia: Aktualizujte existujúce úlohy Apache Airflow.
- Odstrániť: Odstráňte úlohy Apache Airflow, ktoré už nie sú potrebné.
Primárnu online referenčnú dokumentáciu pre rozhrania Microsoft Fabric REST API nájdete v dokumentácii k rozhraniu Microsoft Fabric REST API.
Ďalšie rozhrania API ponúkané v úlohách Apache Airflow
Okrem CRUD API je pre úlohy Apache Airflow ponúkaných séria ďalších prevádzkových API:
- Rozhrania API na správu súborov
Začíname s rozhraniami REST API pre úlohy Apache Airflow
Nasledujúca dokumentácia popisuje, ako vytvárať, aktualizovať a spravovať úlohy Apache Airflow a prevádzkové prípady použitia pomocou rozhraní API služby Fabric Data Factory.
Získanie overeného tokenu
Pred použitím ostatných rozhraní REST API musíte mať nosný token.
Dôležité
V nasledujúcich príkladoch sa uistite, že pred prístupovým tokenom sa nachádza slovo Nosný symbol (s medzerou). Keď používate klienta API a ako typ overenia vyberiete Možnosť Nosný token, automaticky sa vloží výraz Nosný token a vyžaduje sa iba zadanie prístupového tokenu.
Možnosť 1: Použitie MSAL.Net
Pozrite si časť Získať token v rýchlom štarte rozhrania API služby Fabric , kde si môžete pozrieť, ako získať autorizačný token MSAL.
Pomocou MSAL.Net získajte token Microsoft Entra ID pre službu Fabric s nasledujúcimi rozsahmi: Workspace.ReadWrite.All, Item.ReadWrite.All. Ďalšie informácie o akvizícii tokenu pomocou MSAL.Net nájdete v téme Získanie tokenu – knižnica overenia spoločnosti Microsoft pre .NET.
Skopírujte token z vlastnosti AccessToken a nahraďte <zástupný symbol prístupového tokenu> v nasledujúcich príkladoch tokenom.
Možnosť 2: Použitie portálu služby Fabric
Prihláste sa na portál služby Fabric pre nájomníka, na ktorý chcete otestovať, a stlačením klávesu F12 prejdite do režimu vývojára v prehliadači. V konzole spustite:
powerBIAccessToken
Skopírujte token a nahraďte <zástupný symbol prístupového tokenu> v nasledujúcich príkladoch tokenom.
Vytvorenie úlohy toku vzduchu v Apache
Vytvorte úlohu Apache Airflow v zadanom pracovnom priestore.
Žiadosť o vzorku:
Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items
Headers:
{
"Authorization": "Bearer <access-token>",
"Content-Type": "application/json"
}
Payload:
{
"displayName": "My Apache Airflow Job",
"description": "My Apache Airflow Job description",
"type": "ApacheAirflowJob"
}
Ukážka odpovede:
{
"id": "<artifactId>",
"type": "ApacheAirflowJob",
"displayName": "My Apache Airflow Job",
"description": "My Apache Airflow Job description",
"workspaceId": "<workspaceId>"
}
Vytvorenie úlohy Apache Airflow s definíciou
Vytvorte úlohu Apache Airflow s verejnou definíciou v zadanom pracovnom priestore. Ďalšie podrobnosti o vytvorení úlohy Apache Airflow s definíciou nájdete v téme Microsoft Fabric REST API.
Žiadosť o vzorku:
Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items
Headers:
{
"Authorization": "Bearer <access-token>",
"Content-Type": "application/json"
}
Payload:
{
"displayName": " My Apache Airflow Job",
"description": "My Apache Airflow Job description",
"type": "ApacheAirflowJob",
"definition": {
"parts": [
{
"path": "ApacheAirflowJob.json",
"payload": "{apacheAirflowJobPayload}",
"payloadType": "InlineBase64"
},
{
"path": ".platform",
"payload": "{apacheAirflowJobPayload}",
"payloadType": "InlineBase64"
}
]
}
}
Ukážka odpovede:
{
"id": "<Your artifactId>",
"type": "ApacheAirflowJob",
"displayName": "My Apache Airflow Job",
"description": "My Apache Airflow Job description",
"workspaceId": "<Your workspaceId>"
}
Získanie práce v toku vzduchu Apache
Vráti vlastnosti zadanej úlohy Apache Airflow.
Žiadosť o vzorku:
Identifikátor URI:GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}
Headers:
{
"Authorization": "Bearer <access-token>"
}
Ukážka odpovede:
{
"id": "<Your artifactId>",
"type": "ApacheAirflowJob",
"displayName": "My Apache Airflow Job",
"description": "My Apache Airflow Job description",
"workspaceId": "<Your workspaceId>"
}
Získajte úlohu Apache Airflow s definíciou
Vráti definíciu položky úlohy Apache Airflow Job. Ďalšie podrobnosti o získaní úlohy Apache Airflow s definíciou nájdete v téme – Microsoft Fabric REST API.
Žiadosť o vzorku:
Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}/getDefinition
Headers:
{
"Authorization": "Bearer <access-token>"
}
Ukážka odpovede:
{
"definition": {
"parts": [
{
"path": "ApacheAirflowJob.json",
"payload": "{apacheAirflowJobPayload}",
"payloadType": "InlineBase64"
},
{
"path": ".platform",
"payload": "{apacheAirflowJobPayload}",
"payloadType": "InlineBase64"
}
]
}
}
Aktualizácia úlohy toku vzduchu Apache
Aktualizuje vlastnosti úlohy Apache Airflow.
Žiadosť o vzorku:
Identifikátor URI:PATCH https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}
Headers:
{
"Authorization": "Bearer <access-token>",
"Content-Type": "application/json"
}
Payload:
{
"displayName": "My Apache Airflow Job updated",
"description": "My Apache Airflow Job description updated",
"type": "ApacheAirflowJob"
}
Ukážka odpovede:
{
"id": "<Your artifactId>",
"type": "ApacheAirflowJob",
"displayName": "My Apache Airflow Job updated",
"description": "My Apache Airflow Job description updated",
"workspaceId": "<Your workspaceId>"
}
Aktualizujte úlohu Apache Airflow s definíciou
Aktualizuje definíciu položky úlohy Apache Airflow. Ďalšie podrobnosti o aktualizácii úlohy Apache Airflow s definíciou nájdete v téme – Microsoft Fabric REST API.
Žiadosť o vzorku:
Identifikátor URI:POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}/updateDefinition
Headers:
{
"Authorization": "Bearer <access-token>",
"Content-Type": "application/json"
}
Payload:
{
"displayName": "My Apache Airflow Job",
"type": "ApacheAirflowJob",
"definition": {
"parts": [
{
"path": "ApacheAirflowJob.json",
"payload": "{apacheAirflowJobPayload}",
"payloadType": "InlineBase64"
},
{
"path": ".platform",
"payload": "{apacheAirflowJobPayload}",
"payloadType": "InlineBase64"
}
]
}
}
Ukážka odpovede:
200 OK
Odstránenie úlohy toku vzduchu Apache
Odstráni zadanú úlohu Apache Airflow.
Žiadosť o vzorku:
Identifikátor URI:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/items/{itemId}
Headers:
{
"Authorization": "Bearer <access-token>"
}
Ukážka odpovede:
200 OK
Rozhrania API na správu súborov
Získajte súbor úlohy Apache Airflow
Vráti súbor úlohy z Apache Airflow podľa cesty.
Identifikátor URI žiadosti: GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files/{filePath}?preview=true
Príklady výsledkov:
200 OK
Vytvorte/aktualizujte súbor úlohy Apache Airflow
Vytvorí alebo aktualizuje súbor úlohy Apache Airflow.
Identifikátor URI žiadosti: PUT https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files/{filePath}?preview=true
Vyžiadať užitočné zaťaženie:
PYTHON files (DAGs), should be UTF-8 encoded
Príklady výsledkov:
200 OK
Odstráňte súbor úlohy Apache Airflow
Odstráni zadaný súbor úlohy Apache Airflow.
Identifikátor URI žiadosti: DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files/{filePath}?preview=true
Príklady výsledkov:
200 OK
Zoznam súborov úloh Apache Airflow
Zobrazí zoznam súborov zadaného súboru úlohy Apache Airflow.
Identifikátor URI žiadosti: GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files?rootPath=”my_folder”&continuationToken={token}?preview=true
Všimnite si, že rootPath a continutationToken sú voliteľné.
Príklady výsledkov:
{
"files": [
{ filePath:string, sizeInBytes: int },
],
"continuationToken": "LDEsMTAwMDAwLDA%3D "
"continuationUri": "https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/apacheairflowjobs/{apacheAirflowJobId}/files?continuationToken='LDEsMTAwMDAwLDA%3D'"
}
Podpora pre hlavný názov služby (SPN)
Hlavný názov služby (SPN) je funkcia identity zabezpečenia, ktorú používajú aplikácie alebo služby na prístup ku konkrétnym zdrojom. V prípade služby Fabric Data Factory je podpora hlavného názvu služby rozhodujúca pre umožnenie zabezpečeného a automatizovaného prístupu k zdrojom údajov. Tu je niekoľko kľúčových bodov podpory hlavného názvu služby:
- Overovanie: Hlavné názvy služby sa používajú na overovanie aplikácií alebo služieb pri prístupe k zdrojom údajov. Tým sa zabezpečí, že k údajom budú mať prístup iba oprávnené entity.
- Konfigurácia: Ak chcete používať hlavné názvy služieb, musíte vytvoriť objekt služby v Azure a udeliť mu potrebné povolenia na prístup k zdroju údajov. Ak napríklad používate dátové jazero, objekt služby potrebuje prístup na čítanie údajov ukladacieho priestoru objektu BLOB.
- Pripojenie: Pri nastavovaní údajového pripojenia v službe Fabric Data Factory sa môžete rozhodnúť overiť pomocou objektu služby. To zahŕňa zadanie ID nájomníka, ID klienta a tajný kľúč klienta objektu služby.
- Zabezpečenie: Používanie hlavných názvov služby zvyšuje bezpečnosť tým, že sa vyhýba používaniu pevne zakódovaných poverení v tokoch údajov. Umožňuje tiež lepšiu správu povolení na prístup a audit aktivít prístupu.
Podrobnejšie informácie o tom, ako nastaviť a používať hlavné názvy služby v službe Fabric Data Factory, nájdete v téme podpory hlavného názvu služby v službe Data Factory.
Súvisiaci obsah
Ďalšie informácie o rozhraniach API v úlohách Apache Airflow v službe Fabric Data Factory nájdete v nasledujúcom obsahu: