Uw code synchroniseren vanuit een bestaande GitHub-opslagplaats
Notitie
Apache Airflow-taak wordt mogelijk gemaakt door Apache Airflow.
Gegevenswerkstromen, een transformatieve functie in Microsoft Fabric, herdefinieert uw benadering voor het bouwen en beheren van gegevenspijplijnen. Gegevenswerkstromen, mogelijk gemaakt door de Apache Airflow-runtime, bieden een geïntegreerd, cloudplatform voor het ontwikkelen, plannen en bewaken van op Python gebaseerde gegevenswerkstromen, die zijn geformuleerd als Gerichte Acyclic Graphs (DAG's). Het biedt een SaaS-ervaring (Software-as-a-Service) voor het ontwikkelen en beheren van gegevenspijplijnen met behulp van Apache Airflow, waardoor de runtime eenvoudig toegankelijk is en het maken en gebruiken van uw gegevenswerkstromen mogelijk maakt.
Met gegevenswerkstromen hebt u twee opties voor het opslaan van uw werkstroombestanden: door infrastructuur beheerde opslag en door GitHub beheerde opslag. In dit artikel leert u hoe u uw code synchroniseert vanuit een bestaande GitHub-opslagplaats.
Vereisten
- Schakel de Apache Airflow-taak in uw tenant in.
Notitie
Omdat de Apache Airflow-taak de preview-status heeft, moet u deze inschakelen via uw tenantbeheerder. Als u de Apache Airflow-taak al ziet, heeft uw tenantbeheerder deze mogelijk al ingeschakeld.
- Ga naar de beheerportal -> Tenantinstellingen -> Vouw onder Microsoft Fabric> de sectie 'Gebruikers kunnen Apache Airflow-taak maken en gebruiken (preview)' uit.
- Selecteer Toepassen.
Een Apache Airflow-taak maken
U kunt een bestaande werkruimte gebruiken of een nieuwe werkruimte maken.
Vervolgkeuzelijst uitvouwen
+ New
-> Klik op Meer opties -> OnderData Factory
sectie -> Apache Airflow-taak selecteren (preview)Geef een geschikte naam aan uw project en klik op de knop Maken.
Uw GitHub-opslagplaats synchroniseren
Geef de Git-opslagplaats op waarmee u uw Apache Airflow-taak wilt synchroniseren.
Ga naar de knop Instellingen en klik op het tabblad Bestandsopslag. Kies 'Git-sync' als het type opslag.
Vul de volgende velden in:
Git-servicetype: Ondersteunde servicetypen:
- GitHub
- ADO: Azure DevOps
- GitLab
- BitBucket
Git-referentietype: ondersteunde referentietypen:
- Geen: Kies dit referentietype als de opslagplaats openbaar is.
- Persoonlijk toegangstoken: een persoonlijk toegangstoken van de Git-service die wordt gebruikt voor verificatie met opslagplaats.
- Vul de velden in:
- Gebruikersnaam: Gebruikersnaam van GitHub.
- Persoonlijk toegangstoken
- Vul de velden in:
- Service-principal: selecteer deze referentie wanneer u Git Service als Azure Devops kiest:
- Vul de velden in:
- Id van de service-principal-app: client-id van uw service-principal die toegang heeft tot de Azure Devops-opslagplaats.
- Service-principalgeheim: clientgeheim met toegang tot Azure DevOps-opslagplaats.
- Tenant-id van de service-principal: tenant-id van uw service-principal.
- Vul de velden in:
- Opslagplaats: De kloon-URL naar de opslagplaats die u wilt synchroniseren.
- Vertakking: de naam van de vertakking van de opslagplaats die u wilt synchroniseren.
Klik op Toepassen.
Uw DAG's bewaken
Als u wilt controleren of uw opslagplaats is gesynchroniseerd, gaat u naar de gebruikersinterface van Apache Airflow door te klikken op Controleren in Apache Airflow. In de gebruikersinterface ziet u alle DAG's uit uw opslagplaats die rechtstreeks zijn geladen.
Code-editor wordt niet ondersteund tijdens het gebruik van git-synchronisatieopslag. U moet uw code lokaal bewerken en de wijzigingen naar uw externe Git-opslagplaats pushen. Uw meest recente doorvoer wordt automatisch gesynchroniseerd met gegevenswerkstromen en u kunt uw bijgewerkte code zien in de gebruikersinterface van Apache Airflow.
Ondersteunde Structuur van Git-opslagplaatsen
|── dags/
| |-- *.py
|-- plugins
| |-- executors/
| | ├-- __init__.py
| | └-- *.py
| |-- hooks/
| | ├-- __init__.py
| | └-- *.py
| |-- operators/
| | ├-- __init__.py
| | └-- *.py
| |-- transfers/
| | ├-- __init__.py
| | └-- *.py
| |-- triggers/
| | ├-- __init__.py
| | └-- *.py
Notitie
We synchroniseren alleen de dags
en plugins
mappen uit de opslagplaats. Zorg ervoor dat bestanden of submappen zich in een van deze mappen bevinden.