Megosztás a következőn keresztül:


CI/CD for Apache Airflow a Data Factoryben a Microsoft Fabricben

Fontos

A Ci/CD az Apache Airflow-ban a Data Factory for Microsoft Fabricben jelenleg előzetes verzióban érhető el. Ezek az információk egy előzetes termékre vonatkoznak, amely a kiadás előtt jelentősen módosítható. A Microsoft nem vállal kifejezett vagy hallgatólagos szavatosságot az itt megadott információkra vonatkozóan.

Megjegyzés:

Az Apache Airflow-feladatot az Apache Airflow működteti.

A munkafolyamatok kezeléséhez használhat forrásvezérlőt, CI/CD-t és megosztott munkaterületet az Apache Airflow-nal.

A Microsoft Fabric két beépített eszközt tartalmaz a CI/CD támogatásához: a Git-integrációs és üzembehelyezési folyamatokat. Ezek az eszközök segítenek rendszerezni az Airflow-folyamatokat és a munkaterület erőforrásait.

A Git-integrációval saját adattárakhoz csatlakozhat az Azure DevOpsban vagy a GitHubon. Az üzembehelyezési folyamatok segítenek a frissítések környezetek közötti áthelyezésében, így csak a szükséges frissítéseket frissítheti. Ezek együttesen megkönnyítik az Airflow-munkafolyamatok összeállítását, tesztelését és üzembe helyezését.

Git-integráció az Airflow-hoz

Az alábbi lépéseket követve csatlakoztassa a Data Factory airflow-ját a Githez. A Git segít nyomon követni a változásokat, együttműködni a csapatával, és biztonságban tartani a munkáját.

A Git-integráció előfeltételei

1. lépés: Csatlakozás Git-adattárhoz

Ahhoz, hogy git-integrációt használjon az Airflow in Fabricben, először csatlakoznia kell egy Git-adattárhoz:

  1. Jelentkezzen be a Fabricbe, és lépjen a Githez csatlakozni kívánt munkaterületre.

  2. Válassza a Munkaterület beállításai lehetőséget.

    Képernyőkép a Munkaterület beállításainak kiválasztásáról a Háló felhasználói felületén.

  3. Válassza a Git-integrációt.

  4. Válassza ki a Git-szolgáltatót – akár az Azure DevOps , akár a GitHub. Ha a GitHubot választja, válassza a Fiók hozzáadása lehetőséget a GitHub-fiók csatlakoztatásához. Bejelentkezés után válassza a Csatlakozás , hogy a Fabric hozzáférhessen a GitHub-fiókjához.

    Képernyőkép arról, hogy hol adhat hozzá GitHub-fiókot a Fabric-munkaterület Git-integrációjához.

2. lépés: Csatlakozás munkaterülethez

Miután csatlakozott egy Git-adattárhoz, csatlakoznia kell a munkaterülethez.

  1. A legördülő menüben adja meg a használni kívánt munkaterület és ág részleteit:

    • Azure DevOps esetén:

      • Szervezet neve
      • Projekt neve
      • Adattár neve
      • Ág neve
      • Mappa neve
    • GitHub esetén:

      • Adattár URL-címe
      • Ág neve
      • Mappa neve
  2. Válassza a Csatlakozás és szinkronizálás lehetőséget.

  3. A csatlakozás után válassza a Forrás vezérlőelem lehetőséget a csatolt ágról, az egyes elemek állapotáról és az utolsó szinkronizálás időpontjáról.

3. lépés: Módosítások véglegesítése a Gitben

A git módosításait az alábbi lépések végrehajtásával véglegesítheti:

  1. Nyissa meg a munkaterületet.
  2. Válassza a Forrás vezérlőelem ikont. Megjelenik egy szám, amely azt mutatja, hogy hány módosítás van még lekötve.
  3. A Forrás vezérlőpulton válassza a Módosítások lapot. Megjelenik a módosított elemek listája, valamint az állapotikonok.
  4. Válassza ki a véglegesíteni kívánt elemeket. Ha mindent ki szeretne jelölni, jelölje be a felső jelölőnégyzetet.
  5. (Nem kötelező) Véglegesítési megjegyzés hozzáadása a módosításokhoz.
  6. Válassza Véglegesítéslehetőséget.

A véglegesítés után ezek az elemek eltűnnek a listából, és a munkaterület a legújabb véglegesítésre mutat.

Telepítési csővezetékek

Az alábbi lépéseket követve üzembehelyezési folyamatokat használhat a Fabric-munkaterületen:

  1. Prerequisites
  2. Üzembehelyezési folyamat létrehozása
  3. Munkaterület hozzárendelése az üzembehelyezési folyamathoz
  4. Üzembe helyezés egy üres fázisban
  5. Tartalom üzembe helyezése egyik fázisból a másikba

Az üzembehelyezési folyamatok előfeltételei

Az első lépések előtt mindenképpen állítsa be a következő előfeltételeket:

1. lépés: Üzembehelyezési folyamat létrehozása

  1. A Munkaterületek menüben válassza az Üzembehelyezési folyamatok lehetőséget.
  2. Amikor megnyílik az Üzembe helyezési folyamat létrehozása ablak, adja meg a folyamat nevét és leírását, majd válassza a Tovább gombot.
  3. Adja meg, hogy hány szakaszt szeretne a folyamatban. Alapértelmezés szerint három fázis jelenik meg: fejlesztés, tesztelés és éles környezet.

2. lépés: Munkaterület hozzárendelése az üzembehelyezési folyamathoz

Az üzembehelyezési folyamat létrehozása után hozzá kell adnia a kezelni kívánt tartalmat az üzembehelyezési folyamathoz. Ha tartalmat ad hozzá az üzembehelyezési folyamathoz, egy munkaterületet rendel hozzá az üzembehelyezési folyamat bármely szakaszához:

  1. Nyissa meg az üzembehelyezési folyamatot.

  2. Abban a szakaszban, amelyhez munkaterületet szeretne hozzárendelni, bontsa ki a Tartalom hozzáadása a szakaszhoz című legördülő menüt.

  3. Válassza ki a szakaszhoz hozzárendelni kívánt munkaterületet.

    Képernyőkép a munkaterület hozzárendelési legördülő listájáról az üzembe helyezési folyamatok üres szakaszában az új felhasználói felületen.

  4. Válassza a Hozzárendelés lehetőséget.

3. lépés: Üzembe helyezés egy üres fázisban

Ha készen áll arra, hogy a tartalmat az egyik folyamatszakaszból a következőre helyezze át, az alábbi lehetőségek egyikével telepítheti:

  • Teljes üzembe helyezés: Ha ezt választja, az aktuális fázisban lévő összes üzembe helyezést a következő fázisba telepítheti.
  • Szelektív üzembe helyezés: Csak az üzembe helyezni kívánt elemeket válassza ki.
  • Visszafelé történő üzembe helyezés: Tartalom áthelyezése egy későbbi fázisból egy korábbi szakaszba. Ezt csak akkor teheti meg, ha a célszakasz üres (nincs hozzárendelve munkaterület).

Miután kiválasztotta az üzembe helyezési lehetőséget, áttekintheti a részleteket, és ha szeretné, megjegyzést hagyhat az üzembe helyezésről.

4. lépés: Tartalom üzembe helyezése egyik fázisból a másikba

  1. Ha már rendelkezik tartalommal egy folyamatszakaszban, akkor is üzembe helyezheti azt a következő fázisban, még akkor is, ha a következő szakasz munkaterülete tartalmaz tartalmat. A párosított elemek felülíródnak. Erről a folyamatról további információt a Tartalom üzembe helyezése meglévő munkaterületen című cikkben talál.
  2. Az üzembe helyezési előzményeket is áttekintheti, hogy az egyes szakaszokban mikor helyezték utoljára üzembe a tartalmat. A két folyamat közötti különbségek üzembe helyezése előtt történő vizsgálatához tekintse meg a különböző üzembehelyezési szakaszok tartalmának összehasonlítása című témakört.

Ismert korlátozások

Az alábbiakban bemutatunk néhányat az airflow-hoz készült CI/CD a Microsoft Fabric Data Factoryben való használatakor.

  • A Git-integráció nem támogatja az Airflow Git-Sync (a Git Synctel való exportálás nem fogja exportálni a Git Sync tulajdonságait. Ha olyan elemre importál, amelyen engedélyezve van a Git Sync, a Git Sync el lesz távolítva)
  • A titkos kódok nem támogatottak. (A titkos kóddal történő exportálás nem exportálja a Git Sync tulajdonságait. Ha meglévő titkos kódokkal rendelkező elemre importál, azokat NEM távolítja el a rendszer.
  • A customPool importálása/létrehozása ugyanabban a műveletben lévő fájlokkal jelenleg nem támogatott.
  • Helyreállítható korlátozás: Egyelőre legfeljebb 50 DAGS-t támogatunk. Az ALM-műveletek meghiúsulhatnak, ha több mint 50 DAG-juk van.