Az Azure Data Factory-megoldások forrásvezérlésének kezelése

  • 8 perc

Alapértelmezés szerint az Azure Data Factory felhasználói felületének (UX) szerzői közvetlenül a data factory szolgáltatáshoz kapcsolódnak. Ez a felület a következő korlátozásokkal rendelkezik:

  • A Data Factory szolgáltatás nem tartalmaz adattárat a módosítások JSON-entitásainak tárolására. A módosítások mentésének egyetlen módja az Összes közzététele gomb, és az összes módosítás közvetlenül a data factory szolgáltatásban lesz közzétéve.
  • A Data Factory szolgáltatás nincs együttműködésre és verziókövetésre optimalizálva.

A jobb szerzői élmény érdekében az Azure Data Factory lehetővé teszi egy Git-adattár konfigurálását az Azure Repos vagy a GitHub használatával. Git is a version control system that allows for easier change tracking and collaboration. Ez a cikk bemutatja, hogyan konfigurálhat és dolgozhat git-adattárakban, valamint kiemelheti az ajánlott eljárásokat és a hibaelhárítási útmutatót.

Megjegyzés:

A Data Factory szolgáltatással való közvetlen létrehozás le van tiltva az Azure Data Factory UX-ben, ha egy Git-adattár van konfigurálva. A PowerShell-lel vagy SDK-val végrehajtott módosítások közvetlenül a Data Factory szolgáltatásban lesznek közzétéve, és nem kerülnek be a Gitbe.

A Git-integráció előnyei

Az alábbiakban felsorolunk néhányat azokról az előnyökről, amelyet a Git-integráció biztosít a szerzői élmény számára:

  • Forrásvezérlés: Mivel az adat-előállító számítási feladatai kritikus fontosságúvá válnak, érdemes integrálni a gyárat a Gittel, hogy kihasználhassa az alábbihoz hasonló forrásvezérlési előnyöket:
    • A változások nyomon követésének/naplózásának képessége.
    • A hibákat okozó módosítások visszaállításának képessége.
  • Részleges mentések: A data factory szolgáltatáson végzett szerzői műveletek során nem mentheti a módosításokat piszkozatként, és minden közzétételnek át kell adnia az adat-előállító érvényesítését. Függetlenül attól, hogy a folyamatok nincsenek-e befejezve, vagy egyszerűen nem szeretné elveszíteni a módosításokat, ha a számítógép összeomlik, a Git-integráció lehetővé teszi az adat-előállítói erőforrások növekményes módosítását, függetlenül attól, hogy milyen állapotban vannak. A git-adattár konfigurálásával mentheti a módosításokat, így csak akkor tehet közzé, ha elégedetten tesztelte a módosításokat.
  • Együttműködés és ellenőrzés: Ha több csapattag is hozzájárul ugyanahhoz a gyárhoz, érdemes lehet engedélyeznie, hogy a csapattagok egy kódellenőrzési folyamaton keresztül működjenek együtt egymással. Úgy is beállíthatja a gyárat, hogy nem minden közreműködő rendelkezik egyenlő engedélyekkel. Egyes csapattagok csak a Giten keresztül végezhetnek módosításokat, és csak a csapat bizonyos tagjai tehetik közzé a módosításokat a gyárban.
  • Jobb CI/CD: Ha több környezetben helyez üzembe folyamatos kézbesítési folyamatot, a Git-integráció bizonyos műveleteket egyszerűbbé tesz. Néhány ilyen művelet:
    • Konfigurálja úgy a kiadási folyamatot, hogy automatikusan aktiváljon, amint bármilyen módosítás történt a "dev" gyárban.
    • Testre szabhatja azokat a tulajdonságokat a gyárban, amelyek paraméterekként érhetők el a Resource Manager-sablonban. Hasznos lehet, ha csak a szükséges tulajdonságokat tartja meg paraméterekként, és minden mást keményen kódolt.
  • Jobb teljesítmény: Egy git-integrációval rendelkező átlagos gyár 10-szer gyorsabban töltődik be, mint egy adat-előállító szolgáltatással végzett szerzői műveletek. Ennek a teljesítménybeli javulásnak az az oka, hogy az erőforrások a Giten keresztül töltődnek le.

Csatlakozás git-adattárba

A Git-adattárat három különböző módon csatlakoztathatja az adat-előállítóhoz az Azure Repos és a GitHub esetében is. Miután csatlakozott egy Git-adattárhoz, megtekintheti és kezelheti a konfigurációt a felügyeleti központban, a Forrásvezérlő szakaszban található Git-konfiguráció alatt.

1. konfigurációs módszer: Kezdőlap

Az Azure Data Factory kezdőlapján válassza a Kódtár beállítása lehetőséget.

Configure a code repository from home page

2. konfigurációs módszer: Vászon készítése

Az Azure Data Factory UX szerzői vásznán válassza a Data Factory legördülő menüt, majd a Kódtár beállítása lehetőséget.

Configure the code repository settings from authoring

3. konfigurációs módszer: Felügyeleti központ

Nyissa meg a felügyeleti központot az Azure Data Factory UX-ben. Válassza a Git-konfigurációt a Forrásvezérlő szakaszban. Ha nincs csatlakoztatva adattár, kattintson a Kódtár beállítása gombra.

Configure the code repository settings from management hub

Verziókövetés

A verziókövetési rendszerek (más néven forrásvezérlők) lehetővé teszik a fejlesztők számára, hogy együttműködjenek a kódon, és nyomon kövessék a kódbázison végrehajtott módosításokat. A forráskontroll a többfejlesztős projektek alapvető eszköze.

Szolgáltatáságak létrehozása

Minden adat-előállítóhoz társított Azure Repos Git-adattár rendelkezik együttműködési ággal. (main az alapértelmezett együttműködési ág). A felhasználók funkcióágakat is létrehozhatnak, ha az ág legördülő menüjében az + Új ág elemre kattintanak. Az új ág panel megjelenése után adja meg a funkcióág nevét.

Create a new branch

Ha készen áll a funkcióág módosításainak az együttműködési ágba való egyesítésére, kattintson az ág legördülő listájára, és válassza a Lekéréses kérelem létrehozása lehetőséget. Ez a művelet az Azure Repos Gitbe viszi, ahol lekéréses kérelmeket kezdeményezhet, kódértékeléseket végezhet, és egyesítheti az együttműködési ág módosításait. Csak az együttműködési ágból tehet közzé a Data Factory szolgáltatásban.

Create a new pull request

Közzétételi beállítások konfigurálása

Alapértelmezés szerint a Data Factory létrehozza a közzétett gyár Resource Manager-sablonjait, és menti őket egy úgynevezett adf_publishágba. Egyéni közzétételi ág konfigurálásához adjon hozzá egy publish_config.json fájlt az együttműködési ág gyökérmappájába. Közzétételkor az Azure Data Factory beolvassa ezt a fájlt, megkeresi a mezőt publishBranch, és menti az összes Resource Manager-sablont a megadott helyre. Ha az ág nem létezik, a Data Factory automatikusan létrehozza. Az alábbi példa a fájl megjelenésére:

{
    "publishBranch": "factory/adf_publish"
}

Az Azure Data Factorynek egyszerre csak egy közzétételi ága lehet. Új közzétételi ág megadásakor a Data Factory nem törli az előző közzétételi ágat. Ha el szeretné távolítani az előző közzétételi ágat, törölje manuálisan.

Megjegyzés:

A Data Factory csak akkor olvassa be a publish_config.json fájlt, amikor betölti a gyárat. Ha már betöltötte a gyárat a portálon, frissítse a böngészőt a módosítások érvénybe lépéséhez.

Kódmódosítások közzététele

Miután egyesítette az együttműködési ág módosításait, a Közzététel gombra kattintva manuálisan közzéteheti a kódmódosításokat az együttműködési ágban a Data Factory szolgáltatásban.

Publish changes to the Data Factory service

Ekkor megnyílik egy oldalablak, ahol meggyőződhet arról, hogy a közzétételi ág és a függőben lévő módosítások helyesek. A módosítások ellenőrzése után kattintson az OK gombra a közzététel megerősítéséhez.

Confirm the correct publish branch

Fontos

Az együttműködési ág nem reprezentatív a Data Factory szolgáltatásban üzembe helyezett adatokra. Az együttműködési ágat manuálisan kell közzétenni a Data Factory szolgáltatásban.

Ajánlott eljárások a Git-integrációhoz

Permissions

Általában nem szeretné, hogy minden csapattag rendelkezzen a Data Factory frissítéséhez szükséges engedélyekkel. A következő engedélybeállítások ajánlottak:

  • Minden csapattagnak olvasási engedélyekkel kell rendelkeznie a Data Factoryhez.
  • Csak bizonyos személyeknek szabad közzétennie a Data Factoryben. Ehhez rendelkezniük kell a Data Factory közreműködői szerepkörével a Data Factoryt tartalmazó erőforráscsoportban .

Javasoljuk, hogy ne engedélyezze a közvetlen bejelentkezést az együttműködési ágba. Ez a korlátozás segíthet megelőzni a hibákat, mivel minden bejelentkezés egy lekéréses kérelem felülvizsgálati folyamatán megy keresztül.

Jelszavak használata az Azure Key Vaultból

Javasoljuk, hogy az Azure Key Vault használatával tárolja a Data Factory társított szolgáltatásaihoz tartozó kapcsolati sztring, jelszavakat vagy felügyelt identitáshitelesítést. Biztonsági okokból a Data Factory nem tárol titkos kulcsokat a Gitben. A titkos kulcsokat, például jelszavakat tartalmazó társított szolgáltatások módosításai azonnal közzé lesznek téve az Azure Data Factory szolgáltatásban.

A Key Vault vagy az MSI-hitelesítés használata a folyamatos integrációt és üzembe helyezést is megkönnyíti, mivel ezeket a titkos kulcsokat nem kell megadnia a Resource Manager-sablon üzembe helyezése során.

Váltás másik Git-adattárra

Ha másik Git-adattárra szeretne váltani, nyissa meg a Git konfigurációs lapját a felügyeleti központban a Forrás vezérlőelem alatt. Válassza a Leválasztás lehetőséget.

Git icon

Adja meg az adat-előállító nevét, és kattintson a Megerősítés gombra az adat-előállítóhoz társított Git-adattár eltávolításához.

Remove the association with the current Git repo

Miután eltávolította az aktuális adattárral való társításokat, konfigurálhatja a Git-beállításokat egy másik adattár használatára, majd importálhatja a meglévő Data Factory-erőforrásokat az új adattárba.

Fontos

A Git-konfiguráció adat-előállítóból való eltávolítása nem töröl semmit az adattárból. A gyár minden közzétett erőforrást tartalmazni fog. A gyárat továbbra is szerkesztheti közvetlenül a szolgáltatáson.