Hantera källkontroll för Azure Data Factory-lösningar

  • 8 minuter

Som standard är UX-författarna (Azure Data Factory User Interface Experience) direkt mot datafabrikstjänsten. Den här upplevelsen har följande begränsningar:

  • Data Factory-tjänsten innehåller inte någon lagringsplats för lagring av JSON-entiteter för dina ändringar. Det enda sättet att spara ändringar är via knappen Publicera alla och alla ändringar publiceras direkt till datafabrikstjänsten.
  • Data Factory-tjänsten är inte optimerad för samarbete och versionskontroll.

För att ge en bättre redigeringsupplevelse kan du med Azure Data Factory konfigurera en Git-lagringsplats med antingen Azure Repos eller GitHub. Git är ett versionskontrollsystem som möjliggör enklare spårning och samarbete. Den här artikeln beskriver hur du konfigurerar och arbetar på en git-lagringsplats tillsammans med att markera metodtips och en felsökningsguide.

Kommentar

Redigering direkt med Data Factory-tjänsten inaktiveras i Azure Data Factory UX när en Git-lagringsplats har konfigurerats. Ändringar som görs via PowerShell eller ett SDK publiceras direkt till Data Factory-tjänsten och anges inte i Git.

Fördelar med Git-integrering

Nedan visas en lista över några av fördelarna med git-integrering för redigeringsupplevelsen:

  • Källkontroll: När dina datafabriksarbetsbelastningar blir avgörande vill du integrera din fabrik med Git för att utnyttja flera fördelar med källkontroll, till exempel följande:
    • Möjlighet att spåra/granska ändringar.
    • Möjlighet att återställa ändringar som introducerade buggar.
  • Partiella sparanden: När du redigerar mot datafabrikstjänsten kan du inte spara ändringar som ett utkast och alla publiceringar måste godkännas av datafabriken. Oavsett om dina pipelines inte är färdiga eller om du helt enkelt inte vill förlora ändringar om datorn kraschar, tillåter git-integrering inkrementella ändringar av datafabriksresurser oavsett vilket tillstånd de befinner sig i. Genom att konfigurera en git-lagringsplats kan du spara ändringar så att du bara kan publicera när du har testat dina ändringar till din tillfredsställelse.
  • Samarbete och kontroll: Om du har flera teammedlemmar som bidrar till samma fabrik kanske du vill låta dina teammedlemmar samarbeta med varandra via en kodgranskningsprocess. Du kan också konfigurera din fabrik så att inte alla deltagare har samma behörigheter. Vissa teammedlemmar kan bara tillåtas att göra ändringar via Git och endast vissa personer i teamet får publicera ändringarna i fabriken.
  • Bättre CI/CD: Om du distribuerar till flera miljöer med en kontinuerlig leveransprocess gör git-integrering vissa åtgärder enklare. Några av dessa åtgärder är:
    • Konfigurera versionspipelinen så att den utlöses automatiskt så snart det görs ändringar i din dev-fabrik.
    • Anpassa de egenskaper i din fabrik som är tillgängliga som parametrar i Resource Manager-mallen. Det kan vara användbart att bara behålla den obligatoriska uppsättningen egenskaper som parametrar och ha allt annat hårdkodat.
  • Bättre prestanda: En genomsnittlig fabrik med git-integrering läses in 10 gånger snabbare än en redigering mot datafabrikstjänsten. Den här prestandaförbättringen beror på att resurser laddas ned via Git.

Anslut till en Git-lagringsplats

Det finns tre olika sätt att ansluta en Git-lagringsplats till din datafabrik för både Azure Repos och GitHub. När du har anslutit till en Git-lagringsplats kan du visa och hantera din konfiguration i hanteringshubben under Git-konfiguration i avsnittet Källkontroll .

Konfigurationsmetod 1: Startsida

På startsidan för Azure Data Factory väljer du Konfigurera kodlagringsplats.

Configure a code repository from home page

Konfigurationsmetod 2: Redigeringsarbetsyta

I azure Data Factory UX-redigeringsarbetsytan väljer du den nedrullningsbara menyn Data Factory och väljer sedan Konfigurera kodlagringsplats.

Configure the code repository settings from authoring

Konfigurationsmetod 3: Hanteringshubben

Gå till hanteringshubben i Azure Data Factory UX. Välj Git-konfiguration i avsnittet Källkontroll . Om du inte har någon ansluten lagringsplats klickar du på Konfigurera kodlagringsplats.

Configure the code repository settings from management hub

Versionskontroll

Med versionskontrollsystem (kallas även källkontroll) kan utvecklare samarbeta om kod och spåra ändringar som görs i kodbasen. Källkontroll är ett viktigt verktyg för projekt med flera utvecklare.

Skapa funktionsgrenar

Varje Azure Repos Git-lagringsplats som är associerad med en datafabrik har en samarbetsgren. (main är standardgrenen för samarbete). Användare kan också skapa funktionsgrenar genom att klicka på + Ny gren i listrutan gren. När det nya grenfönstret visas anger du namnet på funktionsgrenen.

Create a new branch

När du är redo att sammanfoga ändringarna från funktionsgrenen till din samarbetsgren klickar du på listrutan för grenen och väljer Skapa pull-begäran. Den här åtgärden tar dig till Azure Repos Git där du kan skapa pull-begäranden, göra kodgranskningar och sammanfoga ändringar i din samarbetsgren. Du kan bara publicera till Data Factory-tjänsten från din samarbetsgren.

Create a new pull request

Konfigurera publiceringsinställningar

Som standard genererar datafabriken Resource Manager-mallarna för den publicerade fabriken och sparar dem i en gren med namnet adf_publish. Om du vill konfigurera en anpassad publiceringsgren lägger du till en publish_config.json fil i rotmappen i samarbetsgrenen. När du publicerar läser Azure Data Factory den här filen, söker efter fältet publishBranchoch sparar alla Resource Manager-mallar på den angivna platsen. Om grenen inte finns skapar datafabriken den automatiskt. Och exempel på hur den här filen ser ut finns nedan:

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory kan bara ha en publiceringsgren i taget. När du anger en ny publiceringsgren tar Data Factory inte bort den tidigare publiceringsgrenen. Om du vill ta bort föregående publiceringsgren tar du bort den manuellt.

Kommentar

Data Factory läser publish_config.json bara filen när den läser in fabriken. Om du redan har läst in fabriken i portalen uppdaterar du webbläsaren så att ändringarna börjar gälla.

Publicera kodändringar

När du har sammanfogat ändringar i samarbetsgrenen klickar du på Publicera för att manuellt publicera dina kodändringar i samarbetsgrenen till Data Factory-tjänsten.

Publish changes to the Data Factory service

En sidoruta öppnas där du bekräftar att publiceringsgrenen och väntande ändringar är korrekta. När du har verifierat ändringarna klickar du på OK för att bekräfta publiceringen.

Confirm the correct publish branch

Viktigt!

Samarbetsgrenen är inte representativ för vad som distribueras i Data Factory-tjänsten. Samarbetsgrenen måste publiceras manuellt till Data Factory-tjänsten.

Metodtips för Git-integrering

Behörigheter

Vanligtvis vill du inte att alla teammedlemmar ska ha behörighet att uppdatera Data Factory. Följande behörighetsinställningar rekommenderas:

  • Alla teammedlemmar bör ha läsbehörighet till Data Factory.
  • Endast en utvald uppsättning personer ska tillåtas att publicera till Data Factory. För att göra det måste de ha rollen Data Factory-deltagare i resursgruppen som innehåller Data Factory.

Vi rekommenderar att du inte tillåter direkta incheckningar till samarbetsgrenen. Den här begränsningen kan hjälpa till att förhindra buggar eftersom varje incheckning går igenom en granskningsprocess för pull-begäranden.

Använda lösenord från Azure Key Vault

Vi rekommenderar att du använder Azure Key Vault för att lagra alla anslutningssträng eller lösenord eller hanterad identitetsautentisering för Länkade Data Factory-tjänster. Av säkerhetsskäl lagrar datafabriken inte hemligheter i Git. Ändringar av länkade tjänster som innehåller hemligheter, till exempel lösenord, publiceras omedelbart till Azure Data Factory-tjänsten.

Genom att använda Key Vault- eller MSI-autentisering blir det också enklare att integrera och distribuera kontinuerligt eftersom du inte behöver ange dessa hemligheter under distributionen av Resource Manager-mallen.

Växla till en annan Git-lagringsplats

Om du vill växla till en annan Git-lagringsplats går du till Git-konfigurationssidan i hanteringshubben under Källkontroll. Välj Koppla från.

Git icon

Ange namnet på datafabriken och klicka på bekräfta för att ta bort Git-lagringsplatsen som är associerad med datafabriken.

Remove the association with the current Git repo

När du har ta bort associationen med den aktuella lagringsplatsen kan du konfigurera Dina Git-inställningar för att använda en annan lagringsplats och sedan importera befintliga Data Factory-resurser till den nya lagringsplatsen.

Viktigt!

Om du tar bort Git-konfigurationen från en datafabrik tas inget bort från lagringsplatsen. Fabriken innehåller alla publicerade resurser. Du kan fortsätta att redigera fabriken direkt mot tjänsten.