Fråga och analysera uppdateringar för uppdateringar med Azure Synapse Link för Dataverse

Microsoft Dataverse-data (inklusive data från Dynamics 365-program och Finance and Operations) kan ändras kontinuerligt genom att skapa, uppdatera och ta bort transaktioner. Med alternativet för inkrementell uppdatering kan du skapa inkrementella datapipelines som tillämpar dessa ändringar på underordnade system och databaser. Azure Synapse Link för Dataverse-exporterar inkrementella data i tidsstämplade mappar som innehåller dataändringar inom användardefinierade tidsintervall.

Du kan använda funktionen för inkrementell uppdatering i flera scenarier:

• Uppdatera ett underordnat datalager eller ett informationslager. Du kan behöva tillämpa ändringar från dina Power Apps- och Dynamics 365-data i ett underordnat datalager. Stegvis uppdatering är en standardfunktion i de flesta datatransformeringsverktyg, till exempel Azure Data Factory. För att funktionen för inkrementell uppdatering ska fungera måste du emellertid identifiera de poster som har ändrats i källtabellerna. Funktionen för inkrementell uppdatering tillhandahåller ändrade data som en uppsättning filer, detta så att du inte behöver identifiera ändringar genom att jämföra före- och efterbilder av tabeller.

• Analysera ändringar i stora datamängder. Om du behöver analysera ändringar i stora datamängder ger funktionen för inkrementell uppdatering en kontinuerlig dataström i små batchar, så att du inte behöver lagra alla data. Med det här alternativet kan du ta bort inaktuella och stillastående data för att spara datalagringskostnader samt spåra dataändringar som är relevanta för en användardefinierad tidsperiod.

Azure Synapse Link för Dataverse ger också möjlighet att exportera och underhålla en replik av tabeller i din Azure Data Lake (Gen 2) lagring. Du kan konfigurera Azure Synapse Link för att exportera inkrementella data förutom att exportera en replik av tabeller. Varje konfiguration (kallas för en ”Synapse Link-profil”) kan exportera antingen tabeller eller inkrementella data. Du kan skapa flera profiler, men du kan inte konfigurera både tabeller och inkrementella uppdateringar i samma profil.

Viktigt

En första tidsstämplad mapp skapas när du aktiverar den här funktionen med en kopia av dina data. Efterföljande tidsstämpel- och tabellmappar skapas endast när en datauppdatering sker inom det tidsintervall som användaren har angett.

När du har skapat en Synapse Link-profil med funktionen för inkrementell uppdatering gäller konfigurationen för alla valda tabeller i Synapse Link-profilen.

Den här funktionen kan inte aktiveras med alternativet: Anslut till din Azure Synapse workspace. För kunder som behöver Azure Synapse Analytics-åtkomst följer du den här instruktionen för att konfigurera länken: Skapa en Azure Synapse Link för Dataverse med din Azure Synapse workspace

Den här funktionen motsvarar funktionen Ändringsflöden i export till datasjö som är inbyggd i Dynamics 365-appar för ekonomi och drift. Kunder som använder funktionen Ändra flöden har möjlighet att aktivera en Synapse Link-profil med ändringsdata utan att behöva exportera tabelldata.

Förutsättningar

I den här guiden förutsätts det att du redan har uppfyllt kraven för att skapa en Azure Synapse Link. Mer information: Skapa en Azure Synapse Link för Dataverse med Azure Data Lake

Skapa en Synapse Link-profil för att exportera inkrementella data

1. Logga in på Power Apps och välj din miljö.

2. I vänstra navigeringsfönstret väljer du Azure Synapse Link. Om objektet inte finns i sidopanelsfönstret väljer du … Mer och markerar sedan det objekt du vill använda.

3. Markera + Ny länk i kommandofältet.

4. Välj Prenumeration, Resursgrupp och Lagringskonto. Klicka på Nästa.

5. Välj inte alternativet Anslut till din Azure Synapse-arbetsyta. Om du väljer det här alternativet inaktiveras funktionen för inkrementell uppdatering.

6. Lägg till de tabeller som du vill exportera. Om din Dataverse-miljö är länkad till appar för ekonomi och drift kan du även välja tabeller från appar för ekonomi och drift.

7. Välj Avancerat.

8. Aktivera Visa avancerade konfigureringsinställningar och Aktivera inkrementell uppdatering av mappstruktur.

9. Ange tidsintervall (i minuter) för hur ofta uppdateringar ska installeras och välj sedan Spara. 

   

Obs

Det minsta tidsintervallet är 5 minuter. Det innebär att mappen med inkrementella uppdateringar skapas var femte minut och innehåller de ändringar som inträffat inom tidsintervallet. Denna inställning kan även konfigureras när länken har skapats via Hantera tabeller. Maximalt tidsintervall är 1140 minuter (eller 24 timmar).

Säkerställ att du Ansluter till din Azure Synapse workspace Azure Synapse workspace är inte är markerat på den första sidan i konfigurationen.

Inkrementella data i tidsstämplade mappar lagras som textfiler med kommaavgränsade värden (CSV-filer). Du kan inte använda Delta-konverteringsfunktionen för inkrementella data och hämta inkrementella filer i ett Delta-parquet-format.

Visa mappen med förtent syfte på Microsoft Azure Storage

När du skapar en Synapse Link-profil med inkrementella data gör systemet en första kopia av alla tabeller och lagrar den i den första inkrementella uppdateringsmappen. När den första kopian har skapats skapar systemet efterföljande uppdateringsmappar med ändrade data. Om det inte finns några ändringar i någon av de valda tabellerna visas inte inkrementella datamappar.

Så här ser du mappar med inkrementella data på lagringskontot:

1. Välj önskad Azure Synapse Link och välj Gå till Azure Data Lake i kommandofältet.

2. Markera behållare under Datalagring.

3. Välj dataverse-environmentName-organizationUniqueName. Mappar för uppdateringar som inte finns i datorn namnges av tidsstämpeln för skapandet (”yyyy-MM-dd'T'HH:mm:ss.SSSz”) i UTC. Observera att tidsskillnaden mellan tidsstämplade mappar är det tidsintervall som du anger i dina avancerade inställningar.

4. I varje tidsstämplad mapp finns det mappar för varje enskild tabell. Alla valda tabeller kanske inte har ändrats under tidsintervallet, och du ser bara mappar som motsvarar tabeller vars data har ändrats.

   

Obs

På grund av funktionerna för återförsök kan en extra tom tidsstämpelmapp komma att skapas inom det användarangivna tidsintervallet.

Använda inkrementella data

Du kan kopiera inkrementella data till en Azure SQL-databas eller ett informationslager med hjälp av dataintegreringsverktyg såsom Azure Data Factory- eller Azure Synapse Analytics-pipelines. Vi tillhandahåller en exempeldatapipeline som kan användas för detta ändamål. För mer information:Kopiera Dataverse-data till Azure SQL.

Om du är kund för Dynamics 365-appar för ekonomi och drift och går över från funktionen för ändringsflöden, kan du använda exempelverktyg för dataintegration som tillhandahålls på GitHub för att uppdatera befintliga datapipelines som använts med ändringsflödesfunktionen.

Du kan också skapa en egen datapipeline för att använda inkrementella data. Du måste emellertid tänka på följande metodtips när du utformar din egen pipeline:

• Använd endast data från tidigare tidsstämplade mappar: På så sätt kan du undvika läs- och skrivkonflikter med Synapse Link-tjänsten, som kan uppdatera data kontinuerligt i den aktuella mappen. Du kan hitta den aktuella mappen genom att visa filen Changelog/changelog.info. Den här filen är en skrivskyddad fil som innehåller en enda rad med det mappnamn som för närvarande uppdateras. Du bör inte uppdatera den här filen eftersom den kan orsaka instabilitet i systemet.
• Du kan visa den model.json-fil som finns i varje tidsstämplad mapp för att läsa metadata, till exempel kolumnnamn för datan som finns i tabellmappar. Observera att varje model.json-fil i mappen som finns i tidsstämplade mappar innehåller metadata för alla tabeller, inte bara de tabeller som finns i den tidsstämplade mappen.
• Undvik att använda andra loggfiler, till exempel Synapse.log-filen. Den här filen används för interna ändamål och kanske inte återspeglar korrekta data.
• Överväg att ta bort föråldrade inkrementella mappar från Azure-datasjö när du är klar med bearbetningen. För närvarande har Synapse Link ett lån på dessa filer i Azure Storage för att kunna återställa från eventuella fel. Systemet kan komma att släppa lånet efter en viss tid. Du bör bara ta bort inkrementella mappar som är äldre än 24 timmar för att undvika konflikter med systemåtgärden.
• Du bör inte ändra eller ta bort den "aktuella mappen" som är mappen som finns i filen Changelog/changelog.info. Om du ändrar den här filen pausas bearbetningen av data.

Se även

Vad är Azure Synapse Link för Dataverse?