Share via

Kosten voor Azure Data Factory beheren

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt beschreven hoe u kosten voor Azure Data Factory plant en beheert.

Ten eerste, aan het begin van het ETL-project, gebruikt u een combinatie van de Azure-prijzen en het verbruik per pijplijn en prijscalculators om azure Data Factory-kosten te plannen voordat u resources voor de service toevoegt om de kosten te schatten. Controleer vervolgens de geschatte kosten terwijl u Azure-resources toevoegt. Nadat u Azure Data Factory-resources hebt gebruikt, gebruikt u Cost Management-functies om budgetten in te stellen en kosten te bewaken. U kunt ook geraamde kosten bekijken en uitgaventrends identificeren om gebieden te identificeren waar u mogelijk actie wilt ondernemen. Kosten voor Azure Data Factory zijn slechts een deel van de maandelijkse kosten in uw Azure-factuur. In dit artikel wordt alleen uitgelegd hoe u kosten voor data factory plant en beheert. U wordt gefactureerd voor alle Azure-services en -resources die worden gebruikt in uw Azure-abonnement, inclusief de services van derden.

Vereisten

Kostenanalyse in Cost Management ondersteunt de meeste Typen Azure-accounts, maar niet allemaal. Zie voor de volledige lijst met ondersteunde accounttypen Gegevens van Azure Cost Management begrijpen. Als u kostengegevens wilt weergeven, hebt u ten minste leestoegang nodig voor een Azure-account. Zie Toegang tot gegevens toewijzen voor meer informatie over het toewijzen van toegang tot de gegevens in Azure Cost Management.

Kosten schatten voordat u Azure Data Factory gebruikt

Gebruik de ADF-prijscalculator om een schatting te krijgen van de kosten voor het uitvoeren van uw ETL-workload in Azure Data Factory. Als u de rekenmachine wilt gebruiken, moet u details invoeren, zoals het aantal uitvoeringen van activiteit, het aantal uren van de gegevensintegratie-eenheid, het type rekenproces dat wordt gebruikt voor Gegevensstroom, het aantal kernen, het aantal exemplaren, de uitvoeringsduur, enzovoort.

Een van de veelgestelde vragen voor de prijscalculator is welke waarden als invoer moeten worden gebruikt. Tijdens de proof-of-concept-fase kunt u proefuitvoeringen uitvoeren met behulp van voorbeeldgegevenssets om inzicht te hebben in het verbruik voor verschillende ADF-meters. Vervolgens kunt u op basis van het verbruik voor de voorbeeldgegevensset het verbruik voor de volledige gegevensset en het operationele schema uitplannen.

Notitie

De prijzen die in dit voorbeeld hieronder worden gebruikt, zijn hypothetisch en zijn niet bedoeld om werkelijke prijzen te impliceren.

Stel dat u dagelijks 1 TB aan gegevens moet verplaatsen van AWS S3 naar Azure Data Lake Gen2. U kunt POC uitvoeren van het verplaatsen van 100 GB aan gegevens om de gegevensopnamedoorvoer te meten en inzicht te krijgen in het bijbehorende factureringsverbruik.

Hier volgt een voorbeeld van een uitvoeringsdetails van de kopieeractiviteit (uw werkelijke kilometers variëren op basis van de vorm van uw specifieke gegevensset, netwerksnelheden, uitgaand limieten voor S3-accounts, inkomende limieten voor ADLS Gen2 en andere factoren).

Uitvoering van S3-kopie

Door gebruik te maken van de verbruiksbewaking op pijplijnuitvoeringsniveau, ziet u de bijbehorende verbruikshoeveelheid van de gegevensverplaatsingsmeter:

S3:pijplijnverbruik kopiëren

Daarom is het totale aantal DIU-uren dat nodig is om 1 TB per dag voor de hele maand te verplaatsen:

1,2667 (DIU-hours) * (1 TB / 100 GB) * 30 (dagen in een maand) = 380 DIU-uren

U kunt nu uitvoeringen van 30 activiteiten en 380 DIU-uren in ADF-prijscalculator instellen om een schatting te krijgen van uw maandelijkse factuur:

Prijscalculator voor kopiëren van S3

Inzicht in het volledige factureringsmodel voor Azure Data Factory

Azure Data Factory wordt uitgevoerd op Een Azure-infrastructuur die kosten maakt wanneer u nieuwe resources implementeert. Het is belangrijk om te begrijpen dat er andere extra infrastructuurkosten kunnen ontstaan.

Hoe er kosten in rekening worden gebracht voor Azure Data Factory

Azure Data Factory is een serverloze en elastische gegevensintegratieservice die is gebouwd voor cloudschaal. Er is geen berekening met een vaste grootte die u moet plannen voor piekbelasting; in plaats daarvan geeft u op hoeveel resources er op aanvraag per bewerking moeten worden toegewezen, zodat u de ETL-processen op een veel schaalbare manier kunt ontwerpen. Bovendien wordt ADF gefactureerd voor een abonnement op basis van verbruik, wat betekent dat u alleen betaalt voor wat u gebruikt.

Wanneer u Azure Data Factory-resources maakt of gebruikt, worden er mogelijk kosten in rekening gebracht voor de volgende meters:

  • Uitvoeringen van indelingsactiviteiten: er worden kosten in rekening gebracht op basis van het aantal uitvoeringen van activiteit.
  • Data-Integratie-eenheidsuren (DIU): voor kopieeractiviteiten die worden uitgevoerd in Azure Integration Runtime, worden er kosten in rekening gebracht op basis van het aantal gebruikte DIU's en de uitvoeringsduur.
  • vCore-uren: voor de uitvoering en foutopsporing van de gegevensstroom worden kosten in rekening gebracht op basis van het rekentype, het aantal vCores en de uitvoeringsduur.

Aan het einde van de factureringscyclus worden de kosten voor elke meter bij elkaar opgeteld. Uw factuur of factuur toont een sectie voor alle Azure Data Factory-kosten. Er is een afzonderlijk regelitem voor elke meter.

Andere kosten die kunnen worden opgebouwd met Azure Data Factory

Wanneer u resources voor Azure Data Factory (ADF) maakt, worden ook resources voor andere Azure-services gemaakt. Deze omvatten:

  • Uitvoering van pijplijnactiviteit
  • Uitvoering van externe pijplijnactiviteit
  • Maken/bewerken/ophalen/bewaken van data factory-artefacten
  • Duur van SSIS Integration Runtime (IR) op basis van het exemplaartype en de duur

Notitie

U kunt dezelfde tag toewijzen aan uw ADF- en andere Azure-resources en deze in dezelfde categorie plaatsen om hun geconsolideerde facturering weer te geven. De ADF-tag wordt overgenomen door alle SSIS IRs erin. Als u de ADF-tag wijzigt, moet u alle SSIS IRs erin stoppen en opnieuw starten om de nieuwe tag over te nemen. Zie de sectie SSIS IR opnieuw configureren.

Azure-vooruitbetaling gebruiken met Azure Data Factory

U kunt betalen voor Azure Data Factory-kosten met uw Azure-vooruitbetalingstegoed. U kunt echter geen Azure-vooruitbetalingstegoed gebruiken om te betalen voor kosten voor producten en services van derden, inclusief die van Azure Marketplace.

Kosten bewaken

Azure Data Factory-kosten kunnen worden bewaakt op het niveau van de factory, pijplijn, pijplijnuitvoering en activiteitsuitvoering.

Kosten op fabrieksniveau bewaken met Kostenanalyse

Wanneer u Azure-resources gebruikt met Data Factory, worden er kosten in rekening gebracht. De kosten voor azure-resourcegebruikseenheden variëren per tijdsinterval (seconden, minuten, uren en dagen) of per eenheidsgebruik (bytes, megabytes, enzovoort).) Zodra het data factory-gebruik begint, worden er kosten gemaakt en kunt u de kosten in kostenanalyse bekijken.

Wanneer u kostenanalyse gebruikt, bekijkt u de kosten van Data Factory in grafieken en tabellen voor verschillende tijdsintervallen. Enkele voorbeelden zijn per dag, huidige en vorige maand en jaar. U kunt ook kosten weergeven op basis van budgetten en geraamde kosten. Als u overschakelt naar langere weergaven in de loop van de tijd, kunt u uitgaventrends identificeren. En u ziet waar overbesteding mogelijk is opgetreden. Als u budgetten hebt gemaakt, kunt u ook eenvoudig zien waar ze worden overschreden.

Data Factory-kosten weergeven in kostenanalyse:

  1. Meld u aan bij het Azure-portaal.
  2. Open het bereik in Azure Portal en selecteer Kostenanalyse in het menu. Ga bijvoorbeeld naar Abonnementen, selecteer een abonnement in de lijst en selecteer vervolgens Kostenanalyse in het menu. Selecteer Bereik om over te schakelen naar een ander bereik in kostenanalyse.
  3. Standaard worden de kosten voor services weergegeven in het eerste ringdiagram. Selecteer het gebied in de grafiek met het label Azure Data Factory v2.

De werkelijke maandelijkse kosten worden weergegeven wanneer u in eerste instantie kostenanalyse opent. Hier volgt een voorbeeld met alle maandelijkse gebruikskosten.

Voorbeeld van samengevoegde kosten voor een abonnement

  • Als u de kosten voor één service wilt beperken, zoals Data Factory, selecteert u Filter toevoegen en selecteert u vervolgens Servicenaam. Selecteer vervolgens Azure Data Factory v2.

Hier volgt een voorbeeld met de kosten voor alleen Data Factory.

Voorbeeld van samengevoegde kosten voor ServiceName

In het voorgaande voorbeeld ziet u de huidige kosten voor de service. Kosten per Azure-regio (locaties) en Data Factory-kosten per resourcegroep worden ook weergegeven. Hier kunt u zelf de kosten verkennen.

Kosten bewaken op pijplijnniveau met Kostenanalyse

In bepaalde gevallen wilt u mogelijk een gedetailleerde uitsplitsing van de kosten van bewerkingen binnen onze fabriek, bijvoorbeeld voor terugstortingsdoeleinden. De integratie van het Azure Billing Cost Analysis-platform , Data Factory kan de factureringskosten voor elke pijplijn scheiden. Door in azure Data Factory gedetailleerde factureringsrapportage voor een fabriek te kiezen , kunt u beter begrijpen hoeveel kosten voor elke pijplijn u kost, binnen de bovengenoemde factory.

U moet zich aanmelden voor elke fabriek waarvoor u gedetailleerde facturering wilt. Gedetailleerde factureringsfunctie per pijplijn inschakelen:

  1. Ga naar de Azure Data Factory-portal
  2. Selecteer op het tabblad Beheren de instelling Factory in de sectie Algemeen
  3. Selecteer Factureringsrapport weergeven per pijplijn
  4. De wijziging publiceren

Schermopname van de stappen voor het inschakelen van de factureringsfunctie per pijplijn.

Notitie

De gedetailleerde factureringsinstellingen voor pijplijnen zijn niet opgenomen in de geëxporteerde ARM-sjablonen uit uw fabriek. Dit betekent dat CI/CD (Continuous Integration and Delivery) het factureringsgedrag voor de fabriek niet overschrijft. Hiermee kunt u verschillende factureringsgedrag instellen voor ontwikkelings-, test- en productiefabrieken.

Zodra de functie is ingeschakeld, heeft elke pijplijn een afzonderlijke vermelding in ons factureringsrapport: het laat precies zien hoeveel elke pijplijn kost, in het geselecteerde tijdsinterval. Hiermee kunt u uitgaventrends identificeren en eventuele overschrijdingen opmerken.

Schermopname van een voorbeeld met gedetailleerde kosten voor een pijplijn.

Met behulp van de hulpmiddelen voor grafieken van Cost Analysis krijgt u vergelijkbare grafieken en trendslijnen zoals hierboven wordt weergegeven, maar voor afzonderlijke pijplijnen. U krijgt ook de overzichtsweergave op fabrieksnaam, omdat de naam van de fabriek is opgenomen in het factureringsrapport, zodat u waar nodig kunt filteren.

De wijziging is alleen van invloed op de wijze waarop facturen in de toekomst worden verzonden en verandert niet de eerdere kosten. Geef enige tijd op voordat de wijziging in het factureringsrapport wordt ingevuld: meestal wordt de wijziging binnen 1 dag weerspiegeld.

Waarschuwing

Door de instelling per facturering te selecteren, is er één vermelding voor elke pijplijn in uw fabriek. Houd er vooral rekening mee dat als u te veel pijplijnen in de fabriek hebt, omdat het uw factureringsrapport aanzienlijk langer en ingewikkelder kan maken.

Beperkingen

Hieronder vindt u bekende beperkingen van factureringsfuncties per pijplijn. Deze factureringsmeters zullen zich niet onder de pijplijn bevinden die deze draait, maar zullen in plaats daarvan onder een terugvalregelitem voor uw fabriek worden opgeslagen.

Verbruik bewaken op pijplijnuitvoeringsniveau in Azure Data Factory

Afhankelijk van de typen activiteiten die u in uw pijplijn hebt, hoeveel gegevens u verplaatst en transformeert, en de complexiteit van de transformatie, draait het uitvoeren van een pijplijn verschillende factureringsmeters in Azure Data Factory.

U kunt de hoeveelheid verbruik voor verschillende meters voor afzonderlijke pijplijnuitvoeringen bekijken in de gebruikerservaring van Azure Data Factory. Als u de bewakingservaring wilt openen, selecteert u de tegel Controleren en beheren op de blade Data Factory van Azure Portal. Als u al in de ADF UX bent, selecteert u het pictogram Monitor in de linkerzijbalk. De standaardbewakingsweergave is een lijst met pijplijnuitvoeringen.

Als u op de knop Verbruik naast de naam van de pijplijn klikt, wordt een pop-upvenster weergegeven met het verbruik voor de pijplijnuitvoering die is samengevoegd voor alle activiteiten in de pijplijn.

Verbruik van pijplijnuitvoering

Details van pijplijnverbruik

In de verbruiksweergave voor pijplijnuitvoeringen ziet u de hoeveelheid die wordt verbruikt voor elke ADF-meter voor de specifieke pijplijnuitvoering, maar wordt de werkelijke prijs niet weergegeven, omdat het bedrag dat aan u wordt gefactureerd, afhankelijk is van het type Azure-account dat u hebt en het type valuta dat wordt gebruikt. Zie voor de volledige lijst met ondersteunde accounttypen Gegevens van Azure Cost Management begrijpen.

Verbruik bewaken op activiteitsniveau in Azure Data Factory

Zodra u het geaggregeerde verbruik op pijplijnuitvoeringsniveau begrijpt, zijn er scenario's waarin u verder moet inzoomen en identificeren welke de duurste activiteit binnen de pijplijn is.

Als u het verbruik op activiteitenuitvoeringsniveau wilt zien, gaat u naar de gebruikersinterface van uw data factory Author & Monitor . Selecteer op het tabblad Controleren waar u een lijst met pijplijnuitvoeringen ziet, de koppeling naar de naam van de pijplijn om toegang te krijgen tot de lijst met activiteitsuitvoeringen in de pijplijnuitvoering. Selecteer op de knop Uitvoer naast de naam van de activiteit en zoek naar de eigenschap billableDuration in de JSON-uitvoer:

Hier volgt een voorbeeld uit een uitvoering van een kopieeractiviteit:

Uitvoer kopiëren

En hier volgt een voorbeeld uit een toewijzings-Gegevensstroom-activiteituitvoering:

Uitvoer van gegevensstroom

Budgetten maken

U kunt budgetten maken om kosten te beheren en waarschuwingen te maken waarmee belanghebbenden automatisch worden geïnformeerd over afwijkende uitgaven en het risico om teveel uit te geven. Waarschuwingen zijn gebaseerd op de vergelijking tussen uitgaven en drempelwaarden voor budgetten en kosten. Budgetten en waarschuwingen worden gemaakt voor Azure-abonnementen en -resourcegroepen, zodat ze nuttig zijn als onderdeel van een algehele strategie voor kostenbewaking.

Budgetten kunnen worden gemaakt met filters voor specifieke resources of services in Azure als u meer granulariteit in uw bewaking wilt. Filters zorgen ervoor dat u niet per ongeluk nieuwe resources maakt die u extra geld kosten. Zie Groeps- en filteropties voor meer informatie over de filteropties die beschikbaar zijn wanneer u een budget maakt.

Kostengegevens exporteren

U kunt uw kostengegevens ook exporteren naar ene opslagaccount. Dit is handig wanneer u of anderen andere gegevensanalyses voor kosten wilt uitvoeren. Financiële teams kunnen bijvoorbeeld de gegevens analyseren met Excel of Power BI. U kunt uw kosten exporteren volgens een dagelijks, wekelijks of maandelijks schema en een aangepast datumbereik instellen. Kostengegevens exporteren is de aanbevolen manier om kostengegevenssets op te halen.

Gerelateerde inhoud