Planera för att hantera kostnader för Azure Data Factory

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Den här artikeln beskriver hur du planerar för och hanterar kostnader för Azure Data Factory.

Först, i början av ETL-projektet, använder du en kombination av Azure-priser och förbrukning per pipeline och priskalkylatorer för att planera för Azure Data Factory-kostnader innan du lägger till några resurser för tjänsten för att beräkna kostnaderna. Granska sedan de uppskattade kostnaderna när du lägger till Azure-resurser. När du har börjat använda Azure Data Factory-resurser använder du Cost Management-funktioner för att ange budgetar och övervaka kostnader. Du kan också granska prognostiserade kostnader och identifiera utgiftstrender för att identifiera områden där du kanske vill agera. Kostnader för Azure Data Factory är bara en del av de månatliga kostnaderna i din Azure-faktura. Observera att den här artikeln bara förklarar hur du planerar för och hanterar kostnader för datafabriken. Du debiteras för alla Azure-tjänster och resurser som används i din Azure-prenumeration, inklusive tjänster från tredje part.

Förutsättningar

Kostnadsanalys i Cost Management stöder de flesta Azure-kontotyper, men inte alla. Om du vill se hela listan med kontotyper som stöds kan du läsa Förstå Cost Management-data. Om du vill visa kostnadsdata behöver du minst läsbehörighet för ett Azure-konto. Mer information om hur du får åtkomst till Azure Cost Management finns i Tilldela åtkomst till data.

Beräkna kostnader innan du använder Azure Data Factory

Använd priskalkylatorn för ADF för att få en uppskattning av kostnaden för att köra din ETL-arbetsbelastning i Azure Data Factory. Om du vill använda kalkylatorn måste du ange information som antal aktivitetskörningar, antal timmar för dataintegreringsenhet, typ av beräkning som används för dataflöde, kärnantal, antal instanser, körningstid osv.

En av de vanliga frågorna för priskalkylatorn är vilka värden som ska användas som indata. Under koncepttestfasen kan du utföra utvärderingskörningar med hjälp av exempeldatauppsättningar för att förstå förbrukningen för olika ADF-mätare. Baserat på förbrukningen för exempeldatauppsättningen kan du sedan beräkna förbrukningen för den fullständiga datamängden och driftschemat.

Kommentar

Priserna som används i det här exemplet nedan är hypotetiska och är inte avsedda att innebära faktisk prissättning.

Anta till exempel att du måste flytta 1 TB data dagligen från AWS S3 till Azure Data Lake Gen2. Du kan utföra POC för att flytta 100 GB data för att mäta datainmatningens dataflöde och förstå motsvarande faktureringsförbrukning.

Här är en exempelinformation om kopieringsaktivitetskörning (din faktiska körsträcka varierar beroende på formen på din specifika datauppsättning, nätverkshastigheter, utgående gränser för S3-konto, ingressgränser för ADLS Gen2 och andra faktorer).

Genom att använda förbrukningsövervakningen på pipelinekörningsnivå kan du se motsvarande förbrukningsantal för dataförflyttningsmätare:

Därför är det totala antalet DIU-timmar det tar att flytta 1 TB per dag under hela månaden:

1,2667 (DIU-timmar) * (1 TB / 100 GB) * 30 (dagar i månaden) = 380 DIU-timmar

Nu kan du ansluta 30 aktivitetskörningar och 380 DIU-timmar till priskalkylatorn för ADF för att få en uppskattning av din månadsfaktura:

Förstå den fullständiga faktureringsmodellen för Azure Data Factory

Azure Data Factory körs på Azure-infrastruktur som medför kostnader när du distribuerar nya resurser. Det är viktigt att förstå att andra extra infrastrukturkostnader kan uppstå.

Så här debiteras du för Azure Data Factory

Azure Data Factory är en serverlös och elastisk dataintegreringstjänst som skapats för molnskala. Det finns ingen beräkning med fast storlek som du behöver planera för högsta belastning. i stället anger du hur mycket resurs som ska allokeras på begäran per åtgärd, vilket gör att du kan utforma ETL-processerna på ett mycket mer skalbart sätt. Dessutom debiteras ADF enligt en förbrukningsbaserad plan, vilket innebär att du bara betalar för det du använder.

När du skapar eller använder Azure Data Factory-resurser kan du debiteras för följande mätare:

• Orkestreringsaktivitetskörningar – Du debiteras för det baserat på antalet aktivitetskörningar som orkestrera.
• Dataintegreringsenhetstimmar (DIU) – För kopieringsaktiviteter som körs på Azure Integration Runtime debiteras du baserat på antalet DIU-användnings- och körningsvaraktighet.
• vCore Hours – för körning och felsökning av dataflöden debiteras du för baserat på beräkningstyp, antal virtuella kärnor och körningstid.

I slutet av faktureringsperioden summeras avgifterna för varje mätare. Din faktura visar ett avsnitt för alla Azure Data Factory-kostnader. Det finns ett separat radobjekt för varje mätare.

Andra kostnader som kan uppstå med Azure Data Factory

När du skapar resurser för Azure Data Factory (ADF) skapas även resurser för andra Azure-tjänster. De omfattar:

• Körning av pipelineaktivitet
• Körning av extern pipelineaktivitet
• Skapa/redigera/hämta/övervaka datafabriksartefakter
• Varaktighet för SSIS Integration Runtime (IR) baserat på instanstyp och varaktighet

Kommentar

Du kan tilldela samma tagg till din ADF och andra Azure-resurser och placera dem i samma kategori för att visa deras konsoliderade fakturering. ADF-taggen ärvs av alla SSIS IR:er i den. Om du ändrar ADF-taggen måste du stoppa och starta om alla SSIS IR:er i den för att de ska ärva den nya taggen. Mer information finns i Avsnittet Konfigurera om SSIS IR .

Använda Azure-förskottsbetalning med Azure Data Factory

Du kan betala för Azure Data Factory-avgifter med din Azure-förskottsbetalningskredit. Du kan däremot inte använda Azure-förskottsbetalningskrediter till att betala avgifter för produkter och tjänster från tredje part, inklusive de från Azure Marketplace.

Övervaka kostnader

Azure Data Factory-kostnader kan övervakas på fabriks-, pipeline-, pipeline-run- och aktivitetskörningsnivåer.

Övervaka kostnader på fabriksnivå med kostnadsanalys

När du använder Azure-resurser med Data Factory medför du kostnader. Kostnaderna för Resursanvändningsenhet i Azure varierar beroende på tidsintervall (sekunder, minuter, timmar och dagar) eller efter enhetsanvändning (byte, megabyte och så vidare.) Så snart Data Factory-användningen startar uppstår kostnader och du kan se kostnaderna i kostnadsanalysen.

När du använder kostnadsanalys visar du Data Factory-kostnader i diagram och tabeller för olika tidsintervall. Några exempel är efter dag, aktuell och föregående månad och år. Du kan också visa kostnader mot budgetar och prognostiserade kostnader. Om du byter till längre vyer över tid kan du identifiera utgiftstrender. Och du ser var överförbrukning kan ha inträffat. Om du har skapat budgetar kan du också enkelt se var de överskrids.

Så här visar du Data Factory-kostnader i kostnadsanalys:

1. Logga in på Azure-portalen.
2. Öppna omfånget i Azure-portalen och välj Kostnadsanalys på menyn. Du kan till exempel gå till Prenumerationer, välja en prenumeration i listan och sedan välja Kostnadsanalys på menyn. Välj Omfång för att växla till ett annat omfång i kostnadsanalys.
3. Som standard visas kostnaden för tjänster i det första ringdiagrammet. Välj området i diagrammet med etiketten Azure Data Factory v2.

Faktiska månatliga kostnader visas när du först öppnar kostnadsanalysen. Här är ett exempel som visar alla månatliga användningskostnader.

• Om du vill begränsa kostnaderna för en enskild tjänst, till exempel Data Factory, väljer du Lägg till filter och sedan Tjänstnamn. Välj sedan Azure Data Factory v2.

Här är ett exempel som visar kostnader för bara Data Factory.

I föregående exempel visas den aktuella kostnaden för tjänsten. Kostnader per Azure-regioner (platser) och Data Factory-kostnader per resursgrupp visas också. Härifrån kan du utforska kostnader på egen hand.

Övervaka kostnader på pipelinenivå med kostnadsanalys

I vissa fall kanske du vill ha en detaljerad uppdelning av driftkostnaderna i vår fabrik, till exempel för återbetalning av avgifter. Genom att integrera Azure Billing Cost Analysis-plattformen kan Data Factory separera faktureringsavgifter för varje pipeline. Genom att välja detaljerad faktureringsrapportering för en fabrik i Azure Data Factory kan du bättre förstå hur mycket varje pipeline kostar dig i den ovan nämnda fabriken.

Du måste välja varje fabrik som du vill ha detaljerad fakturering för. Aktivera detaljerad faktureringsfunktion per pipeline genom att

1. Gå till Azure Data Factory-portalen
2. Under fliken Hantera väljer du Fabriksinställning i avsnittet Allmänt
3. Välj Visa faktureringsrapport efter pipeline
4. Publicera ändringen

Kommentar

De detaljerade inställningarna för pipelinefakturering ingår inte i de exporterade ARM-mallarna från din fabrik. Det innebär att kontinuerlig integrering och leverans (CI/CD) inte skriver över faktureringsbeteenden för fabriken. På så sätt kan du ange olika faktureringsbeteenden för utvecklings-, test- och produktionsfabriker.

När funktionen är aktiverad har varje pipeline en separat post i vår faktureringsrapport: Den visar exakt hur mycket varje pipeline kostar i det valda tidsintervallet. Det gör att du kan identifiera utgiftstrender och lägga märke till överförbrukning om något har inträffat.

Med hjälp av diagramverktygen för Kostnadsanalys får du liknande diagram och trendlinjer som visas ovan, men för enskilda pipelines. Du får också sammanfattningsvyn efter fabriksnamn, eftersom fabriksnamnet ingår i faktureringsrapporten, vilket möjliggör korrekt filtrering när det behövs.

Ändringen påverkar bara hur fakturor genereras framöver och ändrar inte tidigare avgifter. Ge en stund innan ändringen fylls i i faktureringsrapporten: vanligtvis återspeglas ändringen inom 1 dag.

Varning

Genom att välja inställningen per fakturering finns det en post för varje pipeline i din fabrik. Var särskilt medveten om du har för många pipelines i fabriken, eftersom det kan förlänga och komplicera faktureringsrapporten avsevärt.

Begränsningar

Följande är kända begränsningar för faktureringsfunktioner per pipeline. Dessa faktureringsmätare filas inte under pipelinen som snurrar den, utan filas i stället under ett reservradsobjekt för din fabrik.

• Avgifter för Data Factory-åtgärder, inklusive läsning/skrivning och övervakning
• Avgifter för Azure Data Factory SQL Server Integration Services-noder (SSIS)
• Om du har TTL (Time to Live) konfigurerat för Azure Integration Runtime (Azure IR) kommer dataflödesaktiviteter som körs på dessa IR inte att arkiveras under enskilda pipelines.

Övervaka förbrukningen på pipelinekörningsnivå i Azure Data Factory

Beroende på vilka typer av aktiviteter du har i din pipeline, hur mycket data du flyttar och transformerar samt komplexiteten i omvandlingen, kommer körningen av en pipeline att snurra olika faktureringsmätare i Azure Data Factory.

Du kan visa mängden förbrukning för olika mätare för enskilda pipelinekörningar i Azure Data Factory-användarupplevelsen. Öppna övervakningsmiljön genom att välja panelen Övervaka och hantera på bladet datafabrik i Azure-portalen. Om du redan är i ADF UX väljer du på ikonen Övervaka i det vänstra sidofältet. Standardövervakningsvyn är en lista över pipelinekörningar.

Om du klickar på knappen Förbrukning bredvid pipelinenamnet visas ett popup-fönster som visar förbrukningen för pipelinekörningen aggregerad för alla aktiviteter i pipelinen.

Förbrukningsvyn för pipelinekörning visar hur mycket som förbrukas för varje ADF-mätare för den specifika pipelinekörningen, men det visar inte det faktiska priset som debiteras eftersom det belopp som faktureras till dig är beroende av vilken typ av Azure-konto du har och vilken typ av valuta som används. Om du vill se hela listan med kontotyper som stöds kan du läsa Förstå Cost Management-data.

Övervaka förbrukningen på aktivitetskörningsnivå i Azure Data Factory

När du förstår den aggregerade förbrukningen på pipelinekörningsnivå finns det scenarier där du behöver öka detaljnivån ytterligare och identifiera vilken som är den dyraste aktiviteten i pipelinen.

Om du vill se förbrukningen på aktivitetskörningsnivå går du till datafabrikens redigerings- och övervakningsgränssnitt . På fliken Övervaka där du ser en lista över pipelinekörningar väljer du länken pipelinenamn för att komma åt listan över aktivitetskörningar i pipelinekörningen. Välj knappen Utdata bredvid aktivitetsnamnet och leta efter egenskapen billableDuration i JSON-utdata:

Här är ett exempel från en kopieringsaktivitetskörning:

Och här är ett exempel från en aktivitetskörning för mappningsdataflöde:

Skapa budgetar

Du kan skapa budgetar för att hantera kostnader och skapa aviseringar som automatiskt meddelar mottagarna om kostnadsavvikelser och risker för överförbrukning. Aviseringar baseras på utgifter jämfört med budget- och kostnadströsklar. Budgetar och aviseringar skapas för Azure-prenumerationer och resursgrupper, så de är användbara som en del av en övergripande strategi för kostnadsövervakning.

Budgetar kan skapas med filter för specifika resurser eller tjänster i Azure om du vill ha mer detaljerad information i övervakningen. Filter hjälper dig att se till att du inte oavsiktligt skapar nya resurser som kostar extra pengar. Mer information om de filteralternativ som är tillgängliga när du skapar en budget finns i Grupp- och filteralternativ.

Exportera kostnadsdata

Du kan också exportera dina kostnadsdata till ett lagringskonto. Detta är användbart när du behöver eller andra för att utföra annan dataanalys för kostnader. Ekonomiteam kan till exempel analysera data med excel eller Power BI. Du kan exportera dina kostnader enligt ett dagligt, vecko- eller månadsschema och ange ett anpassat datumintervall. Att exportera kostnadsdata är det rekommenderade sättet att hämta kostnadsdatauppsättningar.

Relaterat innehåll

• Lär dig hur du optimerar din molninvestering med Azure Cost Management.
• Läs mer om att hantera kostnader med kostnadsanalys.
• Lär dig hur du förhindrar oväntade kostnader.
• Gå den guidade utbildningskursen för Cost Management .
• Prissidan för Azure Data Factory
• Förstå Azure Data Factory via exempel
• Priskalkylator för Azure Data Factory