Plánování správy nákladů na Azure Data Factory

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Tento článek popisuje, jak plánujete a spravujete náklady na Azure Data Factory.

Nejprve na začátku projektu ETL použijete kombinaci kalkulaček pro spotřebu a ceny za jednotlivé kanály v rámci Azure, abyste mohli naplánovat náklady Azure Data Factory dříve, než přidáte jakékoli prostředky pro službu k odhadu nákladů. Při přidávání Azure prostředků zkontrolujte odhadované náklady. Jakmile začnete používat Azure Data Factory prostředky, nastavte rozpočty a monitorujte náklady pomocí funkcí služby Cost Management. Můžete také zkontrolovat předpokládané náklady a identifikovat trendy útraty a identifikovat oblasti, ve kterých chcete jednat. Náklady na Azure Data Factory představují jenom část měsíčních nákladů na faktuře za Azure. Všimněte si, že tento článek vysvětluje, jak plánovat a spravovat náklady pro datovou továrnu. Účtují se vám všechny Azure služby a prostředky používané ve vašem předplatném Azure, včetně služeb třetích stran.

Požadavky

Analýza nákladů ve službě Cost Management podporuje většinu typů účtů Azure, ale ne všechny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management. Pokud chcete zobrazit data o nákladech, potřebujete alespoň přístup pro čtení pro účet Azure. Informace o přiřazování přístupu k datům Správa nákladů v Azure najdete v tématu Přiřazení přístupu k datům.

Odhad nákladů před použitím Azure Data Factory

Pomocí cenové kalkulačky ADF získáte odhad nákladů na provoz úloh ETL v Azure Data Factory. Pokud chcete použít kalkulačku, musíte zadat podrobnosti, jako je počet spuštění aktivit, počet hodin jednotek integrace dat, typ výpočetních prostředků používaných pro Tok dat, počet jader, počet instancí, doba trvání provádění atd.

Jednou z nejčastějších otázek cenové kalkulačky je to, jaké hodnoty se mají použít jako vstupy. Během fáze testování konceptu můžete provádět zkušební běhy pomocí ukázkových datových sad, abyste porozuměli spotřebě různých měřičů ADF. Potom na základě spotřeby ukázkové datové sady můžete promítnou spotřebu pro úplnou datovou sadu a provozní plán.

Poznámka:

Ceny použité v tomto příkladu jsou hypotetické a nemají za cíl znamenat skutečné ceny.

Řekněme například, že potřebujete každý den přesunout 1 TB dat z AWS S3 na Azure Data Lake Gen2. Můžete provést POC přesunu 100 GB dat, abyste změřili propustnost příjmu dat a porozuměli odpovídající spotřebě fakturace.

Zde je ukázka podrobností běhu kopírovací aktivity (skutečné výsledky se mohou lišit v závislosti na tvaru konkrétní datové sady, rychlosti sítě, limitech pro výchozí data na účtu S3, limitech pro příchozí data na ADLS Gen2 a dalších faktorech).

Spuštění příkazu kopírování S3

Pomocí monitorování spotřeby na úrovni spuštění kanálu můžete zobrazit odpovídající množství spotřeby měřiče přesunu dat:

Spotřeba kanálu kopírování S3

Celkový počet hodin DIU potřebný k přenosu 1 TB každý den po celý měsíc je:

1,2667 (DIU-hours) * (1 TB / 100 GB) * 30 (dny v měsíci) = 380 HODIN DIU

Nyní můžete do cenové kalkulačky ADF vložit 30 spuštění aktivit a 380 DIU-hodin, abyste získali odhad své měsíční faktury.

Cenová kalkulačka kopírování S3

Vysvětlení úplného fakturačního modelu pro Azure Data Factory

Azure Data Factory běží na infrastruktuře Azure, která při nasazování nových prostředků započítává náklady. Je důležité si uvědomit, že další dodatečné náklady na infrastrukturu můžou narůstat.

Jak se vám účtují poplatky za Azure Data Factory

Azure Data Factory je bezserverová služba pro integraci elastických dat vytvořená pro cloudové škálování. Není k dispozici výpočetní prostředky s pevnou velikostí, které potřebujete naplánovat na zatížení ve špičce; Místo toho určíte, kolik prostředků se má přidělit na vyžádání na operaci, což umožňuje navrhovat procesy ETL mnohem škálovatelným způsobem. ADF se navíc účtuje podle plánu založeného na spotřebě, což znamená, že platíte jenom za to, co používáte.

Při vytváření nebo používání prostředků Azure Data Factory se vám můžou účtovat následující poplatky:

  • Orchestraci aktivit – účtuje se vám za ni podle počtu spuštěných aktivit.
  • Hodiny jednotek integrace dat (DIU) – u aktivit kopírování spuštěných na Azure Integration Runtime se vám budou účtovat poplatky podle počtu využitých jednotek DIU a doby trvání provádění.
  • Hodiny virtuálních jader – pro spouštění a ladění toku dat se účtují poplatky na základě typu výpočetního výkonu, počtu virtuálních jader a doby trvání provádění.

Na konci fakturačního období se vyúčtují poplatky za jednotlivé měřiče. Na vaší faktuře je uvedena část pro všechny náklady Azure Data Factory. Každý měřič je na samostatném řádku.

Další náklady, které by mohly narůstat s Azure Data Factory

Při vytváření prostředků pro Azure Data Factory (ADF) se vytvoří také prostředky pro jiné služby Azure. Patří sem:

  • Spuštění aktivity kanálu
  • Spuštění aktivity externího potrubí
  • Vytváření, úprava, získávání a monitorování artefaktů datové továrny
  • Doba trvání služby SSIS Integration Runtime (IR) na základě typu instance a doby trvání

Poznámka:

Stejnou značku můžete přiřadit ke službě ADF a dalším prostředkům Azure tak, že je umístíte do stejné kategorie a zobrazí se jejich konsolidovaná fakturace. Značka ADF bude zděděna všemi SSIS IRy v něm. Pokud změníte značku ADF, je třeba zastavit a restartovat všechna prostředí SSIS IR, aby novou značku zdědila, viz část Změna konfigurace prostředí SSIS IR.

Použití předplatného Azure s Azure Data Factory

S kreditem Azure předplatného můžete platit poplatky za Azure Data Factory. K úhradě poplatků za produkty a služby třetích stran, včetně těch z Azure Marketplace, ale nemůžete použít Azure kredit zálohy.

Monitorování nákladů

Azure Data Factory náklady je možné monitorovat na úrovni továrny, datového kanálu, běhu datového kanálu a běhu aktivity.

Monitorování nákladů na úrovni továrny pomocí analýzy nákladů

Při používání Azure prostředků se službou Data Factory se účtují náklady. Azure jednotkové náklady na využití prostředků se liší podle časových intervalů (sekund, minut, hodin a dnů) nebo podle využití jednotek (bajty, megabajty atd.). Jakmile se využití služby Data Factory spustí, budou se vám účtovat náklady a náklady se zobrazí v analýze cost.

Když používáte analýzu nákladů, zobrazíte náklady služby Data Factory v grafech a tabulkách pro různé časové intervaly. Příklady jsou podle dne, aktuálního a předchozího měsíce a roku. Také zobrazíte náklady v porovnání s rozpočty a očekávané náklady. Přechodem na delší zobrazení v průběhu času vám může pomoct identifikovat výdajové trendy. A uvidíte, kde mohlo dojít k nadměrným výdajům. Pokud jste vytvořili rozpočty, můžete také snadno zjistit, kde jsou překročeny.

Zobrazení nákladů na službu Data Factory v analýze nákladů:

  1. Přihlaste se k portálu Azure.
  2. Otevřete obor na portálu Azure a v nabídce vyberte Analýza nákladů. Přejděte například na Předplatná, vyberte předplatné ze seznamu a pak v nabídce vyberte Analýza nákladů. Vyberte Rozsah pro přepnutí na jiný rozsah v analýze nákladů.
  3. Ve výchozím nastavení se náklady na služby zobrazují v prvním prstencovém grafu. Vyberte oblast v grafu označeném Azure Data Factory v2.

Skutečné měsíční náklady se zobrazí při počáteční otevřené analýze nákladů. Tady je příklad zobrazující všechny měsíční náklady na využití.

Příklad znázorňující kumulované náklady na předplatné

  • Pokud chcete zúžit náklady na jednu službu, jako je Data Factory, vyberte Přidat filtr a pak vyberte Název služby. Pak vyberte Azure Data Factory v2.

Tady je příklad znázorňující náklady jenom pro službu Data Factory.

Příklad znázorňující kumulované náklady na ServiceName

V předchozím příkladu vidíte aktuální náklady na službu. Zobrazují se také náklady podle oblastí Azure (umístění) a nákladů na Data Factory podle skupiny prostředků. Odsud můžete prozkoumat náklady sami.

Monitorování nákladů na úrovni pipeline s pomocí analýzy nákladů

V některých případech můžete chtít podrobnou rozpis nákladů na provoz v rámci naší továrny, například pro účely vrácení peněz. Integrací platformy pro analýzu nákladů Azure fakturace může služba Data Factory oddělit fakturační poplatky pro každé potrubí. Díky zapojení se do podrobného vykazování fakturace pro Azure Data Factory můžete lépe pochopit, kolik vás stojí každý datový tok v rámci této továrny.

Musíte se rozhodnout pro každou továrnu, pro kterou chcete podrobnou fakturaci. Pokud chcete zapnout podrobnou funkci fakturace podle kanálu,

  1. Přejít na portál Azure Data Factory
  2. V záložce Spravovat vyberte Nastavení továrny v části Obecné.
  3. Zvolte zobrazení sestavy fakturace podle pipeline
  4. Publikování změny

Snímek obrazovky s postupem povolení funkce fakturace na kanálovou bázi

Poznámka:

Podrobné nastavení fakturace v kanálu není součástí exportovaných šablon ARM z vaší fabriky. To znamená, že kontinuální integrace a doručování (CI/CD) nepřepíše chování fakturace pro továrnu. To vám umožní nastavit různá chování fakturace pro vývojové, testovací a produkční továrny.

Jakmile je tato funkce povolená, bude mít každý kanál v sestavě fakturace samostatnou položku: Zobrazuje přesně , kolik stojí každý kanál ve vybraném časovém intervalu. Umožňuje identifikovat trendy útraty a zaznamenat nadměrné výdaje, pokud k nějaké došlo.

Snímek obrazovky ukazuje příklad podrobných nákladů na potrubí.

Pomocí nástrojů pro grafy analýzy nákladů získáte podobné grafy a trendy, jak je znázorněno výše, ale pro jednotlivé kanály. Souhrnné zobrazení získáte také podle názvu továrny, protože název továrny je součástí sestavy fakturace, což umožňuje správné filtrování v případě potřeby.

Změna má vliv jenom na to, jak se faktury generují dál a nemění minulé poplatky. Než se změna naplní sestavou fakturace, dejte prosím nějaký čas: obvykle se tato změna projeví do 1 dne.

Upozorňující

Pokud se rozhodnete pro nastavení na fakturaci podle jednotlivých položek, bude v každém případě pro každou linku ve vaší továrně jedna záznam. Mějte na paměti obzvlášť, pokud máte v továrně nadměrné množství potrubí, protože to může výrazně prodloužit a zkomplikovat sestavu fakturace.

Omezení

Níže jsou známá omezení pro funkce fakturace podle pipeline. Tyto měřiče fakturace se nezařadí pod kanál, který je roztáčí, ale místo toho se zařadí pod náhradní položku pro vaši továrnu.

Monitorování spotřeby na úrovni běhu kanálu v Azure Data Factory

V závislosti na typech aktivit, které máte ve svém datovém toku, kolik dat přesouváte a transformujete, a složitosti transformací, provádění datového toku v Azure Data Factory aktivuje různé fakturační metriky.

Množství spotřeby různých měřidel pro jednotlivé běhy kanálu můžete zobrazit v uživatelském prostředí Azure Data Factory. Pokud chcete otevřít prostředí monitorování, vyberte dlaždici Monitor & Spravovat na panelu služby datové továrny v portálu Azure. Pokud už jste v uživatelském prostředí ADF, vyberte na levém bočním panelu ikonu Monitorování . Výchozí zobrazení monitorování je seznam spuštění kanálu.

Kliknutím na tlačítko Spotřeba vedle názvu potrubí se zobrazí vyskakovací okno, které zobrazuje spotřebu za běh potrubí agregovanou napříč všemi aktivitami v potrubí.

Spotřeba spuštění kanálu

Podrobnosti o spotřebě pipeline

Zobrazení spotřeby spuštění kanálu zobrazuje množství spotřebované pro každý měřič ADF pro konkrétní spuštění kanálu, ale nezobrazuje skutečnou cenu, protože částka účtovaná vám je závislá na typu účtu Azure, který máte, a na typu použité měny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management.

Monitorování spotřeby na úrovni spuštění aktivity v Azure Data Factory

Jakmile porozumíte agregované spotřebě na úrovni spuštění kanálu, existují scénáře, ve kterých je potřeba přejít k podrobnostem a zjistit, která z nich je nejnákladnější aktivita v rámci kanálu.

Pokud chcete zobrazit spotřebu na úrovni spuštění aktivity, přejděte do uživatelského rozhraní datové továrny Vytváření a monitorování. Na kartě Monitorování, kde vidíte seznam spuštění kanálu, vyberte odkaz na název kanálu pro přístup k seznamu spuštění aktivit v spuštění kanálu. Vyberte tlačítko Výstup vedle názvu aktivity a ve výstupu JSON vyhledejte vlastnost billableDuration:

Tady je ukázka výsledku z aktivity kopírování:

Kopírování výstupu

Tady je ukázka spuštění aktivity Mapování Tok dat:

Výstup toku dat

Tvorba rozpočtů

Pro účely řízení nákladů můžete vytvořit rozpočty a nastavit upozornění, která účastníky automaticky upozorňují na anomálie a nebezpečí nadměrných výdajů. Upozornění jsou založena na porovnání útraty s rozpočtem a prahovými hodnotami nákladů. Rozpočty a upozornění se vytvářejí pro předplatná Azure a skupiny prostředků, takže jsou užitečné jako součást celkové strategie monitorování nákladů.

Rozpočty je možné vytvořit pomocí filtrů pro konkrétní prostředky nebo služby v Azure, pokud chcete mít v monitorování větší členitost. Filtry pomáhají zajistit, že nechtěně nevytváříte nové prostředky, které by vás stály více peněz. Další informace o možnostech filtru, které jsou k dispozici při vytváření rozpočtu, najdete v tématu Možnosti skupiny a filtru.

Export nákladových dat

Nákladová data můžete také exportovat do účtu úložiště. To je užitečné v případě, že potřebujete či ostatní provádět další analýzu nákladových dat. Finanční týmy mohou například analyzovat data pomocí Excel nebo Power BI. Náklady můžete exportovat denně, týdně nebo měsíčně a nastavit vlastní rozsah kalendářních dat. Export nákladových dat je doporučený způsob získání datových sad nákladů.

Související obsah

  • Last updated on