Sdílet prostřednictvím

Plánování správy nákladů pro Azure Data Factory

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak plánujete a spravujete náklady na Azure Data Factory.

Nejprve na začátku projektu ETL použijete kombinaci cen Azure a cenových kalkulaček pro jednotlivé kanály a cenové kalkulačky, které vám pomůžou naplánovat náklady na Azure Data Factory, než přidáte jakékoli prostředky pro službu k odhadu nákladů. Při přidávání prostředků Azure si projděte odhadované náklady. Jakmile začnete používat prostředky služby Azure Data Factory, nastavte rozpočty a monitorujte náklady pomocí funkcí služby Cost Management. Můžete také zkontrolovat předpokládané náklady a identifikovat trendy útraty a identifikovat oblasti, ve kterých chcete jednat. Náklady na Azure Data Factory jsou jenom část měsíčních nákladů na faktuře za Azure. Všimněte si, že tento článek vysvětluje, jak plánovat a spravovat náklady pro datovou továrnu. Účtuje se vám všechny služby a prostředky Azure používané ve vašem předplatném Azure, včetně služeb třetích stran.

Požadavky

Analýza nákladů ve službě Cost Management podporuje většinu typů účtů Azure, ale ne všechny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management. Pokud chcete zobrazit data o nákladech, potřebujete alespoň přístup pro čtení pro účet Azure. Informace o přiřazování přístupu k datům služby Azure Cost Management najdete v článku Přiřazení přístupu k datům.

Odhad nákladů před použitím služby Azure Data Factory

Pomocí cenové kalkulačky ADF získáte odhad nákladů na provoz úloh ETL ve službě Azure Data Factory. Pokud chcete použít kalkulačku, musíte zadat podrobnosti, jako je počet spuštění aktivit, počet hodin jednotek integrace dat, typ výpočetních prostředků používaných pro Tok dat, počet jader, počet instancí, doba trvání provádění atd.

Jednou z nejčastějších otázek cenové kalkulačky je to, jaké hodnoty se mají použít jako vstupy. Během fáze testování konceptu můžete provádět zkušební běhy pomocí ukázkových datových sad, abyste porozuměli spotřebě různých měřičů ADF. Potom na základě spotřeby ukázkové datové sady můžete promítnou spotřebu pro úplnou datovou sadu a provozní plán.

Poznámka:

Ceny použité v tomto příkladu jsou hypotetické a nemají za cíl znamenat skutečné ceny.

Řekněme například, že potřebujete každý den přesunout 1 TB dat z AWS S3 do Azure Data Lake Gen2. Můžete provést POC přesunu 100 GB dat, abyste změřili propustnost příjmu dat a porozuměli odpovídající spotřebě fakturace.

Zde je ukázka podrobností běhu kopírovací aktivity (skutečné výsledky se mohou lišit v závislosti na tvaru konkrétní datové sady, rychlosti sítě, limitech pro výchozí data na účtu S3, limitech pro příchozí data na ADLS Gen2 a dalších faktorech).

Spuštění příkazu kopírování S3

Pomocí monitorování spotřeby na úrovni spuštění kanálu můžete zobrazit odpovídající množství spotřeby měřiče přesunu dat:

Spotřeba kanálu kopírování S3

Celkový počet hodin DIU potřebný k přenosu 1 TB každý den po celý měsíc je:

1,2667 (DIU-hours) * (1 TB / 100 GB) * 30 (dny v měsíci) = 380 HODIN DIU

Nyní můžete do cenové kalkulačky ADF vložit 30 spuštění aktivit a 380 DIU-hodin, abyste získali odhad své měsíční faktury.

Cenová kalkulačka kopírování S3

Vysvětlení úplného fakturačního modelu pro Azure Data Factory

Azure Data Factory běží na infrastruktuře Azure, na které při nasazování nových prostředků vznikají náklady. Je důležité si uvědomit, že další dodatečné náklady na infrastrukturu můžou narůstat.

Jak se vám účtují poplatky za Azure Data Factory

Azure Data Factory je bezserverová služba pro integraci elastických dat vytvořená pro cloudové škálování. Není k dispozici výpočetní prostředky s pevnou velikostí, které potřebujete naplánovat na zatížení ve špičce; Místo toho určíte, kolik prostředků se má přidělit na vyžádání na operaci, což umožňuje navrhovat procesy ETL mnohem škálovatelným způsobem. ADF se navíc účtuje podle plánu založeného na spotřebě, což znamená, že platíte jenom za to, co používáte.

Když vytváříte nebo používáte prostředky Azure Data Factory, může vám být účtováno za následující měřiče:

  • Orchestraci aktivit – účtuje se vám za ni podle počtu spuštěných aktivit.
  • hodiny jednotky pro integraci dat (DIU) – u aktivit kopírování spuštěných v Azure Integration Runtime se vám účtují poplatky na základě počtu využitých DIU a trvání provádění.
  • Hodiny virtuálních jader – pro spouštění a ladění toku dat se účtují poplatky na základě typu výpočetního výkonu, počtu virtuálních jader a doby trvání provádění.

Na konci fakturačního období se vyúčtují poplatky za jednotlivé měřiče. Vaše účtenka nebo faktura zobrazuje oddíl pro všechny náklady na Azure Data Factory. Každý měřič je na samostatném řádku.

Další náklady, které můžou vzniknout ve spojení se službou Azure Data Factory

Při vytváření prostředků pro Azure Data Factory (ADF) se vytvoří také prostředky pro ostatní služby Azure. Patří sem:

  • Spuštění aktivity kanálu
  • Spuštění aktivity externího potrubí
  • Vytváření, úprava, získávání a monitorování artefaktů datové továrny
  • Doba trvání prostředí SSIS Integration Runtime (IR) na základě typu a doby trvání instance

Poznámka:

Stejnou značku můžete přiřadit k ADF a dalším prostředkům Azure a umístit je do stejné kategorie, aby se zobrazila jejich konsolidovaná fakturace. Značka ADF bude zděděna všemi SSIS IRy v něm. Pokud změníte značku ADF, je třeba zastavit a restartovat všechna prostředí SSIS IR, aby novou značku zdědila, viz část Změna konfigurace prostředí SSIS IR.

Použití předplatného Azure se službou Azure Data Factory

Poplatky za Azure Data Factory lze zaplatit kreditem Azure předplatného. Kredit zálohy na Azure ale nejde použít k úhradě poplatků za produkty a služby jiných výrobců, včetně produktů a služeb z Azure Marketplace.

Monitorování nákladů

Náklady na Azure Data Factory jsou možné monitorovat na úrovni továrny, potrubí, spuštění potrubí a běhu aktivity.

Monitorování nákladů na úrovni továrny pomocí analýzy nákladů

Při používání prostředků Azure se službou Data Factory se vám účtují náklady. Náklady na jednotku využití prostředků Azure se liší podle časových intervalů (sekund, minut, hodin a dnů) nebo podle využití jednotek (bajty, megabajty atd.). Jakmile se data Factory začne používat, budou se účtovat náklady a náklady se zobrazí v analýze nákladů.

Když používáte analýzu nákladů, zobrazíte náklady služby Data Factory v grafech a tabulkách pro různé časové intervaly. Příklady jsou podle dne, aktuálního a předchozího měsíce a roku. Také zobrazíte náklady v porovnání s rozpočty a očekávané náklady. Přechodem na delší zobrazení v průběhu času vám může pomoct identifikovat výdajové trendy. A uvidíte, kde mohlo dojít k nadměrným výdajům. Pokud jste vytvořili rozpočty, můžete také snadno zjistit, kde jsou překročeny.

Zobrazení nákladů na službu Data Factory v analýze nákladů:

  1. Přihlaste se k portálu Azure.
  2. Otevřete obor na webu Azure Portal a v nabídce vyberte Analýza nákladů. Přejděte například na Předplatná, vyberte předplatné ze seznamu a pak v nabídce vyberte Analýza nákladů. Vyberte Rozsah pro přepnutí na jiný rozsah v analýze nákladů.
  3. Ve výchozím nastavení se náklady na služby zobrazují v prvním prstencovém grafu. Vyberte oblast v grafu s popiskem Azure Data Factory v2.

Skutečné měsíční náklady se zobrazí při počáteční otevřené analýze nákladů. Tady je příklad zobrazující všechny měsíční náklady na využití.

Příklad znázorňující kumulované náklady na předplatné

  • Pokud chcete zúžit náklady na jednu službu, jako je Data Factory, vyberte Přidat filtr a pak vyberte Název služby. Pak vyberte Azure Data Factory v2.

Tady je příklad znázorňující náklady jenom pro službu Data Factory.

Příklad znázorňující kumulované náklady na ServiceName

V předchozím příkladu vidíte aktuální náklady na službu. Zobrazují se také náklady podle oblastí Azure (umístění) a nákladů na službu Data Factory podle skupiny prostředků. Odsud můžete prozkoumat náklady sami.

Monitorování nákladů na úrovni pipeline s pomocí analýzy nákladů

V některých případech můžete chtít podrobnou rozpis nákladů na provoz v rámci naší továrny, například pro účely vrácení peněz. Integrace platformy analýzy nákladů na fakturaci Azure umožňuje službě Data Factory oddělit poplatky za fakturaci jednotlivých kanálů. Když se přihlásíte k podrobnému vykazování fakturace služby Azure Data Factory pro továrnu, můžete lépe pochopit, kolik stojí každý pipeline v rámci dané továrny.

Musíte se rozhodnout pro každou továrnu, pro kterou chcete podrobnou fakturaci. Pokud chcete zapnout podrobnou funkci fakturace podle kanálu,

  1. Přechod na portál Azure Data Factory
  2. V záložce Spravovat vyberte Nastavení továrny v části Obecné.
  3. Zvolte zobrazení sestavy fakturace podle pipeline
  4. Publikování změny

Snímek obrazovky s postupem povolení funkce fakturace na kanálovou bázi

Poznámka:

Podrobné nastavení fakturace v kanálu není součástí exportovaných šablon ARM z vaší fabriky. To znamená, že kontinuální integrace a doručování (CI/CD) nepřepíše chování fakturace pro továrnu. To vám umožní nastavit různá chování fakturace pro vývojové, testovací a produkční továrny.

Jakmile je tato funkce povolená, bude mít každý kanál v sestavě fakturace samostatnou položku: Zobrazuje přesně , kolik stojí každý kanál ve vybraném časovém intervalu. Umožňuje identifikovat trendy útraty a zaznamenat nadměrné výdaje, pokud k nějaké došlo.

Snímek obrazovky ukazuje příklad podrobných nákladů na potrubí.

Pomocí nástrojů pro grafy analýzy nákladů získáte podobné grafy a trendy, jak je znázorněno výše, ale pro jednotlivé kanály. Souhrnné zobrazení získáte také podle názvu továrny, protože název továrny je součástí sestavy fakturace, což umožňuje správné filtrování v případě potřeby.

Změna má vliv jenom na to, jak se faktury generují dál a nemění minulé poplatky. Než se změna naplní sestavou fakturace, dejte prosím nějaký čas: obvykle se tato změna projeví do 1 dne.

Upozorňující

Pokud se rozhodnete pro nastavení na fakturaci podle jednotlivých položek, bude v každém případě pro každou linku ve vaší továrně jedna záznam. Mějte na paměti obzvlášť, pokud máte v továrně nadměrné množství potrubí, protože to může výrazně prodloužit a zkomplikovat sestavu fakturace.

Omezení

Níže jsou známá omezení pro funkce fakturace podle pipeline. Tyto měřiče fakturace se nezařadí pod kanál, který je roztáčí, ale místo toho se zařadí pod náhradní položku pro vaši továrnu.

Monitorování spotřeby na úrovni spuštění kanálu ve službě Azure Data Factory

V závislosti na typech aktivit, které máte v rámci pipeline, množství dat, které přesouváte a transformujete, a složitosti transformace, bude spuštění pipeline v Azure Data Factory spouštět různé měřiče fakturace.

V uživatelském prostředí služby Azure Data Factory můžete zobrazit množství spotřeby různých měřičů pro jednotlivá spuštění kanálu. Pokud chcete otevřít prostředí monitorování, vyberte dlaždici Monitorování a správa v okně datové továrny na webu Azure Portal. Pokud už jste v uživatelském prostředí ADF, vyberte na levém bočním panelu ikonu Monitorování . Výchozí zobrazení monitorování je seznam spuštění kanálu.

Kliknutím na tlačítko Spotřeba vedle názvu potrubí se zobrazí vyskakovací okno, které zobrazuje spotřebu za běh potrubí agregovanou napříč všemi aktivitami v potrubí.

Spotřeba spuštění kanálu

Podrobnosti o spotřebě pipeline

Zobrazení spotřeby běhu kanálu ukazuje množství spotřebované pro každý ukazatel ADF u konkrétního běhu kanálu, ale nezobrazuje skutečnou účtovanou cenu, protože částka, kterou vám je účtována, závisí na typu účtu Azure, který máte, a na typu použité měny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management.

Monitorování spotřeby na úrovni spuštění aktivity ve službě Azure Data Factory

Jakmile porozumíte agregované spotřebě na úrovni spuštění kanálu, existují scénáře, ve kterých je potřeba přejít k podrobnostem a zjistit, která z nich je nejnákladnější aktivita v rámci kanálu.

Pokud chcete zobrazit spotřebu na úrovni spuštění aktivity, přejděte do uživatelského rozhraní datové továrny Vytváření a monitorování. Na kartě Monitorování, kde vidíte seznam spuštění kanálu, vyberte odkaz na název kanálu pro přístup k seznamu spuštění aktivit v spuštění kanálu. Vyberte tlačítko Výstup vedle názvu aktivity a ve výstupu JSON vyhledejte vlastnost billableDuration:

Tady je ukázka výsledku z aktivity kopírování:

Kopírování výstupu

Tady je ukázka spuštění aktivity Mapování Tok dat:

Výstup toku dat

Tvorba rozpočtů

Pro účely řízení nákladů můžete vytvořit rozpočty a nastavit upozornění, která účastníky automaticky upozorňují na anomálie a nebezpečí nadměrných výdajů. Upozornění jsou založena na porovnání útraty s rozpočtem a prahovými hodnotami nákladů. Rozpočty a upozornění se vytvářejí pro předplatná Azure a skupiny prostředků, takže jsou užitečné jako součást celkové strategie monitorování nákladů.

Rozpočty je možné vytvořit pomocí filtrů pro konkrétní prostředky nebo služby v Azure, pokud chcete mít v monitorování větší členitost. Filtry pomáhají zajistit, že nechtěně nevytváříte nové prostředky, které by vás stály více peněz. Další informace o možnostech filtru, které jsou k dispozici při vytváření rozpočtu, najdete v tématu Možnosti skupiny a filtru.

Export nákladových dat

Nákladová data můžete také exportovat do účtu úložiště. To je užitečné v případě, že potřebujete či ostatní provádět další analýzu nákladových dat. Finanční týmy můžou například analyzovat data pomocí Excelu nebo Power BI. Náklady můžete exportovat denně, týdně nebo měsíčně a nastavit vlastní rozsah kalendářních dat. Export nákladových dat je doporučený způsob získání datových sad nákladů.

Související obsah

  • Last updated on