Sdílet prostřednictvím

Plánování správy nákladů pro Azure Data Factory

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje, jak plánujete a spravujete náklady na Azure Data Factory.

Nejprve na začátku projektu ETL použijete kombinaci cen Azure a cenových kalkulaček pro jednotlivé kanály a cenové kalkulačky, které vám pomůžou naplánovat náklady na Azure Data Factory, než přidáte jakékoli prostředky pro službu k odhadu nákladů. Při přidávání prostředků Azure si projděte odhadované náklady. Jakmile začnete používat prostředky služby Azure Data Factory, nastavte rozpočty a monitorujte náklady pomocí funkcí služby Cost Management. Můžete také zkontrolovat předpokládané náklady a identifikovat trendy útraty a identifikovat oblasti, ve kterých chcete jednat. Náklady na Azure Data Factory jsou jenom část měsíčních nákladů na faktuře za Azure. Všimněte si, že tento článek vysvětluje, jak plánovat a spravovat náklady na datová továrna. Účtuje se vám všechny služby a prostředky Azure používané ve vašem předplatném Azure, včetně služeb třetích stran.

Požadavky

Analýza nákladů ve službě Cost Management podporuje většinu typů účtů Azure, ale ne všechny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management. Pokud chcete zobrazit data o nákladech, potřebujete alespoň přístup pro čtení pro účet Azure. Informace o přiřazování přístupu k datům služby Azure Cost Management najdete v článku Přiřazení přístupu k datům.

Odhad nákladů před použitím služby Azure Data Factory

Pomocí cenové kalkulačky ADF získáte odhad nákladů na provoz úloh ETL ve službě Azure Data Factory. Pokud chcete použít kalkulačku, musíte zadat podrobnosti, jako je počet spuštění aktivit, počet hodin jednotek integrace dat, typ výpočetních prostředků používaných pro Tok dat, počet jader, počet instancí, doba trvání provádění atd.

Jednou z nejčastějších otázek cenové kalkulačky je to, jaké hodnoty se mají použít jako vstupy. Během fáze testování konceptu můžete provádět zkušební běhy pomocí ukázkových datových sad, abyste porozuměli spotřebě různých měřičů ADF. Potom na základě spotřeby ukázkové datové sady můžete promítnou spotřebu pro úplnou datovou sadu a provozní plán.

Poznámka:

Ceny použité v tomto příkladu jsou hypotetické a nemají za cíl znamenat skutečné ceny.

Řekněme například, že potřebujete každý den přesunout 1 TB dat z AWS S3 do Azure Data Lake Gen2. Můžete provést POC přesunu 100 GB dat, abyste změřili propustnost příjmu dat a porozuměli odpovídající spotřebě fakturace.

Tady je příklad podrobností o spuštění aktivity kopírování (skutečné kilometry se budou lišit v závislosti na tvaru konkrétní datové sady, rychlosti sítě, limitů výchozího přenosu dat pro účet S3, omezení příchozího přenosu dat pro ADLS Gen2 a dalších faktorech).

Spuštění kopírování S3

Pomocí monitorování spotřeby na úrovni spuštění kanálu můžete zobrazit odpovídající množství spotřeby měřiče přesunu dat:

Spotřeba kanálu kopírování S3

Celkový počet hodin DIU tedy trvá přesunutí 1 TB za den za celý měsíc:

1,2667 (DIU-hours) * (1 TB / 100 GB) * 30 (dny v měsíci) = 380 HODIN DIU

Teď můžete do cenové kalkulačky ADF připojit 30 spuštění aktivit a 380 HODIN DIU, abyste získali odhad měsíční faktury:

Cenová kalkulačka kopírování S3

Vysvětlení úplného fakturačního modelu pro Azure Data Factory

Azure Data Factory běží na infrastruktuře Azure, která při nasazování nových prostředků nabíhá náklady. Je důležité si uvědomit, že další dodatečné náklady na infrastrukturu můžou narůstat.

Jak se vám účtují poplatky za Azure Data Factory

Azure Data Factory je bezserverová služba pro integraci elastických dat vytvořená pro cloudové škálování. Není k dispozici výpočetní prostředky s pevnou velikostí, které potřebujete naplánovat na zatížení ve špičce; Místo toho určíte, kolik prostředků se má přidělit na vyžádání na operaci, což umožňuje navrhovat procesy ETL mnohem škálovatelným způsobem. ADF se navíc účtuje podle plánu založeného na spotřebě, což znamená, že platíte jenom za to, co používáte.

Když vytváříte nebo používáte prostředky Azure Data Factory, můžou se vám účtovat následující měřiče:

  • Spuštění aktivit orchestrace – účtuje se vám za ně podle počtu orchestrovaných spuštění aktivit.
  • hodiny Integrace Dat jednotek (DIU) – u aktivit kopírování spuštěných v prostředí Azure Integration Runtime se vám účtují poplatky na základě počtu využitých jednotek a doby trvání provádění.
  • Hodiny virtuálních jader – pro spouštění a ladění toku dat se účtují poplatky na základě typu výpočetního výkonu, počtu virtuálních jader a doby trvání provádění.

Na konci fakturačního období se vyúčtují poplatky za jednotlivé měřiče. Faktura nebo faktura zobrazuje oddíl pro všechny náklady na Azure Data Factory. Každý měřič je na samostatné řádkové položce.

Další náklady, které můžou nabíhání služby Azure Data Factory

Při vytváření prostředků pro Azure Data Factory (ADF) se vytvoří také prostředky pro ostatní služby Azure. Patří sem:

  • Spuštění aktivity kanálu
  • Spuštění aktivity externího kanálu
  • Vytváření, úpravy, načítání/ monitorování artefaktů datové továrny
  • Doba trvání prostředí SSIS Integration Runtime (IR) na základě typu a doby trvání instance

Poznámka:

Stejnou značku můžete přiřadit k ADF a dalším prostředkům Azure a umístit je do stejné kategorie, aby se zobrazila jejich konsolidovaná fakturace. Značka ADF bude zděděna všemi vloženými službami SSIS IRS. Pokud změníte značku ADF, musíte zastavit a restartovat všechna oznámení SSIS, aby zdědila novou značku, viz část Změna konfigurace prostředí SSIS IR .

Použití zálohy na Azure se službou Azure Data Factory

Za poplatky za Azure Data Factory můžete zaplatit kreditem zálohy na Azure. Kredit zálohy na Azure ale nejde použít k úhradě poplatků za produkty a služby jiných výrobců, včetně produktů a služeb z Azure Marketplace.

Monitorování nákladů

Náklady na Službu Azure Data Factory je možné monitorovat na úrovni továrny, kanálu, spuštění kanálu a spuštění aktivit.

Monitorování nákladů na úrovni továrny pomocí analýzy nákladů

Při používání prostředků Azure se službou Data Factory se vám účtují náklady. Náklady na jednotku využití prostředků Azure se liší podle časových intervalů (sekund, minut, hodin a dnů) nebo podle využití jednotek (bajty, megabajty atd.). Jakmile se data Factory začne používat, budou se účtovat náklady a náklady se zobrazí v analýze nákladů.

Když používáte analýzu nákladů, zobrazíte náklady služby Data Factory v grafech a tabulkách pro různé časové intervaly. Příklady jsou podle dne, aktuálního a předchozího měsíce a roku. Zobrazíte také náklady na rozpočty a předpokládané náklady. Přechod na delší zobrazení v průběhu času vám může pomoct identifikovat trendy útraty. A uvidíte, kde mohlo dojít k nadměrnému překročení. Pokud jste vytvořili rozpočty, můžete také snadno zjistit, kde jsou překročeny.

Zobrazení nákladů na službu Data Factory v analýze nákladů:

  1. Přihlaste se k portálu Azure.
  2. Otevřete obor na webu Azure Portal a v nabídce vyberte Analýza nákladů. Přejděte například na Předplatná, vyberte předplatné ze seznamu a pak v nabídce vyberte Analýza nákladů. V analýze nákladů vyberte Obor , který se má přepnout na jiný rozsah.
  3. Ve výchozím nastavení se náklady na služby zobrazují v prvním prstencovém grafu. Vyberte oblast v grafu s popiskem Azure Data Factory v2.

Skutečné měsíční náklady se zobrazí při počáteční otevřené analýze nákladů. Tady je příklad zobrazující všechny měsíční náklady na využití.

Příklad znázorňující kumulované náklady na předplatné

  • Pokud chcete zúžit náklady na jednu službu, jako je Data Factory, vyberte Přidat filtr a pak vyberte Název služby. Pak vyberte Azure Data Factory v2.

Tady je příklad znázorňující náklady jenom pro službu Data Factory.

Příklad znázorňující kumulované náklady na ServiceName

V předchozím příkladu vidíte aktuální náklady na službu. Zobrazují se také náklady podle oblastí Azure (umístění) a nákladů na službu Data Factory podle skupiny prostředků. Odsud můžete prozkoumat náklady sami.

Monitorování nákladů na úrovni kanálu pomocí analýzy nákladů

V některých případech můžete chtít podrobnou rozpis nákladů na provoz v rámci naší továrny, například pro účely vrácení peněz. Integrace platformy analýzy nákladů na fakturaci Azure umožňuje službě Data Factory oddělit poplatky za fakturaci jednotlivých kanálů. Když se přihlásíte k podrobnému vykazování fakturace služby Azure Data Factory pro továrnu, můžete lépe pochopit, kolik stojí každý kanál v rámci výše uvedené továrny.

Musíte se rozhodnout pro každou továrnu, pro kterou chcete podrobnou fakturaci. Pokud chcete zapnout podrobnou funkci fakturace podle kanálu,

  1. Přechod na portál Azure Data Factory
  2. V části Spravovat vyberte Nastavení továrny v části Obecné.
  3. Výběr zobrazení sestavy fakturace podle kanálu
  4. Publikování změny

Snímek obrazovky s postupem povolení funkce fakturace kanálu

Poznámka:

Podrobné nastavení fakturace kanálu není součástí exportovaných šablon ARM z vaší továrny. To znamená, že kontinuální integrace a doručování (CI/CD) nepřepíše chování fakturace pro továrnu. To vám umožní nastavit různá chování fakturace pro vývojové, testovací a produkční továrny.

Jakmile je tato funkce povolená, bude mít každý kanál v sestavě fakturace samostatnou položku: Zobrazuje přesně , kolik stojí každý kanál ve vybraném časovém intervalu. Umožňuje identifikovat trendy útraty a zaznamenat nadměrné výdaje, pokud k nějaké došlo.

Snímek obrazovky s příkladem s podrobnými náklady na kanál

Pomocí nástrojů pro grafy analýzy nákladů získáte podobné grafy a trendy, jak je znázorněno výše, ale pro jednotlivé kanály. Souhrnné zobrazení získáte také podle názvu továrny, protože název továrny je součástí sestavy fakturace, což umožňuje správné filtrování v případě potřeby.

Změna má vliv jenom na to, jak se faktury generují dál a nemění minulé poplatky. Než se změna naplní sestavou fakturace, dejte prosím nějaký čas: obvykle se tato změna projeví do 1 dne.

Upozorňující

Když se přihlásíte k nastavení fakturace, pro každý kanál ve vaší továrně bude jedna položka. Mějte na paměti zejména v případě, že máte v továrně nadměrné množství kanálů, protože může výrazně prodloužit a komplikovat sestavu fakturace.

Omezení

Níže jsou známá omezení pro jednotlivé funkce fakturace kanálu. Tyto měřiče fakturace se pod kanálem, který ho roztáčí, ale místo toho se zařadí pod náhradní položku pro vaši továrnu.

Monitorování spotřeby na úrovni spuštění kanálu ve službě Azure Data Factory

V závislosti na typech aktivit, které máte v kanálu, množství dat, která přesouváte a transformujete, a složitost transformace se spuštěním kanálu změní různé měřiče fakturace ve službě Azure Data Factory.

V uživatelském prostředí služby Azure Data Factory můžete zobrazit množství spotřeby různých měřičů pro jednotlivá spuštění kanálu. Pokud chcete otevřít prostředí monitorování, vyberte dlaždici Monitorování a správa v okně datové továrny na webu Azure Portal. Pokud už jste v uživatelském prostředí ADF, vyberte na levém bočním panelu ikonu Monitorování . Výchozí zobrazení monitorování je seznam spuštění kanálu.

Kliknutím na tlačítko Consumption vedle názvu kanálu se zobrazí automaticky otevírané okno zobrazující využití spuštění kanálu agregované napříč všemi aktivitami v kanálu.

Spotřeba spuštění kanálu

Podrobnosti o spotřebě kanálu

Zobrazení spotřeby spuštění kanálu ukazuje množství spotřebované pro každý měřič ADF pro konkrétní spuštění kanálu, ale nezobrazuje skutečnou cenu, protože částka účtovaná vám je závislá na typu účtu Azure, který máte, a na typu použité měny. Úplný seznam podporovaných typů účtů si můžete prohlédnout v článku Vysvětlení dat služby Cost Management.

Monitorování spotřeby na úrovni spuštění aktivity ve službě Azure Data Factory

Jakmile porozumíte agregované spotřebě na úrovni spuštění kanálu, existují scénáře, ve kterých je potřeba přejít k podrobnostem a zjistit, která z nich je nejnákladnější aktivita v rámci kanálu.

Pokud chcete zobrazit spotřebu na úrovni spuštění aktivity, přejděte do uživatelského rozhraní pro vytváření a monitorování datové továrny. Na kartě Monitorování, kde vidíte seznam spuštění kanálu, vyberte odkaz na název kanálu pro přístup k seznamu spuštění aktivit v spuštění kanálu. Vyberte tlačítko Výstup vedle názvu aktivity a ve výstupu JSON vyhledejte fakturovatelnouduration vlastnost:

Tady je ukázka spuštění aktivity kopírování:

Kopírování výstupu

Tady je ukázka spuštění aktivity Mapování Tok dat:

Výstup toku dat

Tvorba rozpočtů

Pro účely řízení nákladů můžete vytvořit rozpočty a nastavit upozornění, která účastníky automaticky upozorňují na anomálie a nebezpečí nadměrných výdajů. Upozornění jsou založena na porovnání útraty s rozpočtem a prahovými hodnotami nákladů. Rozpočty a upozornění se vytvářejí pro předplatná Azure a skupiny prostředků, takže jsou užitečné jako součást celkové strategie monitorování nákladů.

Rozpočty je možné vytvořit pomocí filtrů pro konkrétní prostředky nebo služby v Azure, pokud chcete mít v monitorování větší členitost. Filtry pomáhají zajistit, že nechtěně nevytáčíte nové prostředky, které vás budou stát dalšími penězi. Další informace o možnostech filtru, které jsou k dispozici při vytváření rozpočtu, najdete v tématu Možnosti skupiny a filtru.

Export nákladových dat

Data nákladů můžete také exportovat do účtu úložiště. To je užitečné v případě, že potřebujete nebo jiní uživatelé provádět další analýzu dat pro náklady. Finanční týmy můžou například analyzovat data pomocí Excelu nebo Power BI. Náklady můžete exportovat denně, týdně nebo měsíčně a nastavit vlastní rozsah kalendářních dat. Export dat nákladů je doporučený způsob načtení datových sad nákladů.

Související obsah