Az Azure Data Factory költségeinek kezelése

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk az Azure Data Factory költségeinek tervezését és kezelését ismerteti.

Először az ETL-projekt elején az Azure díjszabási és folyamatonkénti használati és díjszabási kalkulátorainak kombinációjával tervezheti meg az Azure Data Factory költségeit, mielőtt bármilyen erőforrást ad hozzá a szolgáltatáshoz a költségek becsléséhez. Ezután az Azure-erőforrások hozzáadásakor tekintse át a becsült költségeket. Miután megkezdte az Azure Data Factory-erőforrások használatát, a Cost Management funkcióival beállíthatja a költségvetéseket és figyelheti a költségeket. Áttekintheti az előrejelzett költségeket és a költségtrendeket is, hogy azonosítsa azokat a területeket, ahol esetleg cselekedni szeretne. Az Azure Data Factory költségei csak az Azure-számla havi költségeinek egy részét képezik. Ez a cikk csak az adat-előállító költségeinek tervezését és kezelését ismerteti. Az Azure-előfizetésben használt összes Azure-szolgáltatásért és erőforrásért, beleértve a harmadik féltől származó szolgáltatásokat is.

Előfeltételek

A Cost Management költségelemzése a legtöbb Azure-fióktípust támogatja, de nem mindegyiket. A támogatott fióktípusok teljes listáját lásd: A Cost Management adatainak értelmezése. A költségadatok megtekintéséhez legalább olvasási hozzáférésre van szüksége egy Azure-fiókhoz. További információért az Azure Cost Management adataihoz való hozzáférés hozzárendeléséről: Adatokhoz való hozzáférés hozzárendelése.

Költségek becslése az Azure Data Factory használata előtt

Az ADF díjszabási kalkulátorával becslést kaphat az ETL-számítási feladatok Azure Data Factoryben való futtatásának költségeiről. A számológép használatához olyan adatokat kell megadnia, mint a tevékenységfuttatások száma, az adatintegrációs egység óráinak száma, a Adatfolyam használt számítás típusa, az magok száma, a példányok száma, a végrehajtás időtartama stb.

A díjkalkulátor egyik gyakori kérdése, hogy milyen értékeket kell bemenetként használni. A megvalósíthatósági vizsgálat fázisában mintaadatkészletek használatával végezhet próbafuttatásokat a különböző ADF-mérők fogyasztásának megértéséhez. Ezután a mintaadatkészlet felhasználása alapján kivetítheti a teljes adatkészlet és a működési ütemezés felhasználását.

Feljegyzés

Az alábbi példában használt árak hipotetikusak, és nem tényleges díjszabást jelentenek.

Tegyük fel például, hogy naponta 1 TB adatot kell áthelyeznie az AWS S3-ból az Azure Data Lake Gen2-be. 100 GB adat áthelyezésének POC-ját elvégezheti az adatbetöltés átviteli sebességének méréséhez és a megfelelő számlázási felhasználás megértéséhez.

Íme egy minta másolási tevékenység futtatásának részletei (a tényleges futásteljesítmény az adott adathalmaz, a hálózati sebesség, az S3-fiók kimenő forgalmának korlátai, az ADLS Gen2 bejövőforgalom-korlátozásai és egyéb tényezők alapján változik).

A folyamatalapú használatfigyelés használatával láthatja a megfelelő adatáthelyezési mérőhasználati mennyiségeket:

Ezért a teljes hónapra napi 1 TB áthelyezéshez szükséges DIU-órák teljes száma a következő:

1,2667 (DIU-óra) * (1 TB / 100 GB) * 30 (egy hónap napjai) = 380 DIU-óra

Mostantól 30 tevékenységfuttatást és 380 DIU-órát csatlakoztathat az ADF díjkalkulátorához a havi számla becsléséhez:

Az Azure Data Factory teljes számlázási modelljének megismerése

Az Azure Data Factory olyan Azure-infrastruktúrán fut, amely új erőforrások üzembe helyezésekor költségekkel jár. Fontos tisztában lenni azzal, hogy más többletinfrastruktúra-költségek is felmerülhetnek.

Az Azure Data Factory díja

Az Azure Data Factory egy kiszolgáló nélküli és rugalmas adatintegrációs szolgáltatás, amely felhőméretekhez készült. Nincs olyan rögzített méretű számítás, amelyet csúcsterhelésre kell terveznie; Ehelyett megadhatja, hogy mennyi erőforrást foglaljon le igény szerint műveletenként, ami lehetővé teszi az ETL-folyamatok sokkal skálázhatóbb tervezését. Emellett az ADF számlázása egy használatalapú csomagon történik, ami azt jelenti, hogy csak azért kell fizetnie, amit használ.

Azure Data Factory-erőforrások létrehozásakor vagy használatakor a következő mérőszámokért kell fizetnie:

• Vezénylési tevékenységfuttatások – a vezénylési tevékenységfuttatások száma alapján számítunk fel díjat.
• adatintegráció egység (DIU) óra – Az Azure Integration Runtime-on futó másolási tevékenységekért a felhasznált DIU és a végrehajtási időtartam alapján kell fizetnie.
• Virtuális mag óra – az adatfolyamok végrehajtásáért és a hibakeresésért a számítási típus, a virtuális magok száma és a végrehajtás időtartama alapján kell fizetnie.

A számlázási ciklus végén minden mérő díja összeadódik. A számla vagy számla egy szakaszt jelenít meg az Azure Data Factory összes költségéhez. Minden mérőszámhoz külön sorelem tartozik.

Az Azure Data Factoryvel esetlegesen felmerülő egyéb költségek

Az Azure Data Factory (ADF) erőforrásainak létrehozásakor más Azure-szolgáltatások erőforrásai is létrejönnek. Ezek közé tartoznak például az alábbiak:

• Folyamattevékenység végrehajtása
• Külső folyamattevékenység végrehajtása
• Data Factory-összetevők létrehozása/szerkesztése/lekérése/monitorozása
• SSIS integrációs modul (IR) időtartama a példány típusa és időtartama alapján

Feljegyzés

Ugyanazt a címkét hozzárendelheti az ADF-hez és más Azure-erőforrásokhoz, és ugyanabba a kategóriába helyezheti őket az összevont számlázás megtekintéséhez. Az ADF-címkét az összes SSIS-IR örökli. Ha módosítja az ADF-címkét, le kell állítania és újra kell indítania benne az összes SSIS-azonosítót ahhoz, hogy örököljék az új címkét. Lásd : SSIS IR újrakonfigurálása szakasz.

Az Azure-előrefizetés használata az Azure Data Factoryvel

Az Azure Data Factory díjait az Azure-előrefizetési kredittel fizetheti. Az Azure-előrefizetési kreditek azonban nem használhatók fel a külső, például az Azure Marketplace-ről származó termékek és szolgáltatások díjainak kifizetésére.

Költségek monitorozása

Az Azure Data Factory költségei a gyári, a folyamat-, a folyamat-futtatási és a tevékenység-futtatási szinteken figyelhetők meg.

Költségek monitorozása gyári szinten a Cost Analysis használatával

Az Azure-erőforrások Data Factoryvel való használata során költségek merülnek fel. Az Azure-erőforrás-használati egység költségei időintervallumonként (másodperc, perc, óra és nap) vagy egységhasználattól (bájt, megabájt stb.) függően változnak. Amint a Data Factory használatba veszi a használatot, költségek merülnek fel, és a költségek a költségelemzésben láthatók.

A költségelemzés használatakor a Data Factory költségeit grafikonokon és táblákban tekintheti meg különböző időintervallumokban. Néhány példa nap, aktuális és előző hónap és év szerint. A költségeket a költségvetések és az előre jelzett költségek alapján is megtekintheti. A hosszabb nézetekre való váltás segíthet azonosítani a kiadási trendeket. És láthatja, hol fordulhatott elő a túlköltekezés. Ha költségvetéseket hozott létre, könnyen láthatja, hogy hol lépték túl őket.

A Data Factory költségeinek megtekintése a költségelemzésben:

1. Jelentkezzen be az Azure Portalra.
2. Nyissa meg a hatókört az Azure Portalon, és válassza a Költségelemzés lehetőséget a menüben. Például lépjen az Előfizetések pontra, válasszon ki egy előfizetést a listában, majd válassza a Költségelemzés menüpontot. Válassza a Hatókör lehetőséget, ha másik hatókörre szeretne váltani a költségelemzésben.
3. Alapértelmezés szerint a szolgáltatások költsége az első fánkdiagramon jelenik meg. Válassza ki az Azure Data Factory 2-es verzióval ellátott diagram területét.

A tényleges havi költségek a költségelemzés első megnyitásakor jelennek meg. Az alábbi példa az összes havi használati költséget mutatja be.

• Egyetlen szolgáltatás( például a Data Factory) költségeinek csökkentéséhez válassza a Szűrő hozzáadása lehetőséget, majd válassza a Szolgáltatásnév lehetőséget. Ezután válassza az Azure Data Factory 2-es verziót.

Íme egy példa, amely csak a Data Factory költségeit mutatja be.

Az előző példában a szolgáltatás aktuális költségét láthatja. Az Azure-régiók (helyek) és a Data Factory költségei erőforráscsoportonként is megjelennek. Innen önállóan is felfedezheti a költségeket.

Költségek monitorozása folyamatszinten a Cost Analysis használatával

Bizonyos esetekben előfordulhat, hogy a gyáron belüli üzemeltetési költségek részletes lebontását szeretné, például költség-visszaszámlálás céljából. Az Azure Billing költségelemzési platformjának integrálásával a Data Factory elkülönítheti az egyes folyamatok számlázási díjait. Ha az Azure Data Factory részletes számlázási jelentését választja egy gyárhoz, jobban megértheti, hogy az egyes folyamatok mennyibe kerülnek a fent említett gyárban.

Minden olyan gyárat be kell választania, amelynek részletes számlázást szeretne végezni. A folyamatonkénti részletes számlázási funkció bekapcsolásához

1. Ugrás az Azure Data Factory portálra
2. A Kezelés lap Alatt válassza az Általános szakaszban a Gyári beállítások lehetőséget
3. Válassza a Számlázási jelentés megjelenítése folyamat szerint lehetőséget
4. A módosítás közzététele

Feljegyzés

A folyamat részletes számlázási beállításai nem szerepelnek a gyárból exportált ARM-sablonokban. Ez azt jelenti, hogy a folyamatos integráció és kézbesítés (CI/CD) nem írja felül a gyár számlázási viselkedését. Ez lehetővé teszi, hogy különböző számlázási viselkedéseket állítson be a fejlesztési, tesztelési és éles üzemekhez.

Ha a funkció engedélyezve van, minden folyamatnak külön bejegyzése lesz a számlázási jelentésben: Pontosan megmutatja, hogy az egyes folyamatok mennyibe kerülnek a kiválasztott időintervallumban. Segítségével azonosíthatja a költségtrendeket, és észlelheti a túlköltekezést, ha történt ilyen.

A Cost Analysis gráfozási eszközeivel a fent láthatóhoz hasonló diagramokat és trendvonalakat kap, de az egyes folyamatokhoz. Az összegző nézetet gyári név alapján is megkapja, mivel a gyári név szerepel a számlázási jelentésben, így szükség esetén megfelelő szűrést tesz lehetővé.

A változás csak a számlák kibocsátásának előrehaladtát befolyásolja, és nem változtat a korábbi díjakon. Adjon egy kis időt, mielőtt a módosítás feltöltődik a számlázási jelentésbe: a változás általában 1 napon belül jelenik meg.

Figyelmeztetés

Ha a számlázási beállításokat választja, a gyár minden egyes folyamatához egy bejegyzés lesz. Kérjük, különösen vegye figyelembe, ha túlzott mennyiségű folyamat van a gyárban, mivel az jelentősen meghosszabbíthatja és bonyolíthatja a számlázási jelentést.

Korlátozások

Az alábbiakban ismert korlátozásokat ismerünk a folyamatonkénti számlázási funkciókra. Ezek a számlázási mérők nem a pörgető folyamat alatt lesznek beszedve, hanem egy tartalék sorelem alá helyezik a gyárat.

• A Data Factory üzemeltetési díjai, beleértve az olvasási/írási és monitorozási díjakat
• Az Azure Data Factory SQL Server Integration Services -csomópontok (SSIS) díjai
• Ha az Azure Integration Runtime -hoz (Azure IR) van konfigurálva az Élettartam (TTL), Adatfolyam ezeken az integrációs modulon futó tevékenységek nem lesznek külön folyamatok alatt fájlba ágyazva.

A használat monitorozása folyamatalapú szinten az Azure Data Factoryben

A folyamatban lévő tevékenységek típusától, az áthelyezett és átalakított adatok mennyiségétől és az átalakítás összetettségétől függően a folyamat végrehajtása különböző számlázási mérőszámokat fog pörgetni az Azure Data Factoryben.

Az azure Data Factory felhasználói felületén megtekintheti az egyes folyamatok különböző mérőinek fogyasztását. A monitorozási felület megnyitásához válassza az Azure Portal adat-előállító paneljén található Monitorozás és kezelés csempét. Ha már szerepel az ADF UX-ben, válassza a bal oldali oldalsáv Monitor ikonját. Az alapértelmezett figyelési nézet a folyamatfuttatások listája.

A folyamat neve melletti Használat gombra kattintva megjelenik egy előugró ablak, amely megjeleníti a folyamathoz tartozó felhasználást összesítve a folyamat összes tevékenységében.

A folyamatfuttatás fogyasztási nézete az egyes ADF-mérők által az adott folyamatfuttatáshoz felhasznált összeget jeleníti meg, de nem jeleníti meg a ténylegesen felszámított árat, mivel a számlázott összeg a használt Azure-fiók típusától és a használt pénznem típusától függ. A támogatott fióktípusok teljes listáját lásd: A Cost Management adatainak értelmezése.

A használat monitorozása tevékenységalapú szinten az Azure Data Factoryben

Miután megismerte a folyamatalapú összesített felhasználást, vannak olyan forgatókönyvek, amelyekben további részletezéseket kell elvégeznie, és azonosítania kell, hogy melyik a folyamat legköltségesebb tevékenysége.

Ha tevékenységalapú szinten szeretné megtekinteni a felhasználást, lépjen a data factory Author &Monitor felhasználói felületére. A Figyelő lapon, ahol a folyamatfuttatások listája látható, válassza ki a folyamatnév hivatkozását a folyamatfuttatásban futó tevékenységfuttatások listájának eléréséhez. Válassza a Tevékenység neve melletti Kimenet gombot, és keresse meg a billableDuration tulajdonságot a JSON-kimenetben:

Íme egy minta egy másolási tevékenység futtatásából:

Íme egy minta egy leképezési Adatfolyam tevékenység futtatásából:

Költségvetések létrehozása

A költségek kezeléséhez költségvetéseket és riasztásokat hozhat létre, amelyek automatikusan figyelmeztetik az érdekelt feleket a rendellenes kiadásokról és a túlköltekezési kockázatokról. A riasztások a költségvetés és a költségek küszöbértékei alapján működnek. A költségvetések és a riasztások Azure-előfizetésekhez és erőforráscsoportokhoz jönnek létre, így egy átfogó költségmonitorozási stratégia részeként hasznosak.

A költségvetések az Azure-ban meghatározott erőforrások vagy szolgáltatások szűrőivel hozhatók létre, ha részletesebbségre van szüksége a monitorozásban. A szűrők segítségével gondoskodhat arról, hogy ne véletlenül hozzon létre olyan új erőforrásokat, amelyek többletköltséggel járnak. A költségvetés létrehozásakor elérhető szűrési lehetőségekről további információt a Csoportosítás és szűrési beállítások című témakörben talál.

Költségadatok exportálása

A költségadatokat egy tárfiókba is exportálhatja. Ez akkor hasznos, ha másokkal vagy másokkal más költségekkel kapcsolatos adatelemzést kell végeznie. A pénzügyi csapatok például az Excel vagy a Power BI használatával elemezhetik az adatokat. A költségeket napi, heti vagy havi ütemezés szerint exportálhatja, és egyéni dátumtartományt állíthat be. A költségadatkészletek lekérésének ajánlott módja a költségadatok exportálása.

Kapcsolódó tartalom

• Megtudhatja , hogyan optimalizálhatja a felhőberuházásokat az Azure Cost Management használatával.
• További információ a költségek költségelemzéssel való kezeléséről.
• Megtudhatja, hogyan előzheti meg a váratlan költségeket.
• Vegyen részt a Cost Management interaktív képzési kurzusán.
• Az Azure Data Factory díjszabási oldala
• Az Azure Data Factory ismertetése példákon keresztül
• Az Azure Data Factory díjszabási kalkulátora