A Azure Data Factory költségeinek kezelése

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Ez a cikk a Azure Data Factory költségeinek tervezését és kezelését ismerteti.

Először az ETL-projekt elején a Azure díjszabás, valamint a folyamatonkénti felhasználás és a díjszabás kalkulátorainak kombinációjával tervezheti meg Azure Data Factory költségeket, mielőtt bármilyen erőforrást hozzáad a szolgáltatáshoz a költségek becsléséhez. Ezután Azure erőforrások hozzáadásakor tekintse át a becsült költségeket. Miután megkezdte Azure Data Factory erőforrások használatát, a Cost Management funkcióival állítsa be a költségvetéseket, és figyelje a költségeket. Áttekintheti az előrejelzett költségeket és a költségtrendeket is, hogy azonosítsa azokat a területeket, ahol esetleg cselekedni szeretne. A Azure Data Factory költségei csak a Azure számla havi költségeinek egy részét képezik. Ez a cikk csak az adat-előállító költségeinek tervezését és kezelését ismerteti. Az Azure-előfizetésben használt összes Azure szolgáltatásért és erőforrásért, beleértve a harmadik féltől származó szolgáltatásokat, számlázzák ki Önnek.

Előfeltételek

A Cost Management költségelemzése a legtöbb Azure fióktípust támogatja, de nem mindegyiket. A támogatott fióktípusok teljes listáját lásd: A Cost Management adatainak értelmezése. A költségadatok megtekintéséhez legalább olvasási hozzáférésre van szükség egy Azure-fiókhoz. Az Azure Cost Management adatokhoz való hozzáférés hozzárendelésével kapcsolatos további információkért lásd: Az adatokhoz való hozzáférés hozzárendelése.

Költségek becslése a Azure Data Factory használata előtt

Az ADF díjszabási kalkulátor segítségével megbecsülheti az ETL-számítási feladatok Azure Data Factory való futtatásának költségeit. A számológép használatához olyan adatokat kell megadnia, mint a tevékenységfuttatások száma, az adatintegrációs egység óráinak száma, a Adatfolyam használt számítás típusa, az magok száma, a példányok száma, a végrehajtás időtartama stb.

A díjkalkulátor egyik gyakori kérdése, hogy milyen értékeket kell bemenetként használni. A megvalósíthatósági vizsgálat fázisában mintaadatkészletek használatával végezhet próbafuttatásokat a különböző ADF-mérők fogyasztásának megértéséhez. Ezután a mintaadatkészlet felhasználása alapján kivetítheti a teljes adatkészlet és a működési ütemezés felhasználását.

Feljegyzés

Az alábbi példában használt árak hipotetikusak, és nem tényleges díjszabást jelentenek.

Tegyük fel például, hogy naponta 1 TB adatot kell áthelyeznie az AWS S3-ból Azure Data Lake Gen2-be. 100 GB adat áthelyezésének POC-ját elvégezheti az adatbetöltés átviteli sebességének méréséhez és a megfelelő számlázási felhasználás megértéséhez.

Íme egy minta másolási tevékenység futtatásának részletei (a tényleges futásteljesítmény az adott adathalmaz, a hálózati sebesség, az S3-fiók kimenő forgalmának korlátai, az ADLS Gen2 bejövőforgalom-korlátozásai és egyéb tényezők alapján változik).

A fogyasztásfigyelés a folyamatfutás szintjén lehetővé teszi, hogy láthassa a megfelelő adatmozgási mérőfogyasztás mennyiségeit.

Ezért a teljes hónapra napi 1 TB áthelyezéshez szükséges DIU-órák teljes száma a következő:

1,2667 (DIU-óra) * (1 TB / 100 GB) * 30 (egy hónap napjai) = 380 DIU-óra

Mostantól beírhat 30 tevékenységet és 380 DIU-órát az ADF díjkalkulátorába, hogy becslést kapjon a havi számlájára.

A Azure Data Factory teljes számlázási modelljének megismerése

Azure Data Factory Azure infrastruktúrán fut, amely költségekkel jár az új erőforrások üzembe helyezésekor. Fontos tisztában lenni azzal, hogy más többletinfrastruktúra-költségek is felmerülhetnek.

Hogyan számítják fel az Azure Data Factory díjait

Azure Data Factory egy felhőalapú méretezéshez készült kiszolgáló nélküli és rugalmas adatintegrációs szolgáltatás. Nincs olyan rögzített méretű számítás, amelyet csúcsterhelésre kell terveznie; Ehelyett megadhatja, hogy mennyi erőforrást foglaljon le igény szerint műveletenként, ami lehetővé teszi az ETL-folyamatok sokkal skálázhatóbb tervezését. Emellett az ADF számlázása egy használatalapú csomagon történik, ami azt jelenti, hogy csak azért kell fizetnie, amit használ.

Ha Azure Data Factory erőforrásokat hoz létre vagy használ, előfordulhat, hogy a következő mérőszámokért kell fizetnie:

• Vezérlési tevékenységek futtatása – díjat számítunk fel a futtatások számán alapulva.
• Adatintegrációs egység (DIU) óraszáma – Az Azure Integration Runtime futtatott másolási tevékenységekért a felhasznált DIU és a végrehajtási időtartam alapján kell fizetnie.
• Virtuális mag óra – az adatfolyamok végrehajtásáért és a hibakeresésért a számítási típus, a virtuális magok száma és a végrehajtás időtartama alapján kell fizetnie.

A számlázási ciklus végén minden mérő díja összeadódik. A számlája vagy a számla tartalmaz egy részt az összes Azure Data Factory költségekre. Minden mérőszámhoz külön sorelem tartozik.

Az Azure Data Factory-val kapcsolatos egyéb költségek, amelyek felmerülhetnek.

Amikor erőforrásokat hoz létre Azure Data Factory (ADF) számára, más Azure szolgáltatások erőforrásai is létrejönnek. Ezek közé tartoznak például az alábbiak:

• Pipeline tevékenység végrehajtása
• Külső csővezeték-tevékenység végrehajtása
• Data Factory-összetevők létrehozása/szerkesztése/lekérése/monitorozása
• SSIS Integration Runtime (IR) időtartama a példány típusa és időtartama alapján

Feljegyzés

Ugyanazt a címkét hozzárendelheti az ADF-hez és más Azure-erőforrásokhoz, és ugyanabba a kategóriába helyezheti őket az összevont számlázás megtekintéséhez. Az ADF címkét minden SSIS-IR örökölni fogja. Ha módosítod az ADF címkédet, le kell állítanod és újra kell indítanod az összes SSIS példányt ahhoz, hogy átvegyék az új címkét. Lásd az SSIS példány újrakonfigurálása részt.

Azure előrefizetés használata az Azure Data Factory-vel

A Azure előrefizetési jóváírással fizethet Azure Data Factory díjakért. Azonban nem használhatja Azure előrefizetési jóváírást harmadik féltől származó termékek és szolgáltatások díjának kifizetésére, beleértve a Azure Marketplace.

Költségek monitorozása

Azure Data Factory költségek nyomon követhetők a gyár, az adatfolyamat, az adatfolyamat-futtatás és a tevékenység-végrehajtás szintjén.

Költségek monitorozása gyári szinten a Cost Analysis használatával

Mivel Azure erőforrásokat használ a Data Factoryvel, költségekkel kell számolnia. Azure erőforrás-használati egység költségei időintervallumonként (másodperc, perc, óra és nap) vagy egységhasználattól (bájt, megabájt stb.) függően változnak. Amint a Data Factory használatba veszi, költségek merülnek fel, és a költségeket cost elemzésben láthatja.

A költségelemzés használatakor a Data Factory költségeit grafikonokon és táblákban tekintheti meg különböző időintervallumokban. Néhány példa nap, aktuális és előző hónap és év szerint. A költségeket a költségvetések és az előre jelzett költségek alapján is megtekintheti. A hosszabb nézetekre való váltás segíthet azonosítani a kiadási trendeket. És láthatja, hol fordulhatott elő a túlköltekezés. Ha költségvetéseket hozott létre, könnyen láthatja, hogy hol lépték túl őket.

A Data Factory költségeinek megtekintése a költségelemzésben:

1. Jelentkezzen be a Azure portálra.
2. Nyissa meg a hatókört a Azure portálon, és válassza a menüben a Cost-elemzés lehetőséget. Például lépjen az Előfizetések pontra, válasszon ki egy előfizetést a listában, majd válassza a Költségelemzés menüpontot. Válassza a Hatókör lehetőséget, ha másik hatókörre szeretne váltani a költségelemzésben.
3. Alapértelmezés szerint a szolgáltatások költsége az első fánkdiagramon jelenik meg. Jelölje ki a Azure Data Factory v2 címkével ellátott diagram területét.

A tényleges havi költségek a költségelemzés első megnyitásakor jelennek meg. Az alábbi példa az összes havi használati költséget mutatja be.

• Egyetlen szolgáltatás( például a Data Factory) költségeinek csökkentéséhez válassza a Szűrő hozzáadása lehetőséget, majd válassza a Szolgáltatásnév lehetőséget. Ezután válassza a Azure Data Factory v2 lehetőséget.

Íme egy példa, amely csak a Data Factory költségeit mutatja be.

Az előző példában a szolgáltatás aktuális költségét láthatja. A költségek Azure régiók (helyek) és Data Factory-költségek erőforráscsoportonként is megjelennek. Innen önállóan is felfedezheti a költségeket.

Költségek monitorozása folyamatszinten a Cost Analysis használatával

Bizonyos esetekben előfordulhat, hogy a gyáron belüli üzemeltetési költségek részletes lebontását szeretné, például költség-visszaszámlálás céljából. A Azure Billing cost analysis platform integrálása esetén a Data Factory elkülönítheti az egyes folyamatok számlázási díjait. Ha Azure Data Factory részletes számlázási jelentést készít egy gyárról, jobban megértheti, hogy az egyes folyamatok mennyibe kerülnek önnek a fent említett gyárban.

Ki kell választania minden olyan gyárat, amelyre részletes számlázást szeretne. A folyamatonkénti részletes számlázási funkció bekapcsolásához

1. Ugrás Azure Data Factory portálra
2. A Kezelés lap Alatt válassza az Általános szakaszban a Gyári beállítások lehetőséget
3. Válassza a számlázási jelentés megjelenítése csővezeték szerint lehetőséget.
4. A módosítás közzététele

Feljegyzés

A folyamat részletes számlázási beállításai nem szerepelnek a gyárból exportált ARM-sablonokban. Ez azt jelenti, hogy a folyamatos integráció és kézbesítés (CI/CD) nem írja felül a gyár számlázási viselkedését. Ez lehetővé teszi, hogy különböző számlázási viselkedéseket állítson be a fejlesztési, tesztelési és éles üzemekhez.

Ha a funkció engedélyezve van, minden folyamatnak külön bejegyzése lesz a számlázási jelentésben: Pontosan megmutatja, hogy az egyes folyamatok mennyibe kerülnek a kiválasztott időintervallumban. Segítségével azonosíthatja a költségtrendeket, és észlelheti a túlköltekezést, ha történt ilyen.

A Cost Analysis gráfozási eszközeivel a fent láthatóhoz hasonló diagramokat és trendvonalakat kap, de az egyes folyamatokhoz. Az összegző nézetet gyári név alapján is megkapja, mivel a gyári név szerepel a számlázási jelentésben, így szükség esetén megfelelő szűrést tesz lehetővé.

A változás csak a számlák kibocsátásának előrehaladtát befolyásolja, és nem változtat a korábbi díjakon. Adjon egy kis időt, mielőtt a módosítás feltöltődik a számlázási jelentésbe: a változás általában 1 napon belül jelenik meg.

Figyelmeztetés

Amikor a számlázási beállítást választja, a gyár minden egyes futószalagjára egy bejegyzés készül. Kérjük, kifejezetten vegye figyelembe, ha nagyszámú csővezeték található a gyárban, mivel ez jelentősen meghosszabbíthatja és bonyolíthatja a számlázási jelentést.

Korlátozások

Az alábbiakban ismert korlátozásokat ismerünk a folyamatonkénti számlázási funkciókra. Ezek a számlázási mérők nem a csővezeték alá kerülnek be, amely forgatja azt, hanem a gyár egy tartalék soreleme alá kerülnek be.

• A Data Factory üzemeltetési díjai, beleértve az olvasási/írási és monitorozási díjakat
• Azure Data Factory SQL Server Integration Services (SSIS) csomópontok díjai
• Ha Time to Live (TTL) van konfigurálva az Azure Integration Runtime (Azure IR) számára, az ezeken az IR-eken futó Adatfolyam tevékenységek nem fognak egyes folyamatokhoz tartozni.

Az Azure Data Factory pipeline futás szintű fogyasztásának monitorozása

A csővezetékben lévő tevékenységek típusától, az áthelyezett és átalakított adatok mennyiségétől, valamint az átalakítás összetettségétől függően a csővezeték végrehajtása különböző számlázási mérőszámokat aktivál az Azure Data Factory-ben.

Az egyes folyamatfuttatások különböző mérőszámainak használati mennyiségét a Azure Data Factory felhasználói felületen tekintheti meg. A monitorozási felület megnyitásához válassza a Monitor és Kezelés csempét a data factory ablaktábláján az Azure portálon. Ha már szerepel az ADF UX-ben, válassza a bal oldali oldalsáv Monitor ikonját. Az alapértelmezett figyelési nézet a folyamatfuttatások listája.

A folyamat neve melletti Használat gombra kattintva megjelenik egy előugró ablak, amely megjeleníti a folyamathoz tartozó felhasználást összesítve a folyamat összes tevékenységében.

A folyamatfuttatás fogyasztási nézete az egyes ADF-mérők által az adott folyamatfuttatáshoz felhasznált összeget jeleníti meg, de nem jeleníti meg a ténylegesen felszámított árat, mivel a számlázott összeg a használt Azure-fiók típusától és a használt pénznem típusától függ. A támogatott fióktípusok teljes listáját lásd: A Cost Management adatainak értelmezése.

A használat figyelése tevékenység-futtatási szinten az Azure Data Factoryban

Miután megismerte a folyamatalapú összesített felhasználást, vannak olyan forgatókönyvek, amelyekben további részletezéseket kell elvégeznie, és azonosítania kell, hogy melyik a folyamat legköltségesebb tevékenysége.

Ha tevékenységalapú szinten szeretné megtekinteni a felhasználást, lépjen a data factory Author &Monitor felhasználói felületére. A Figyelő lapon, ahol a folyamatfuttatások listája látható, válassza ki a folyamatnév hivatkozását a folyamatfuttatásban futó tevékenységfuttatások listájának eléréséhez. Válassza a Tevékenység neve melletti Kimenet gombot, és keresse meg a billableDuration tulajdonságot a JSON-kimenetben:

Íme egy minta egy másolási folyamat futtatásából.

Íme egy minta egy leképezési Adatfolyam tevékenység futtatásából:

Költségvetések létrehozása

A költségek kezeléséhez költségvetéseket és riasztásokat hozhat létre, amelyek automatikusan figyelmeztetik az érdekelt feleket a rendellenes kiadásokról és a túlköltekezési kockázatokról. A riasztások a költségvetés és a költségek küszöbértékei alapján működnek. A költségvetések és a riasztások Azure előfizetésekhez és erőforráscsoportokhoz jönnek létre, így egy átfogó költségmonitorozási stratégia részeként hasznosak.

A költségvetések adott erőforrások vagy szolgáltatások szűrőivel hozhatók létre az Azure-ban, ha nagyobb részletességre van szüksége a monitorozásban. A szűrők segítségével gondoskodhat arról, hogy ne véletlenül hozzon létre olyan új erőforrásokat, amelyek többletköltséggel járnak. A költségvetés létrehozásakor elérhető szűrési lehetőségekről további információt a Csoportosítás és szűrési beállítások című témakörben talál.

Költségadatok exportálása

A költségadatokat egy tárfiókba is exportálhatja. Ez akkor hasznos, ha önnek vagy másoknak költségekkel kapcsolatos adatelemzést kell végezniük. A pénzügyi csapatok például Excel vagy Power BI segítségével elemezhetik az adatokat. A költségeket napi, heti vagy havi ütemezés szerint exportálhatja, és egyéni dátumtartományt állíthat be. A költségadatkészletek lekérésének ajánlott módja a költségadatok exportálása.

Kapcsolódó tartalom

• Ismerje meg hogyan optimalizálhatja a felhőberuházást Azure Cost Management.
• További információ a költségek költségelemzéssel való kezeléséről.
• Megtudhatja, hogyan előzheti meg a váratlan költségeket.
• Vegyen részt a Cost Management interaktív képzési kurzusán.
• Azure Data Factory díjszabási oldal
• Az Azure Data Factory megértése példákon keresztül
• Azure Data Factory díjkalkulátor