Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
VZTAHUJE SE NA:
Azure Data Factory Azure Synapse Analytics
Tip
Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.
Pomocí Azure Data Factory spravované virtuální sítě můžete bezpečně připojit zdroje dat k virtuální síti, kterou spravuje služba Data Factory. Pomocí této funkce můžete vytvořit privátní a izolované prostředí pro procesy integrace a orchestrace dat.
Při použití spravované virtuální sítě zkombinujete možnosti integrace a orchestrace dat ve službě Data Factory se zabezpečením a flexibilitou Azure virtuálních sítí. Umožňuje vám vytvářet robustní, škálovatelné a zabezpečené kanály integrace dat, které se bezproblémově připojují k vašim síťovým prostředkům bez ohledu na to, jestli jsou místní nebo v cloudu.
Jedním z běžných problémů spravovaných výpočetních prostředků je nedostatek přehledu o výkonu a stavu, zejména v prostředí spravované virtuální sítě. Bez správného monitorování se identifikace a řešení problémů stává náročné a může vést k možným zpožděním, chybám a snížení výkonu.
Díky rozšířenému monitorování ve službě Data Factory můžete získat cenné přehledy o procesech integrace dat. Tyto přehledy můžou vést k lepší efektivitě, lepšímu využití prostředků a lepšímu celkovému výkonu. Díky proaktivnímu monitorování a včasným výstrahám můžete řešit problémy, optimalizovat pracovní postupy a zajistit hladké spouštění kanálů integrace dat v rámci spravovaného prostředí virtuální sítě.
Nové metriky
Zavedení nových metrik vylepšuje možnosti viditelnosti a monitorování v prostředích spravované virtuální sítě.
Azure Data Factory poskytuje tři různé typy výpočetních fondů:
- Provádění výpočtů pro aktivitu kopírování
- Výpočet pro aktivitu potrubí, například vyhledávání
- Provádění výpočtů pro externí aktivitu, jako je například poznámkový blok Azure Databricks
Tyto výpočetní fondy nabízejí flexibilitu a škálovatelnost, aby vyhovovaly různým úlohám a optimálně přidělily prostředky. Každá z nich je přizpůsobená tak, aby zvládla konkrétní požadavky na provádění aktivit.
Abychom zajistili konzistentní a komplexní monitorování ve všech výpočetních fondech, implementovali jsme stejné sady metrik monitorování:
- Využití kapacity
- Procento dostupné kapacity
- Délka fronty čekání
Bez ohledu na typ výpočetního fondu, který používáte, můžete přistupovat ke standardizované sadě metrik a analyzovat ji, abyste získali přehled o výkonu a stavu aktivit integrace dat.
Poznámka:
Tyto metriky platí jenom v případech, kdy ve spravované virtuální síti povolíte hodnotu TTL (Time to Live) v prostředí Integration Runtime.
| Metrika | Jednotka | Popis |
|---|---|---|
| Kopírování využití kapacity prostředí MVNet Integration Runtime | Procenta | Maximální procento využití jednotek Integrace Dat jednotek (DIU) u aktivit kopírování TTL v prostředí Integration Runtime spravované virtuální sítě během 1 minuty. |
| Zkopírujte procento dostupné kapacity prostředí MVNet Integration Runtime | Procenta | Maximální procento dostupných DIU pro aktivity kopírování TTL v rámci 1minutového okna v Integration Runtime spravované virtuální sítě. |
| Délka fronty čekání na kopírování prostředí MVNet Integration Runtime | Počet | Délka fronty čekající na aktivity kopírování TTL v prostředí Integration Runtime spravovaném virtuální sítí v časovém úseku jedné minuty. |
| Využití kapacity kanálu prostředí MVNet Integration Runtime | Procenta | Maximální procento využití DIU pro aktivity zpracování dat v prostředí Integration Runtime spravované virtuální sítě v rámci časového okna o délce 1 minuty. |
| Procento dostupné kapacity kanálu prostředí MVNet Integration Runtime | Procenta | Maximální procento dostupného DIU pro aktivity v rámci kanálu v Integration Runtime spravované virtuální sítě v rámci 1minutového okna. |
| Délka fronty čekání kanálu prostředí MVNet Integration Runtime | Počet | Délka čekající fronty aktivit kanálu v prostředí Integration Runtime spravované virtuální sítě během 1 minuty. |
| Využití externí kapacity prostředí MVNet Integration Runtime | Procenta | Maximální procento využití DIU pro externí aktivity v prostředí Integration Runtime spravované virtuální sítě během 1 minuty. |
| Procento externí dostupné kapacity prostředí MVNet Integration Runtime | Procenta | Maximální procento dostupného DIU pro externí aktivity v rámci Integration Runtime spravované virtuální sítě během jedné minuty. |
| Délka fronty čekání externího prostředí MVNet Integration Runtime | Počet | Délka fronty čekání externích aktivit v prostředí Integration Runtime spravované virtuální sítě během 1 minuty. |
Další informace o těchto metrikách najdete v části Podporované metriky pro Microsoft.DataFactory/factories.
Použití metrik pro optimalizaci výkonu
Pomocí metrik můžete bezproblémově sledovat a vyhodnocovat výkon a odolnost prostředí Integration Runtime ve spravované virtuální síti. Můžete také odhalit potenciální oblasti pro průběžné vylepšování optimalizací nastavení výpočetních prostředků a pracovního postupu, aby se maximalizovala efektivita.
Pokud chcete získat přehlednější informace o praktickém použití těchto metrik, tady je několik ukázkových scénářů.
Vyvážené
Pokud zjistíte, že využití kapacity je nižší než 100 procent a procento dostupné kapacity je vysoké, výpočetní prostředky, které jste si rezervovali, se efektivně využívají.
Pokud délka čekající fronty zůstává konzistentně nízká nebo občas dochází k krátkým špičkám, doporučujeme, abyste zařadili další aktivity do fronty, dokud využití kapacity nedosáhne 100 %. Tento přístup pomáhá zajistit optimální využití prostředků a pomáhá udržovat hladký pracovní postup s minimálními zpožděními.
Orientace na výkon
Pokud zjistíte, že využití kapacity je konzistentně nízké a délka čekající fronty zůstává konzistentně nízká nebo občas dochází k krátkým špičkám, výpočetní prostředky, které jste si rezervovali, jsou vyšší než poptávka po aktivitách.
V takových případech bez ohledu na to, jestli je dostupné procento kapacity vysoké nebo nízké, doporučujeme snížit přidělené výpočetní prostředky, abyste snížili náklady. Tím, že výpočetní prostředky přiřaďte tak, aby odpovídaly požadavkům na úlohy, můžete optimalizovat využití prostředků a ušetřit náklady, aniž by to ovlivnilo efektivitu vašich operací.
Zaměřené na náklady
Pokud si všimnete, že všechny metriky (včetně využití kapacity, dostupného procenta kapacity a délky čekající fronty) jsou vysoké, výpočetní prostředky, které jste si rezervují, pravděpodobně nedostačují pro vaše aktivity.
V tomto scénáři doporučujeme zvýšit přidělené výpočetní prostředky, abyste zkrátili dobu fronty. Přidání další výpočetní kapacity pomáhá zajistit, aby vaše aktivity měly dostatek prostředků pro efektivní provoz, což minimalizuje zpoždění, která způsobuje přeplněná fronta.
Občasné provádění aktivity
Pokud si všimnete, že procento dostupné kapacity kolísá mezi nízkou a vysokou v určitém časovém období, je pravděpodobné, že dochází k přerušovanému provádění vašich aktivit, kdy je nakonfigurované období TTL (Time-To Live) kratší než interval mezi vašimi aktivitami. To může mít významný dopad na výkon pracovního postupu. Pokud chcete tento problém vyřešit, existují dvě možná řešení. Nejprve můžete zařadit do fronty více aktivit, abyste zachovali konzistentní úlohu a efektivněji využili dostupné výpočetní prostředky. Pokud jsou výpočetní prostředky neustále zapojeny, je možné vyhnout se zahřívacímu času a zajistit vyšší výkon. Případně můžete zvážit zvětšení období hodnoty TTL tak, aby odpovídalo intervalu mezi vašimi aktivitami. Tím zajistíte, že výpočetní prostředky zůstanou k dispozici po delší dobu, což snižuje četnost období zahřátí a optimalizuje nákladovou efektivitu.
Implementací některého z těchto řešení můžete zvýšit výkon pracovního postupu, minimalizovat náklady a zajistit plynulejší provádění přerušovaných aktivit.
Související obsah
V následujícím článku se dozvíte o spravovaných virtuálních sítích a spravovaných privátních koncových bodech: Azure Data Factory spravovanou virtuální síť.