Novinky a plány služby Data Factory v Microsoft Fabric
Důležité
Plány vydaných verzí popisují funkce, které mohly nebo ještě nebyly vydány. Časové osy doručení a předpokládané funkce se můžou změnit nebo nemusí dodávat. Další informace najdete v zásadách Microsoftu.
Data Factory v Microsoft Fabric kombinuje integraci občanských dat a funkce integrace dat pro profesionály do jednoho moderního prostředí integrace dat. Poskytuje připojení k více než 100 relačním a nerelačním databázím, jezerům, datovým skladům, obecným rozhraním, jako jsou rozhraní REST API, OData a další.
Toky dat: Tok dat Gen2 umožňuje provádět rozsáhlé transformace dat a podporuje různé výstupní cíle, které zapisují do Azure SQL Database, Lakehouse, Data Warehouse a další. Editor toků dat nabízí více než 300 transformací, včetně možností založených na umělé inteligenci, a umožňuje snadno transformovat data s větší flexibilitou než jakýkoli jiný nástroj. Bez ohledu na to, jestli extrahujete data z nestrukturovaného zdroje dat, jako je webová stránka, nebo přetváříte existující tabulku v editoru Power Query, můžete snadno použít extrakci dat Power Query podle příkladu, která používá umělou inteligenci (AI) a zjednodušuje proces.
Datové kanály: Datové kanály nabízejí možnost vytvářet všestranné pracovní postupy orchestrace dat, které spojují úlohy, jako je extrakce dat, načítání do upřednostňovaných úložišť dat, spouštění poznámkových bloků, spouštění skriptů SQL a další. Můžete rychle vytvářet výkonné datové kanály řízené metadaty, které automatizují opakující se úlohy. Například načítání a extrahování dat z různých tabulek v databázi, iterace několika kontejnerů ve službě Azure Blob Storage a další. Kromě toho můžete s datovými kanály přistupovat k datům z Microsoftu 365 pomocí konektoru Microsoft Graph Data Připojení ion (MGDC).
Další informace najdete v dokumentaci.
Investiční oblasti
Během několika příštích měsíců služba Data Factory v Microsoft Fabric rozšíří možnosti připojení a dále přidá do bohaté knihovny transformací a aktivit datového kanálu. Kromě toho umožňuje provádět replikaci dat v reálném čase z provozních databází a přenést tato data do jezera pro účely analýzy.
Správa identit zdroje dat (SPN)
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Obecná dostupnost
Instanční objekt – Pro přístup k prostředkům zabezpečeným tenantem Azure AD musí být entita, která vyžaduje přístup, reprezentována instančním objektem zabezpečení. K vašim zdrojům dat se budete moct připojit pomocí instančního objektu.
Podpora datových kanálů pro SparkJobDefinition
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Obecná dostupnost
Teď můžete spustit kód Sparku, včetně souborů JAR, přímo z aktivity kanálu. Stačí nasměrovat na kód Sparku a kanál spustí úlohu v clusteru Spark v prostředcích infrastruktury. Tato nová aktivita umožňuje zajímavé vzory pracovních postupů dat, které využívají výkon modulu Spark v Prostředcích infrastruktury a zároveň zahrnují možnosti toku řízení data factory a toku dat ve stejném kanálu jako úlohy Sparku.
Podpora datového kanálu pro Azure HDinsight
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Obecná dostupnost
HD Insight je služba Azure PaaS pro Hadoop, která vývojářům umožňuje vytvářet velmi výkonná řešení pro velké objemy dat v cloudu. Nová aktivita kanálu HDI umožní aktivity úloh HD Přehledy uvnitř datových kanálů služby Data Factory podobně jako stávající funcationalita, kterou jste v kanálech ADF a Synapse probrali několik let. Tuto funkci jsme teď převedli přímo do datových kanálů Fabric.
Podpora pro vyvolání datových kanálů mezi pracovními prostory
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Public Preview
Aktualizace aktivity Invoke Pipelines: Povolujeme několik nových a zajímavých aktualizací aktivity Vyvolání kanálu. V reakci na zahlcení požadavků zákazníků a komunity povolujeme spouštění datových kanálů napříč pracovními prostory. Teď budete moct vyvolat kanály z jiných pracovních prostorů, ke kterým máte přístup ke spuštění. To umožní velmi zajímavé vzory pracovních postupů dat, které můžou využívat spolupráci od vašich týmů přípravy dat a integrace napříč pracovními prostory a napříč funkčními týmy.
Podpora datových kanálů pro triggery řízené událostmi
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Public Preview
Běžným případem použití pro vyvolání datových kanálů služby Data Factory je aktivace kanálu při událostech souborů, jako je doručení souboru a odstranění souboru. Pro zákazníky přicházející z ADF nebo Synapse do prostředků infrastruktury je použití událostí úložiště ADLS/Blog velmi běžné jako způsob, jak signalizovat spuštění nového kanálu nebo zachytit názvy vytvořených souborů. Triggery ve službě Fabric Data Factory využívají funkce platformy Fabric, včetně aktivačních událostí Toky a reflexních triggerů. Uvnitř plátna pro návrh kanálu služby Fabric Data Factory budete mít tlačítko Trigger, které můžete stisknout, abyste vytvořili aktivační událost pro váš kanál, nebo můžete trigger vytvořit přímo z prostředí Aktivace dat.
Nové konektory pro aktivitu kopírování
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Public Preview
Nové konektory budou přidány pro aktivita Copy, které zákazníkům umožní ingestovat z následujících zdrojů a zároveň využívat datový kanál: Oracle, MySQL, Azure MySQL Database, Azure AI Search, Azure Files, Dynamics AX, Azure Files, Google BigQuery.
Datové pracovní postupy: Vytváření datových kanálů využívajících Apache Airflow
Odhadovaná časová osa vydání: 2. čtvrtletí 2024
Typ verze: Public Preview
Pracovní postupy dat využívají Apache Airflow a nabízejí integrované prostředí modulu runtime Apache Airflow, které umožňuje snadno vytvářet, spouštět a plánovat skupiny DAG Pythonu.
Copilot pro Data Factory (tok dat)
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Obecná dostupnost
Copilot pro Data Factory (Tok dat) umožňuje zákazníkům vyjádřit své požadavky pomocí přirozeného jazyka při vytváření řešení integrace dat s toky dat Gen2.
Výchozí nastavení přípravy pro cíl výstupu toku dat Gen2
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Tok dat Gen2 poskytuje možnosti ingestování dat z široké škály zdrojů dat do Fabric OneLake. Při přípravě těchto dat je možné je transformovat ve velkém měřítku s využitím modulu Gen2 s vysokým měřítkem (založený na výpočetních prostředcích SQL Fabric Lakehouse/Warehouse).
Výchozím chováním toků dat Gen2 je připravit data ve OneLake, aby bylo možné transformovat data ve velkém měřítku. I když to funguje skvěle pro scénáře ve velkém měřítku, nefunguje to stejně jako u scénářů zahrnujících malé objemy přijatých dat vzhledem k tomu, že zavádí další segment směrování (přípravný) pro data předtím, než se nakonec načte do výstupního cíle toku dat.
Díky plánovaným vylepšením dolaďujeme výchozí chování přípravy, které se má zakázat, pro dotazy s výstupním cílem, který nevyžaduje přípravu (konkrétně Fabric Lakehouse a Azure SQL Database).
Pracovní chování lze ručně nakonfigurovat pro jednotlivé dotazy prostřednictvím podokna Nastavení dotazu nebo kontextové nabídky dotazu v podokně Dotazy.
Podpora přírůstkové aktualizace v Toku dat Gen2
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Přidáváme podporu přírůstkové aktualizace v Toku dat Gen2. Tato funkce umožňuje přírůstkově extrahovat data ze zdrojů dat, použít transformace Power Query a načíst je do různých výstupních cílů.
Podpora datového kanálu pro rozhraní příkazového řádku DBT
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
DbT CLI Orchestraation (Data Build Tool): Zahrnuje nástroj pro sestavení dat (dbt) pro pracovní postupy transformace dat.
Podpora datových kanálů pro úlohy Azure Databricks
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Aktualizujeme aktivity datových kanálů služby Data Factory v Azure Databricks tak, aby teď používaly nejnovější rozhraní API pro úlohy, které umožňuje zajímavé funkce pracovních postupů, jako je spouštění úloh DLT.
Kopírovat úlohu
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Úloha kopírování zjednodušuje prostředí pro zákazníky, kteří potřebují ingestovat data, aniž by museli vytvářet tok dat nebo datový kanál. Úloha kopírování podporuje úplné a přírůstkové kopírování ze všech zdrojů dat do libovolného cíle dat.
Copilot pro Data Factory (datový kanál)
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Copilot pro Data Factory (datový kanál) umožňuje zákazníkům vytvářet datové kanály pomocí přirozeného jazyka a poskytuje pokyny k řešení potíží.
Vylepšená e-mailová oznámení o selhání aktualizace
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
E-mailová oznámení umožňují tvůrcům Toku dat Gen2 monitorovat výsledky operace aktualizace toku dat (úspěch/selhání).
Paralelní příjem dat založený na tocích dat Gen2 na základě oddílů
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Toky dat Gen2, které v současné době obsahují dotazy na zdroj dat, který podporuje oddíly, aktualizují oddíly v těchto dotazech postupně. Příkladem tohoto chování je dotaz běžící na složce a ingestování všech souborů ve složce (jejich analýza do tabulek, kombinování do jedné tabulky atd.).
Díky plánovaným vylepšením optimalizujeme orchestraci takových dotazů tak, aby bylo možné paralelně spouštět všechny zdrojové oddíly. Tato optimalizace může přinést významné snížení celkové doby trvání spuštění toku dat.
Správa identit zdroje dat (spravovaná identita)
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
To umožňuje konfiguraci spravované identity na úrovni pracovního prostoru. Spravované identity Prostředků infrastruktury můžete použít k zabezpečenému připojení ke zdroji dat.
Správa identit zdroje dat (Azure Key Vault)
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Podpora služby Azure Key Vault – Klíče a tajné kódy můžete uložit do služby Azure Key Vault a připojit se k němu. Tímto způsobem můžete klíče spravovat na jednom místě.
Povolení parametrizace připojení zákazníkům
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Připojení iony poskytují společnou architekturu pro definování připojení a ověřování pro vaše úložiště dat. Tato připojení se dají sdílet mezi různými položkami. Díky podpoře parametrizace budete moct vytvářet složité a opakovaně použitelné kanály, poznámkové bloky, toky dat a další typy položek.
Odeslané funkce
Zrušení podpory aktualizace v Dataflow Gen2
Odesláno (4. čtvrtletí 2023)
Typ verze: Public Preview
Přidáváme podporu pro zrušení probíhajících aktualizací Toku dat Gen2 ze zobrazení položek pracovního prostoru.
Vylepšení prostředí dat (procházení prostředků Azure)
Odesláno (Q1 2024)
Typ verze: Public Preview
Procházení prostředků Azure poskytuje bezproblémovou navigaci pro procházení prostředků Azure. Svoje předplatná Azure můžete snadno procházet a připojovat se ke zdrojům dat prostřednictvím intuitivního uživatelského rozhraní. Pomůže vám rychle najít a připojit se k potřebným datům.
Podpora místní brány dat (OPDG) přidaná do datových kanálů
Odesláno (Q1 2024)
Typ verze: Public Preview
Tato funkce umožňuje datovým kanálům používat brány dat Fabric pro přístup k datům, která jsou místní a za virtuální sítí. Pro uživatele, kteří používají místní prostředí Integration Runtime (SHIR), budou moct přejít na místní brány dat v prostředcích infrastruktury.
Podpora rychlého kopírování v Toku dat Gen2
Odesláno (Q1 2024)
Typ verze: Public Preview
Přidáváme podporu pro příjem velkých objemů dat přímo v prostředí Dataflow Gen2 s využitím možností aktivity kopírování kanálů. To podporuje zdroje, jako jsou soubory Azure SQL Database, CSV a Parquet ve službě Azure Data Lake Storage a Blob Storage.
Toto vylepšení výrazně vertikálně navyšuje kapacitu zpracování dat toku dat Gen2, která poskytuje možnosti ELT (Extract-Load-Transform).
Integrace Gitu služby Data Factory pro datové kanály
Odesláno (Q1 2024)
Typ verze: Public Preview
Ke svému úložišti Git se můžete připojit a vyvíjet datové kanály způsobem, který spolupracuje. Integrace datových kanálů s funkcí ALM (Application Lifecycle Management) platformy Fabric umožňuje správu verzí, větvení, potvrzení a žádosti o přijetí změn.
Vylepšení výstupních cílů v Toku dat Gen2 (schéma dotazů)
Odesláno (Q1 2024)
Typ verze: Public Preview
Vylepšujeme výstupní cíle v toku dat Gen2 s následujícími vysoce požadovanými funkcemi:
- Schopnost zpracovávat změny schématu dotazů po konfiguraci cíle výstupu
- Výchozí nastavení cíle pro zrychlení vytváření toků dat
Další informace najdete v tématu Cíle a spravovaná nastavení toku dat Gen2.