A Data Factory újdonságai és tervezett tervei a Microsoft Fabricben
Fontos
A kiadási csomagok olyan funkciókat írnak le, amelyek esetleg még nem jelentek meg. A szállítási ütemtervek és az előre jelzett funkciók változhatnak vagy nem szállíthatók. További információért tekintse meg a Microsoft szabályzatát .
A Data Factory a Microsoft Fabricben egyesíti a polgárok adatintegrálási és a pro adatintegrációs képességeit egyetlen, modern adatintegrációs felülettel. Több mint 100 relációs és nem kapcsolati adatbázishoz, lakehouse-hoz, adattárházhoz, általános interfészekhez, például REST API-khoz, OData-hoz és sok máshoz biztosít kapcsolatot.
Adatfolyamok: Az Adatfolyam Gen2 lehetővé teszi a nagy léptékű adatátalakításokat, és támogatja az Azure SQL Database-be, a Lakehouse-ba, az Adattárházba stb. írt különböző kimeneti célhelyeket. Az adatfolyam-szerkesztő több mint 300 átalakítást kínál, beleértve az AI-alapú beállításokat is, és lehetővé teszi az adatok egyszerű átalakítását, nagyobb rugalmassággal, mint bármely más eszköz. Akár strukturálatlan adatforrásból, például weblapról nyer ki adatokat, akár egy meglévő táblát alakít át a Power Query-szerkesztőben, egyszerűen alkalmazhatja a Power Query adatkinyerését például, amely mesterséges intelligenciát (AI) használ, és leegyszerűsíti a folyamatot.
Adatfolyamok: Az adatfolyamok sokoldalú adatvezénylési munkafolyamatokat hozhatnak létre, amelyek olyan feladatokat foglalnak össze, mint az adatkinyerés, a betöltés az előnyben részesített adattárakba, a jegyzetfüzetek végrehajtása, az SQL-szkriptek végrehajtása stb. Gyorsan létrehozhat hatékony metaadat-alapú adatfolyamokat, amelyek automatizálják az ismétlődő feladatokat. Például adatok betöltése és kinyerése egy adatbázis különböző tábláiból, iterálás több tárolón keresztül az Azure Blob Storage-ban stb. Emellett az adatfolyamokkal a Microsoft 365-ből is elérheti az adatokat a Microsoft Graph Adatösszekötő ion (MGDC) összekötő használatával.
További információért tekintse meg a dokumentációt.
Beruházási területek
A következő néhány hónapban a Microsoft Fabric Data Factory kiterjeszti csatlakozási lehetőségeit, és továbbra is bővíti az átalakítások és az adatfolyam-tevékenységek gazdag tárát. Emellett lehetővé teszi, hogy valós idejű, nagy teljesítményű adatreplikálást végezzen az operatív adatbázisokból, és ezeket az adatokat elemzés céljából a tóba hozza.
Adatfolyam-támogatás a DBT-hez
Becsült kiadási idővonal: 2024. első negyedév
Kiadás típusa: Nyilvános előzetes verzió
DBT CLI Vezénylés (Adatépítő eszköz): Az adatátalakítási munkafolyamatok adat-összeállítási eszközét (dbt) tartalmazza.
Gyors másolás támogatása a Dataflow Gen2-ben
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Általános rendelkezésre állás
A folyamatok másolási tevékenységének funkcióját kihasználva közvetlenül az Adatfolyam Gen2-élményen belül támogatjuk a nagy méretű adatbetöltést. Ez a fejlesztés jelentősen skálázza az Adatfolyam Gen2 adatfeldolgozási kapacitását, amely nagy léptékű ELT (Extract-Load-Transform) képességeket biztosít.
Adatforrás-identitáskezelés (felügyelt identitás)
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Ez lehetővé teszi a felügyelt identitás munkaterületi szintű konfigurálását. A Fabric által felügyelt identitásokkal biztonságosan csatlakozhat az adatforráshoz.
Data Factory Git-integráció adatfolyamokhoz
Becsült kiadási idővonal: 2024 negyedik negyedéve
Kiadás típusa: Nyilvános előzetes verzió
Csatlakozhat egy Git-adattárhoz, és fejlesztheti adatfolyamait. Ez a funkció lehetővé teszi a verziókövetéssel való integrációt, valamint véglegesítési és lekéréses kérelmeket kínál.
Copilot for Data Factory (Adatfolyam)
Becsült kiadási idővonal: 2024 negyedik negyedéve
Kiadás típusa: Nyilvános előzetes verzió
A Data Factoryhez készült Copilot (data pipeline) lehetővé teszi az ügyfelek számára, hogy természetes nyelven építsenek adatfolyamokat, és hibaelhárítási útmutatást nyújtanak.
Kiszállított szolgáltatás(ok)
A helyszíni adatátjáró (OPDG) támogatása az adatfolyamokhoz hozzáadva
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Általános rendelkezésre állás
Ez a funkció lehetővé teszi, hogy az adatfolyamok Fabric-adatátjárókkal férhessenek hozzá a helyszíni és a virtuális hálózat mögötti adatokhoz. A saját üzemeltetésű integrációs modulokat (SHIR) használó felhasználók a Fabric helyszíni adatátjáróiba léphetnek.
A munkaterületek közötti adatfolyamatok meghívásának támogatása
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Folyamatok tevékenységfrissítésének meghívása: Engedélyezünk néhány új és izgalmas frissítést a Folyamat meghívása tevékenységhez. A túlterhelt ügyfél- és közösségi kérésekre válaszul engedélyezzük az adatfolyamok futtatását a munkaterületeken. Mostantól más munkaterületekről is meghívhat folyamatokat, amelyek végrehajtásához hozzáféréssel rendelkezik. Ez nagyon izgalmas adat-munkafolyamat-mintákat tesz lehetővé, amelyek az adatmérnöki és integrációs csapatok együttműködését használhatják a munkaterületeken és a funkcionális csapatok között.
Azure Data Factory a Fabricben
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Hozza a meglévő Azure Data Factoryt (ADF) a Fabric-munkaterületre! Ez egy új előzetes verziójú funkció, amely lehetővé teszi a meglévő ADF-gyárakhoz való csatlakozást a Fabric-munkaterületről.
Most már teljes mértékben kezelheti az ADF-gyárakat közvetlenül a Fabric-munkaterület felhasználói felületéről! Miután az ADF a Fabric-munkaterülethez van csatolva, ugyanúgy aktiválhatja, futtathatja és figyelheti a folyamatokat, mint az ADF-ben, de közvetlenül a Fabricben.
Növekményes frissítés támogatása a Dataflow Gen2-ben
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Növekményes frissítési támogatást adunk hozzá a Dataflow Gen2-ben. Ezzel a funkcióval növekményesen kinyerheti az adatokat az adatforrásokból, Power Query-átalakításokat alkalmazhat, és betölthet különböző kimeneti célhelyekre.
Az Azure Databricks-feladatok adatfolyam-támogatása
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Frissítjük a Data Factory-adatfolyamatokat az Azure Databricks-tevékenységekre, hogy a legújabb feladatok API-t használjuk, így izgalmas munkafolyamat-képességeket tesz lehetővé, például DLT-feladatok végrehajtását.
Továbbfejlesztett e-mail-értesítések frissítési hibák esetén
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Az e-mail-értesítések lehetővé teszik, hogy a Dataflow Gen2 létrehozói figyeljék az adatfolyam frissítési műveletének eredményeit (sikerességét/sikertelenségét).
Feladat másolása
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Másolási feladat leegyszerűsíti az adatok betöltésére szoruló ügyfelek felhasználói élményét anélkül, hogy adatfolyamot vagy adatfolyamot kellene létrehoznia. A Másolási feladat támogatja a teljes és növekményes másolást bármely adatforrásból bármilyen adatforrásból bármilyen adatforrásba. Regisztráljon most a privát előzetes verzióra.
Copilot for Data Factory (Adatfolyam)
Kiszállított (2024. harmadik negyedév)
Kiadás típusa: Általános rendelkezésre állás
A Data Factoryhez készült Copilot (Dataflow) lehetővé teszi az ügyfelek számára, hogy természetes nyelv használatával fejezzék ki követelményeiket, amikor adatintegrációs megoldásokat hoznak létre a Dataflows Gen2-vel.
A 2. generációs adatfolyam kimeneti célhelyének átmeneti alapértelmezett beállítása
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Dataflow Gen2 számos adatforrásból származó adatok betöltését teszi lehetővé a Fabric OneLake-be. Az adatok előkészítéskor nagy léptékben átalakíthatók a Nagy léptékű Adatfolyamok Gen2 motor használatával (Fabric Lakehouse/Warehouse SQL-számítás alapján).
A 2. generációs adatfolyamok alapértelmezett viselkedése az adatok a OneLake-ben történő előkészítése a nagy léptékű adatátalakítások engedélyezéséhez. Bár ez nagyszerűen működik a nagy léptékű forgatókönyvek esetében, nem működik olyan helyzetekben, amelyekben kis mennyiségű adat van betöltve, mivel ez egy extra ugrást (előkészítést) vezet be az adatokhoz, mielőtt végül betöltené őket az adatfolyam kimeneti célhelyére.
A tervezett fejlesztésekkel finomhangoljuk a letiltandó alapértelmezett átmeneti viselkedést olyan kimeneti célhelyű lekérdezések esetében, amelyekhez nincs szükség előkészítésre (nevezetesen a Fabric Lakehouse-ra és az Azure SQL Database-re).
Az átmeneti viselkedés manuálisan konfigurálható lekérdezésenként a Lekérdezés beállításai panelen vagy a Lekérdezések panel lekérdezési helyi menüjén keresztül.
Adatfolyam-támogatás eseményvezérelt eseményindítókhoz
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Data Factory-adatfolyamok meghívásának gyakori felhasználási esete a folyamat elindítása olyan fájlesemények esetén, mint a fájl érkezése és a fájltörlés. Az ADF-ből vagy a Synapse-ból a Fabricbe érkező ügyfelek számára az ADLS/Blog storage-események használata nagyon gyakori módja annak, hogy jelezzen egy új folyamat végrehajtását, vagy rögzítse a létrehozott fájlok nevét. A Fabric Data Factory eseményindítói kihasználják a Fabric platform képességeit, például az EventStreams és a Reflex eseményindítókat. A Fabric Data Factory folyamattervező vásznán egy Trigger gomb látható, amellyel reflexes eseményindítót hozhat létre a folyamathoz, vagy közvetlenül az Adataktiváló felületről is létrehozhatja az eseményindítót.
A SparkJobDefinition adatfolyam-támogatása
Kiszállított (2024. második negyedév)
Kiadás típusa: Általános rendelkezésre állás
Most már végrehajthatja a Spark-kódot, beleértve a JAR-fájlokat is, közvetlenül egy folyamattevékenységből. Csak mutasson a Spark-kódra, és a folyamat végrehajtja a feladatot a Spark-fürtön a Fabricben. Ez az új tevékenység izgalmas adat-munkafolyamat-mintákat tesz lehetővé, amelyek kihasználják a Fabric Spark-motorjának hatékonyságát, miközben a Data Factory vezérlőfolyamatát és adatfolyam-képességeit ugyanabban a folyamatban, mint a Spark-feladatok.
Az Azure HDInsight adatfolyam-támogatása
Kiszállított (2024. második negyedév)
Kiadás típusa: Általános rendelkezésre állás
A HDInsight a Hadoophoz készült Azure PaaS szolgáltatás, amely lehetővé teszi a fejlesztők számára, hogy nagy teljesítményű big data-megoldásokat építsenek a felhőben. Az új HDI-folyamattevékenység lehetővé teszi a HDInsights-feladattevékenységeket a Data Factory-adatfolyamokban, hasonlóan a meglévő funcationality-hez, amelyet az ADF- és Synapse-folyamatokban évek óta követ. Ezt a képességet most közvetlenül a Fabric-adatfolyamokba hoztuk.
Új összekötők másolási tevékenységhez
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Új összekötők lesznek hozzáadva a Copy tevékenység számára, hogy lehetővé tegye az ügyfél számára a következő forrásokból való betöltését, miközben az adatfolyamot használja: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Apache Airflow-feladat: Apache Airflow-alapú adatfolyamok létrehozása
Kiszállított (2024. második negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Az Apache Airflow-feladat (korábbi nevén Data-munkafolyamatok) az Apache Airflow-ból indulnak ki, és integrált Apache Airflow futtatókörnyezetet kínálnak, lehetővé téve a Python DAG-k egyszerű elkészítését, végrehajtását és ütemezését.
Adatforrás-identitáskezelés (SPN)
Kiszállított (2024. második negyedév)
Kiadás típusa: Általános rendelkezésre állás
Szolgáltatásnév – Az Azure AD-bérlő által védett erőforrások eléréséhez a hozzáférést igénylő entitást egy biztonsági tagnak kell képviselnie. A szolgáltatásnévvel csatlakozhat az adatforrásokhoz.
Az adatélmény fejlesztései (Az Azure-erőforrások tallózása)
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Az Azure-erőforrások böngészése zökkenőmentes navigációt biztosít az Azure-erőforrások böngészéséhez. Könnyen navigálhat az Azure-előfizetésekben, és intuitív felhasználói felületen csatlakozhat az adatforrásokhoz. Segít gyorsan megtalálni és csatlakozni a szükséges adatokhoz.
A helyszíni adatátjáró (OPDG) támogatása az adatfolyamokhoz hozzáadva
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Ez a funkció lehetővé teszi, hogy az adatfolyamok Fabric-adatátjárókkal férhessenek hozzá a helyszíni és a virtuális hálózat mögötti adatokhoz. A saját üzemeltetésű integrációs modulokat (SHIR) használó felhasználók a Fabric helyszíni adatátjáróiba léphetnek.
Data Factory Git-integráció adatfolyamokhoz
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Git-adattárhoz csatlakozhat az adatfolyamok együttműködésen alapuló fejlesztéséhez. Az adatfolyamok integrálása a Fabric platform alkalmazás-életciklus-kezelési (ALM) funkciójával lehetővé teszi a verziókövetést, az elágaztatást, a véglegesítést és a lekéréses kérelmeket.
Fejlesztések a kimeneti célhelyekhez a Dataflow Gen2-ben (lekérdezési séma)
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Dataflow Gen2 kimeneti célhelyeit a következő, magas rendelkezésre állású képességekkel bővítjük:
- A lekérdezési séma változásainak kezelése a kimeneti cél konfigurálása után.
- Alapértelmezett célbeállítások az adatfolyamok létrehozásának felgyorsításához.
További információ: Dataflow Gen2-adatcélok és felügyelt beállítások
Gyors másolás támogatása a Dataflow Gen2-ben
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A folyamatok másolási tevékenységének funkcióját kihasználva közvetlenül az Adatfolyam Gen2-élményen belül támogatjuk a nagy méretű adatbetöltést. Ez olyan forrásokat támogat, mint az Azure SQL Databases, a CSV és a Parquet-fájlok az Azure Data Lake Storage-ban és a Blob Storage-ban.
Ez a fejlesztés jelentősen skálázza az Adatfolyam Gen2 adatfeldolgozási kapacitását, amely nagy léptékű ELT (Extract-Load-Transform) képességeket biztosít.
Frissítési támogatás lemondása a Dataflow Gen2-ben
Kiszállított (2023. negyedik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Támogatást adunk ahhoz, hogy megszakítsuk a folyamatban lévő Adatfolyam Gen2-frissítéseket a munkaterület elemeinek nézetéből.