A Data Factory újdonságai és tervezett tervei a Microsoft Fabricben
Fontos
A kiadási csomagok olyan funkciókat írnak le, amelyek esetleg még nem jelentek meg. A szállítási ütemtervek és az előre jelzett funkciók változhatnak vagy nem szállíthatók. További információért tekintse meg a Microsoft szabályzatát .
A Data Factory a Microsoft Fabricben egyesíti a polgárok adatintegrálási és a pro adatintegrációs képességeit egyetlen, modern adatintegrációs felülettel. Több mint 100 relációs és nem kapcsolati adatbázishoz, lakehouse-hoz, adattárházhoz, általános interfészekhez, például REST API-khoz, OData-hoz és sok máshoz biztosít kapcsolatot.
Adatfolyamok: Az Adatfolyam Gen2 lehetővé teszi a nagy léptékű adatátalakításokat, és támogatja az Azure SQL Database-be, a Lakehouse-ba, az Adattárházba stb. írt különböző kimeneti célhelyeket. Az adatfolyam-szerkesztő több mint 300 átalakítást kínál, beleértve az AI-alapú beállításokat is, és lehetővé teszi az adatok egyszerű átalakítását, nagyobb rugalmassággal, mint bármely más eszköz. Akár strukturálatlan adatforrásból, például weblapról nyer ki adatokat, akár egy meglévő táblát alakít át a Power Query-szerkesztőben, egyszerűen alkalmazhatja a Power Query adatkinyerését például, amely mesterséges intelligenciát (AI) használ, és leegyszerűsíti a folyamatot.
Adatfolyamok: Az adatfolyamok sokoldalú adatvezénylési munkafolyamatokat hozhatnak létre, amelyek olyan feladatokat foglalnak össze, mint az adatkinyerés, a betöltés az előnyben részesített adattárakba, a jegyzetfüzetek végrehajtása, az SQL-szkriptek végrehajtása stb. Gyorsan létrehozhat hatékony metaadat-alapú adatfolyamokat, amelyek automatizálják az ismétlődő feladatokat. Például adatok betöltése és kinyerése egy adatbázis különböző tábláiból, iterálás több tárolón keresztül az Azure Blob Storage-ban stb. Emellett az adatfolyamokkal a Microsoft 365-ből is elérheti az adatokat a Microsoft Graph Adatösszekötő ion (MGDC) összekötő használatával.
További információért tekintse meg a dokumentációt.
Beruházási területek
A következő néhány hónapban a Microsoft Fabric Data Factory kiterjeszti csatlakozási lehetőségeit, és továbbra is bővíti az átalakítások és az adatfolyam-tevékenységek gazdag tárát. Emellett lehetővé teszi, hogy valós idejű, nagy teljesítményű adatreplikálást végezzen az operatív adatbázisokból, és ezeket az adatokat elemzés céljából a tóba hozza.
Adatforrás-identitáskezelés (SPN)
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Általános rendelkezésre állás
Szolgáltatásnév – Az Azure AD-bérlő által védett erőforrások eléréséhez a hozzáférést igénylő entitást egy biztonsági tagnak kell képviselnie. A szolgáltatásnévvel csatlakozhat az adatforrásokhoz.
A SparkJobDefinition adatfolyam-támogatása
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Általános rendelkezésre állás
Most már végrehajthatja a Spark-kódot, beleértve a JAR-fájlokat is, közvetlenül egy folyamattevékenységből. Csak mutasson a Spark-kódra, és a folyamat végrehajtja a feladatot a Spark-fürtön a Fabricben. Ez az új tevékenység izgalmas adat-munkafolyamat-mintákat tesz lehetővé, amelyek kihasználják a Fabric Spark-motorjának hatékonyságát, miközben a Data Factory vezérlőfolyamatát és adatfolyam-képességeit ugyanabban a folyamatban, mint a Spark-feladatok.
Az Azure HDinsight adatfolyam-támogatása
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Általános rendelkezésre állás
A HD Insight a Hadoophoz készült Azure PaaS szolgáltatás, amely lehetővé teszi a fejlesztők számára, hogy nagy teljesítményű big data-megoldásokat építsenek a felhőben. Az új HDI-folyamattevékenység lehetővé teszi a HD Elemzések feladattevékenységeket a Data Factory-adatfolyamokban, hasonlóan a meglévő funcationality-hez, amelyet az ADF-ben és a Synapse-folyamatokban évek óta követ. Ezt a képességet most közvetlenül a Fabric-adatfolyamokba hoztuk.
A munkaterületek közötti adatfolyamatok meghívásának támogatása
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Nyilvános előzetes verzió
Folyamatok tevékenységfrissítésének meghívása: Engedélyezünk néhány új és izgalmas frissítést a Folyamat meghívása tevékenységhez. A túlterhelt ügyfél- és közösségi kérésekre válaszul engedélyezzük az adatfolyamok futtatását a munkaterületeken. Mostantól más munkaterületekről is meghívhat folyamatokat, amelyek végrehajtásához hozzáféréssel rendelkezik. Ez nagyon izgalmas adat-munkafolyamat-mintákat tesz lehetővé, amelyek az adatmérnöki és integrációs csapatok együttműködését használhatják a munkaterületeken és a funkcionális csapatok között.
Adatfolyam-támogatás eseményvezérelt eseményindítókhoz
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Nyilvános előzetes verzió
A Data Factory-adatfolyamok meghívásának gyakori felhasználási esete a folyamat elindítása olyan fájlesemények esetén, mint a fájl érkezése és a fájltörlés. Az ADF-ből vagy a Synapse-ból a Fabricbe érkező ügyfelek számára az ADLS/Blog storage-események használata nagyon gyakori módja annak, hogy jelezzen egy új folyamat végrehajtását, vagy rögzítse a létrehozott fájlok nevét. A Fabric Data Factory eseményindítói kihasználják a Fabric platform képességeit, beleértve az Esemény adatfolyamok és a Reflex-eseményindítókat. A Fabric Data Factory folyamattervező vásznán egy Trigger gomb látható, amellyel reflexes eseményindítót hozhat létre a folyamathoz, vagy közvetlenül az Adataktiváló felületről is létrehozhatja az eseményindítót.
Új összekötők másolási tevékenységhez
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Nyilvános előzetes verzió
Új összekötők lesznek hozzáadva a Copy tevékenység számára, hogy lehetővé tegye az ügyfél számára a következő forrásokból való betöltést, miközben az adatfolyamot használja: Oracle, MySQL, Azure MySQL Database, Azure AI Search, Azure Files, Dynamics AX, Azure Files, Google BigQuery.
Adat-munkafolyamatok: Apache Airflow-alapú adatfolyamok létrehozása
Becsült kiadási idővonal: 2024. második negyedév
Kiadás típusa: Nyilvános előzetes verzió
Az adat-munkafolyamatokat az Apache Airflow működteti, és integrált Apache Airflow futtatókörnyezetet kínál, amely lehetővé teszi a Python DAG-k egyszerű elkészítését, végrehajtását és ütemezését.
Copilot for Data Factory (Adatfolyam)
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Általános rendelkezésre állás
A Data Factoryhez készült Copilot (Dataflow) lehetővé teszi az ügyfelek számára, hogy természetes nyelv használatával fejezzék ki követelményeiket, amikor adatintegrációs megoldásokat hoznak létre a Dataflows Gen2-vel.
A 2. generációs adatfolyam kimeneti célhelyének átmeneti alapértelmezett beállítása
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
A Dataflow Gen2 számos adatforrásból származó adatok betöltését teszi lehetővé a Fabric OneLake-be. Az adatok előkészítéskor nagy léptékben átalakíthatók a Nagy léptékű Adatfolyamok Gen2 motor használatával (Fabric Lakehouse/Warehouse SQL-számítás alapján).
A 2. generációs adatfolyamok alapértelmezett viselkedése az adatok a OneLake-ben történő előkészítése a nagy léptékű adatátalakítások engedélyezéséhez. Bár ez nagyszerűen működik a nagy léptékű forgatókönyvek esetében, nem működik olyan helyzetekben, amelyekben kis mennyiségű adat van betöltve, mivel ez egy extra ugrást (előkészítést) vezet be az adatokhoz, mielőtt végül betöltené őket az adatfolyam kimeneti célhelyére.
A tervezett fejlesztésekkel finomhangoljuk a letiltandó alapértelmezett átmeneti viselkedést olyan kimeneti célhelyű lekérdezések esetében, amelyekhez nincs szükség előkészítésre (nevezetesen a Fabric Lakehouse-ra és az Azure SQL Database-re).
Az előkészítési viselkedés manuálisan konfigurálható lekérdezésenként a Lekérdezés Gépház panelen vagy a Lekérdezések panel lekérdezési helyi menüjén keresztül.
Növekményes frissítés támogatása a Dataflow Gen2-ben
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Növekményes frissítési támogatást adunk hozzá a Dataflow Gen2-ben. Ezzel a funkcióval növekményesen kinyerheti az adatokat az adatforrásokból, Power Query-átalakításokat alkalmazhat, és betölthet különböző kimeneti célhelyekre.
Adatfolyam-támogatás a DBT parancssori felületéhez
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
DBT CLI Vezénylés (Adatépítő eszköz): Az adatátalakítási munkafolyamatok adat-összeállítási eszközét (dbt) tartalmazza.
Az Azure Databricks-feladatok adatfolyam-támogatása
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Frissítjük a Data Factory-adatfolyamatokat az Azure Databricks-tevékenységekre, hogy a legújabb feladatok API-t használjuk, így izgalmas munkafolyamat-képességeket tesz lehetővé, például DLT-feladatok végrehajtását.
Feladat másolása
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
A Másolási feladat leegyszerűsíti az adatok betöltésére szoruló ügyfelek felhasználói élményét anélkül, hogy adatfolyamot vagy adatfolyamot kellene létrehoznia. A Másolási feladat támogatja a teljes és növekményes másolást bármely adatforrásból bármilyen adatforrásból bármilyen adatforrásba.
Copilot for Data Factory (Adatfolyam)
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
A Data Factoryhez készült Copilot (data pipeline) lehetővé teszi az ügyfelek számára, hogy természetes nyelven építsenek adatfolyamokat, és hibaelhárítási útmutatást nyújtanak.
Továbbfejlesztett e-mail-értesítések frissítési hibák esetén
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Az e-mail-értesítések lehetővé teszik, hogy a Dataflow Gen2 létrehozói figyeljék az adatfolyam frissítési műveletének eredményeit (sikerességét/sikertelenségét).
Adatfolyamok 2. generációs partícióalapú párhuzamos betöltés
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Jelenleg a partíciókat támogató adatforráson lekérdezéseket tartalmazó Gen2 adatfolyamok egymás után frissítik az ezeken a lekérdezéseken belüli partíciókat. Erre a viselkedésre példa az a lekérdezés, amely egy mappán fut, és betölti a mappában lévő összes fájlt (majd elemzi őket táblákba, egyetlen táblába egyesítve stb.).
A tervezett fejlesztésekkel optimalizáljuk az ilyen lekérdezések vezénylését, hogy az egyes forráspartíciók feldolgozása párhuzamosan fusson. Ez az optimalizálás jelentősen csökkentheti az adatfolyamok teljes futási időtartamát.
Adatforrás-identitáskezelés (felügyelt identitás)
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Ez lehetővé teszi a felügyelt identitás munkaterületi szintű konfigurálását. A Fabric által felügyelt identitásokkal biztonságosan csatlakozhat az adatforráshoz.
Adatforrás-identitáskezelés (Azure Key Vault)
Becsült kiadási idővonal: 2024. harmadik negyedév
Kiadás típusa: Nyilvános előzetes verzió
Az Azure Key Vault támogatása – Kulcsait és titkos kulcsait az Azure Key Vaultban tárolhatja, és csatlakozhat hozzá. Így egyetlen helyen kezelheti a kulcsokat.
A kapcsolatok paraméterezésének engedélyezése az ügyfelek számára
Becsült kiadási idővonal: 2024 negyedik negyedéve
Kiadás típusa: Nyilvános előzetes verzió
A Csatlakozás ionok közös keretrendszert biztosítanak az adattárak kapcsolatának és hitelesítésének meghatározásához. Ezek a kapcsolatok különböző elemek között oszthatók meg. A paraméterezés támogatásával összetett és újrafelhasználható folyamatokat, jegyzetfüzeteket, adatfolyamokat és egyéb elemtípusokat hozhat létre.
Kiszállított szolgáltatás(ok)
Frissítési támogatás lemondása a Dataflow Gen2-ben
Kiszállított (2023. negyedik negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Támogatást adunk ahhoz, hogy megszakítsuk a folyamatban lévő Adatfolyam Gen2-frissítéseket a munkaterület elemeinek nézetéből.
Az adatélmény fejlesztései (Az Azure-erőforrások tallózása)
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Az Azure-erőforrások böngészése zökkenőmentes navigációt biztosít az Azure-erőforrások böngészéséhez. Könnyen navigálhat az Azure-előfizetésekben, és intuitív felhasználói felületen csatlakozhat az adatforrásokhoz. Segít gyorsan megtalálni és csatlakozni a szükséges adatokhoz.
A helyszíni adatátjáró (OPDG) támogatása az adatfolyamokhoz hozzáadva
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
Ez a funkció lehetővé teszi, hogy az adatfolyamok Fabric-adatátjárókkal férhessenek hozzá a helyszíni és a virtuális hálózat mögötti adatokhoz. A saját üzemeltetésű integrációs modulokat (SHIR) használó felhasználók a Fabric helyszíni adatátjáróiba léphetnek.
Gyors másolás támogatása a Dataflow Gen2-ben
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A folyamatok másolási tevékenységének funkcióját kihasználva közvetlenül az Adatfolyam Gen2-élményen belül támogatjuk a nagy méretű adatbetöltést. Ez olyan forrásokat támogat, mint az Azure SQL Databases, a CSV és a Parquet-fájlok az Azure Data Lake Storage-ban és a Blob Storage-ban.
Ez a fejlesztés jelentősen skálázza az Adatfolyam Gen2 adatfeldolgozási kapacitását, amely nagy léptékű ELT (Extract-Load-Transform) képességeket biztosít.
Data Factory Git-integráció adatfolyamokhoz
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Git-adattárhoz csatlakozhat az adatfolyamok együttműködésen alapuló fejlesztéséhez. Az adatfolyamok integrálása a Fabric platform alkalmazás-életciklus-kezelési (ALM) funkciójával lehetővé teszi a verziókövetést, az elágaztatást, a véglegesítést és a lekéréses kérelmeket.
Fejlesztések a kimeneti célhelyekhez a Dataflow Gen2-ben (lekérdezési séma)
Kiszállított (2024. első negyedév)
Kiadás típusa: Nyilvános előzetes verzió
A Dataflow Gen2 kimeneti célhelyeit a következő, magas rendelkezésre állású képességekkel bővítjük:
- A lekérdezési séma változásainak kezelése a kimeneti cél konfigurálása után.
- Alapértelmezett célbeállítások az adatfolyamok létrehozásának felgyorsításához.
További információ: Dataflow Gen2-adatcélok és felügyelt beállítások