Co je nového a plánujeme pro Synapse Datoví technici v Microsoft Fabric
Důležité
Plány vydaných verzí popisují funkce, které mohly nebo ještě nebyly vydány. Časové osy doručení a předpokládané funkce se můžou změnit nebo nemusí dodávat. Další informace najdete v zásadách Microsoftu.
Synapse Datoví technici ing umožňuje datovým inženýrům transformovat data ve velkém měřítku pomocí Sparku a vytvářet architekturu jezera.
Lakehouse pro všechna data vaší organizace: Lakehouse kombinuje to nejlepší z datového jezera a datového skladu v jediném prostředí. Umožňuje uživatelům ingestovat, připravovat a sdílet data organizace v otevřeném formátu v jezeře. Později k němu budete mít přístup prostřednictvím několika modulů, jako je Spark, T-SQL a Power BI. Poskytuje různé možnosti integrace dat, jako jsou toky dat a kanály, klávesové zkratky pro externí zdroje dat a možnosti sdílení datových produktů.
Výkonný modul Spark a modul runtime: Technologie Synapse Data poskytuje zákazníkům optimalizovaný modul runtime Sparku s nejnovějšími verzemi Sparku, Delta a Pythonu. Používá Delta Lake jako společný formát tabulky pro všechny moduly, což umožňuje snadné sdílení dat a vytváření sestav bez přesunu dat. Modul runtime se dodává s optimalizacemi Sparku a vylepšuje výkon dotazů bez jakýchkoli konfigurací. Nabízí také úvodní fondy a režim vysoké souběžnosti, které urychlují a znovu používají relace Sparku, což šetří čas a náklady.
Správci Sparku a konfigurace: Správci pracovního prostoru s příslušnými oprávněními můžou vytvářet a konfigurovat vlastní fondy pro optimalizaci výkonu a nákladů na úlohy Sparku. Tvůrci můžou nakonfigurovat prostředí pro instalaci knihoven, vybrat verzi modulu runtime a nastavit vlastnosti Sparku pro své poznámkové bloky a úlohy Sparku.
Prostředí pro vývojáře: Vývojáři můžou k vytváření a spouštění kódu Spark v prostředcích infrastruktury používat poznámkové bloky, úlohy Sparku nebo upřednostňované integrované vývojové prostředí (IDE). Můžou nativně přistupovat k datům lakehouse, spolupracovat s ostatními, instalovat knihovny, sledovat historii, provádět online monitorování a získávat doporučení od poradce pro Spark. Data Wrangler můžou také použít k snadné přípravě dat pomocí uživatelského rozhraní s nízkým kódem.
Integrace platformy: Všechny položky přípravy dat Synapse, včetně poznámkových bloků, úloh Sparku, prostředí a jezerahouse, jsou hluboko integrované do platformy Fabric (možnosti správy podnikových informací, rodokmen, popisky citlivosti a doporučení).
Investiční oblasti
| Funkce | Odhadovaná časová osa vydání |
|---|---|
| Vysoká souběžnost v kanálech | Q3 2024 |
| VS Code pro web – podpora ladění | Q3 2024 |
| Rozšíření VSCode Core pro Prostředky infrastruktury | Q3 2024 |
| Satelitní rozšíření VSCode pro funkce uživatelských dat v prostředcích infrastruktury | Q3 2024 |
| Možnost řazení a filtrování tabulek a složek v Lakehouse | Q4 2024 |
| Veřejná rozhraní API pro monitorování | Q4 2024 |
| Zabezpečení dat Lakehouse | Q4 2024 |
| Podpora schématu a pracovní prostor v oboru názvů v Lakehouse | Odesláno (3. čtvrtletí 2024) |
| Konektor Spark pro datový sklad prostředků infrastruktury | Odesláno (2. čtvrtletí 2024) |
| Nativní prováděcí modul Sparku | Odesláno (2. čtvrtletí 2024) |
| Vytváření a připojení prostředí | Odesláno (2. čtvrtletí 2024) |
| Rozhraní Microsoft Fabric API pro GraphQL | Odesláno (2. čtvrtletí 2024) |
| Řazení úloh do fronty pro úlohy poznámkového bloku | Odesláno (2. čtvrtletí 2024) |
| Optimistické přijetí úloh pro Fabric Spark | Odesláno (2. čtvrtletí 2024) |
| Automatické ladění Sparku | Odesláno (Q1 2024) |
Vysoká souběžnost v kanálech
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Obecná dostupnost
Kromě vysoké souběžnosti vpoznámkch Tato funkce vám umožní spouštět více poznámkových bloků v kanálu s jednou relací.
VS Code pro web – podpora ladění
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Visual Studio Code pro web se v současné době podporuje ve verzi Preview pro scénáře vytváření a spouštění. Do seznamu funkcí přidáme možnost ladit kód pomocí tohoto rozšíření pro poznámkový blok.
Rozšíření VSCode Core pro Prostředky infrastruktury
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Základní rozšíření VSCode pro Prostředky infrastruktury poskytne společnou podporu pro vývojáře pro služby Fabric.
Satelitní rozšíření VSCode pro funkce uživatelských dat v prostředcích infrastruktury
Odhadovaná časová osa vydání: 3. čtvrtletí 2024
Typ verze: Public Preview
Rozšíření VSCode Satellite pro User Data Functions bude poskytovat podporu pro vývojáře (úpravy, sestavování, ladění, publikování) pro funkce uživatelských dat v prostředcích infrastruktury.
Možnost řazení a filtrování tabulek a složek v Lakehouse
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Obecná dostupnost
Tato funkce umožňuje zákazníkům řadit a filtrovat tabulky a složky v Lakehouse několika různými metodami, včetně abecedy, data vytvoření a dalších.
Veřejná rozhraní API pro monitorování
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Obecná dostupnost
Veřejná rozhraní API pro monitorování umožňují programově načíst stav úloh Sparku, souhrny úloh a odpovídající protokoly ovladače a exekutoru.
Zabezpečení dat Lakehouse
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
V jezeře budete mít možnost použít zabezpečení souborů, složek a tabulek (nebo na úrovni objektů). Můžete také řídit, kdo má přístup k datům v jezeře, a úroveň oprávnění, která mají. Můžete například udělit oprávnění ke čtení u souborů, složek a tabulek. Po použití oprávnění se automaticky synchronizují napříč všemi moduly. To znamená, že oprávnění jsou konzistentní napříč Sparkem, SQL, Power BI a externími moduly.
Odeslané funkce
Podpora schématu a pracovní prostor v oboru názvů v Lakehouse
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
To umožní uspořádat tabulky pomocí schémat a dotazovat data napříč pracovními prostory.
Konektor Spark pro datový sklad prostředků infrastruktury
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Konektor Sparku pro Data Warehouse (Data Warehouse) umožňuje vývojáři Sparku nebo datovému vědci přistupovat k datům z datového skladu Fabric a pracovat na nich pomocí zjednodušeného rozhraní Spark API, které doslova funguje jenom s jedním řádkem kódu. Nabízí možnost dotazovat se na data paralelně z datového skladu Fabric, aby se škáluje s rostoucím objemem dat a respektuje model zabezpečení (OLS/RLS/CLS) definovaný na úrovni datového skladu při přístupu k tabulce nebo zobrazení. Tato první verze bude podporovat pouze čtení dat a podpora pro zápis dat zpět bude brzy k dispozici.
Nativní prováděcí modul Sparku
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Nativní prováděcí modul je zásadní vylepšení pro spouštění úloh Apache Sparku v Microsoft Fabric. Tento vektorizovaný modul optimalizuje výkon a efektivitu dotazů Sparku jejich spuštěním přímo v infrastruktuře lakehouse. Bezproblémová integrace modulu znamená, že nevyžaduje žádné úpravy kódu a zabraňuje uzamčení dodavatele. Podporuje rozhraní Apache Spark API a je kompatibilní s modulem Runtime 1.2 (Spark 3.4) a funguje s formáty Parquet i Delta. Bez ohledu na umístění dat v rámci OneLake nebo pokud přistupujete k datům prostřednictvím zástupců, nativní prováděcí modul maximalizuje efektivitu a výkon.
Vytváření a připojení prostředí
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Pokud chcete prostředí Sparku přizpůsobit na podrobnější úrovni, můžete vytvářet a připojovat prostředí k poznámkovým blokům a úlohám Sparku. V prostředí můžete nainstalovat knihovny, nakonfigurovat nový fond, nastavit vlastnosti Sparku a nahrát skripty do systému souborů. To vám dává větší flexibilitu a kontrolu nad úlohami Sparku, aniž by to mělo vliv na výchozí nastavení pracovního prostoru. V rámci ga provádíme různá vylepšení prostředí, včetně podpory rozhraní API a integrace CI/CD.
Rozhraní Microsoft Fabric API pro GraphQL
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Rozhraní API pro GraphQL umožní datovým inženýrům infrastruktury, vědcům, architektům datových řešení snadno zveřejnit a integrovat data Fabric, aby mohli rychleji reagovat, provádět a bohaté analytické aplikace s využitím výkonu a flexibility GraphQL.
Řazení úloh do fronty pro úlohy poznámkového bloku
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Tato funkce umožňuje, aby se naplánované poznámkové bloky Sparku zařadily do fronty, když je využití Sparku na maximálním počtu úloh, které může spustit paralelně, a pak se spustí, jakmile se využití vrátí pod maximální povolený počet paralelních úloh.
Optimistické přijetí úloh pro Fabric Spark
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
V případě optimistického přístupu úloh si Spark pouze vyhrazuje minimální počet jader, která úloha musí spustit, na základě minimálního počtu uzlů, na které může úloha vertikálně snížit kapacitu. To umožňuje povolení více úloh, pokud je k dispozici dostatek prostředků pro splnění minimálních požadavků. Pokud se úloha potřebuje vertikálně navýšit kapacitu později, žádosti o vertikální navýšení kapacity se schválí nebo zamítnou na základě dostupných jader v kapacitě.
Automatické ladění Sparku
Odesláno (Q1 2024)
Typ verze: Public Preview
Autotune používá strojové učení k automatické analýze předchozích spuštění úloh Sparku a ladění konfigurací za účelem optimalizace výkonu. Konfiguruje způsob dělení, připojení a čtení dat sparkem. Tímto způsobem výrazně zlepší výkon. Viděli jsme, že úlohy zákazníků s touto schopností běží 2x rychleji.