Neuerungen und Planungen für OneLake in Microsoft Fabric
Artikel
Wichtig
In den Freigabeplänen werden Funktionen beschrieben, die möglicherweise noch nicht freigegeben wurden. Die Liefer-Zeitachsen und die geplante Funktion können sich ändern oder werden möglicherweise nicht geliefert. Weitere Informationen finden Sie unter Microsoft-Richtlinie.
OneLake ist ein einziger, einheitlicher, logischer Data Lake für Ihre gesamte Organisation. Wie OneDrive wird OneLake automatisch mit jedem Microsoft Fabric-Mandanten bereitgestellt und ist als zentraler Ort für alle Ihre Analysedaten konzipiert.
Alle Daten in OneLake funktionieren mit sofort einsatzbereiter Governance wie Datenherkunft, Datenschutz, Zertifizierung, Katalogintegration usw. und unterliegen letztendlich der Kontrolle eines Mandanten-Admins. Innerhalb eines Mandanten ermöglichen Arbeitsbereiche es verschiedenen Teilen der Organisation, unabhängig zu arbeiten und gleichzeitig zum gleichen Data Lake beizutragen.
OneLake ist auf jeder Ebene offen. OneLake unterstützt dieselben ADLS Gen2-APIs und -SDKs, die mit vorhandenen ADLS Gen2-Anwendungen kompatibel sind und jede Art von Datei, strukturiert oder unstrukturiert unterstützen können.
OneLake zielt darauf ab, Ihnen den größtmöglichen Nutzen aus einer einzigen Kopie der Daten zu bieten. Mit OneLake-Verknüpfungen können Sie Ihre Daten über Domänen, Clouds und Konten hinweg vereinheitlichen, indem Sie einen Verweis auf Daten erstellen, die an anderen Speicherorten gespeichert sind, z. B. an anderen OneLake-Speicherorten oder in ADLS oder S3, ohne dass Daten verschoben oder dupliziert werden. Sie können auch dieselben Daten über mehrere Analysemodule hinweg verwenden, da Fabric-Engines alle tabellarischen Daten in offenen Parkettformaten speichern. Es ist nicht mehr erforderlich, Daten zu kopieren, um sie nur mit einem anderen Modul zu verwenden.
Weitere Informationen finden Sie in der Dokumentation.
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Mit Microsoft OneLake können Sie Tabellenverknüpfungen zu Iceberg-Daten an anderen Orten erstellen, und diese Daten werden automatisch im Delta Lake-Format angezeigt.
OneLake erzeugt automatisch virtualisierte Delta Lake-Metadaten und stellt sie über die OneLake-Verknüpfung zur Verfügung. Dies bedeutet, dass Sie Ihre Iceberg-Daten mit allen Fabric-Workloads verwenden können, die mit formatierten Delta Lake-Daten arbeiten.
OneLake-Sicherheitsmodell
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Die Verwaltung der Datensicherheit über mehrere Analyse-Engines und Datenkopien hinweg ist eine Herausforderung. OneLake und Fabric vereinfachen dies, indem die Verwendung einer einzelnen Datenkopie über mehrere Analysemodule hinweg ohne Datenverschiebung oder Duplizierung ermöglicht wird. OneLake verbessert außerdem die Sicherheit mit einem feineren Modell, das den Zugriff auf Tabellen und Ordner zusätzlich zur Sicherheit auf Zeilen- und Spaltenebene ermöglicht. Diese Sicherheitsdefinitionen befinden sich bei den Daten und werden über Verknüpfungen überallhin mitgenommen, wo die Daten verwendet werden. Die bei OneLake definierte Sicherheit wird in mehreren Fabric-Analysemodulen konsequent erzwungen.
Allgemeine Verfügbarkeit von OneLake-Datenzugriffsrollen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
OneLake-Datenzugriffsrollen bauen auf den bestehenden Möglichkeiten des OneLake-Sicherheitsmodells auf, um die Granularität zu erhöhen, mit der Sicherheit innerhalb eines Fabric-Datenelements angewendet werden kann. Dieses Feature fügt ein vererbbares RBAC-Modell (rollenbasierte Zugriffssteuerung) hinzu, das die Verwaltung von Benutzenden und Berechtigungen für Daten in OneLake vereinfacht. Sie können Sicherheitsrollen definieren, die Lesezugriff auf bestimmte Ordner in OneLake gewähren, und diese Benutzenden oder Gruppen zuweisen. Die Zugriffsberechtigungen bestimmen, welche Ordner Benutzer beim Zugriff auf die Lakeanzeige der Daten sehen, entweder über die Lakehouse-UX, Notebooks oder OneLake-APIs.
Cacheunterstützung für lokales Datengateway in Onelake-Verknüpfungen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Das Zwischenspeichern von Tastenkombinationen kann dazu verwendet werden, die Egress-Kosten für den cloudübergreifenden Datenzugriff zu senken. Wenn Dateien über eine externe Verknüpfung gelesen werden, werden die Dateien in einem Cache für den Fabric-Arbeitsbereich gespeichert. Nachfolgende Leseanforderungen werden nicht vom Remotespeicher-Anbieter, sondern aus dem Cache bereitgestellt. Mit der Einführung der Cacheunterstützung für das lokale Datengateway können Sie diese Funktionen nutzen, während Sie eine Verbindung mit lokalen Daten oder Daten hinter einer Firewall herstellen.
CI/CD-Unterstützung für Onelake-Tastenkombinationen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Die Lebenszyklusverwaltungstools von Microsoft Fabric bieten ein standardisiertes System für die Kommunikation und Zusammenarbeit zwischen allen Mitgliedern des Entwicklungsteams während der gesamten Lebensdauer des Produkts.
Mit der Einführung der CI/CD-Unterstützung für Onelake-Tastenkombinationen können Sie Ihre Bereitstellung,ent von Onelake-Verknüpfungen in allen Umgebungen verwalten.
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Wenn Personen Teams wechseln, die Organisation verlassen oder bestimmten Zugriff verlieren, können Ihre Onelkae-Tastenkombinationen unbrauchbar werden. Mit den neuen Verwaltungsfunktionen dieser verwaisten Tastenkombinationen können Sie Ihre Verknüpfungen ohne geschäftliche Auswirkungen schnell wiederherstellen.
OneLake-Verschlüsselung mit vom Kunden verwalteten Schlüsseln
Geschätzte Veröffentlichungszeitachse: Q2 2025
Versionstyp: Öffentliche Vorschau
Im Rahmen unserer strategischen Roadmap zur Verbesserung der Datensicherheit und Compliance planen wir die Einführung der Unterstützung für vom Kunden verwaltete Schlüssel (CUSTOMER Managed Keys, CMK) in OneLake. Dadurch erhalten Organisationen eine bessere Kontrolle über ihre Datenverschlüsselungsschlüssel. Mit CMK können Benutzer ihre eigenen Verschlüsselungsschlüssel verwalten und sicherstellen, dass ihre Daten gemäß ihren spezifischen Sicherheitsrichtlinien und behördlichen Anforderungen geschützt sind. Wenn der Schlüssel des Kunden widerrufen wird, verliert Microsoft den Zugriff auf Kundendaten in OneLake.
Verfügbare Features
Fabric OneLake-Katalog
Ausgeliefert (Q4 2024)
Versionstyp: Allgemeine Verfügbarkeit
Der OneLake-Katalog ist eine vollständige Lösung zum Erkunden, Verwalten und Steuern Ihrer gesamten Fabric-Datenstruktur. Der OneLake-Katalog ist eine Weiterentwicklung der OneLake-Datenhuberfahrung mit Verbesserungen, die allen Fabric-Benutzern helfen, vertrauenswürdige Daten zu entdecken und zu verwalten, sowie Governance für Datenbesitzer mit wertvollen Erkenntnissen, empfohlenen Aktionen und Tools bereitzustellen. Der OneLake-Katalog enthält zwei Registerkarten: Erkunden und Steuern. Auf der Registerkarte "Erkunden" können Benutzer alle Fabric-Elemente erkunden und verwalten, auf die sie zugriff haben, an einem zentralen Ort mit Filtern für Domänen, Elementtyp, Besitzer, Bestätigung, Tags und mehr. Benutzer können auf ein Fabric-Element doppelklicken, um Aktionen auszuführen oder Beschreibungen, Datenlinien, Berechtigungen und Aktivitäten zu erkunden. Und auf der Registerkarte "Steuern" können Datenbesitzer einen Überblick über ihre Daten mit Erkenntnissen zu Bestätigungen, Datenbezeichnungen, Datentypen und mehr sehen und empfohlene Aktionen erhalten, um ihre Daten für eine bessere Qualität und Compliance zu verbessern. Die Registerkarte "Durchsuchen" ist jetzt allgemein verfügbar, und die Registerkarte "Steuern" wird in Kürze in der Vorschau verfügbar sein.
Unterstützung des Databricks Unity-Katalogs für OneLake
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Integration des Azure Databricks Unity-Katalogs in Microsoft Fabric
Sie können direkt in Microsoft Fabric auf Azure Databricks Unity Catalog-Tabellen zugreifen, sodass Azure Databricks noch einfacher mit Microsoft Fabric vereinheitlichen können. Im Fabric-Portal können Sie ein neues Azure Databricks Unity Catalog-Element in Fabric mit nur wenigen Klicks erstellen und konfigurieren. Sie können einen vollständigen Katalog, ein Schema oder sogar einzelne Tabellen hinzufügen, um es zu verknüpfen und die Verwaltung dieses Azure Databricks-Elements in OneLake – eine Verknüpfung, die mit dem Unity-Katalog verbunden ist – automatisch für Sie zu sorgen.
Diese Daten funktionieren wie alle anderen Daten in OneLake – Sie können SQL-Abfragen schreiben oder mit anderen Workloads in Fabric verwenden, einschließlich Power BI über den Direct Lake-Modus. Wenn die Daten geändert oder Tabellen hinzugefügt, entfernt oder in Azure Databricks umbenannt werden, bleiben die Daten in Fabric immer synchronisiert. Diese neue Integration macht es einfach, Azure Databricks-Daten in Fabric zu vereinheitlichen und nahtlos für jede Fabric-Workload zu verwenden.
OneLake-Verknüpfungen zu lokalen Daten
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Microsoft OneLake-Verknüpfungen werden erweitert und umfassen nun auch lokale und netzwerkgebundene Datenquellen. Mit dieser Funktion können Sie Ihre lokalen und Clouddaten in OneLake vereinheitlichen.
Bei der Erstellung von Verknüpfungen zu AWS S3-, Google Cloud Storage- oder S3-kompatiblen Buckets können Sie optional ein lokales Datengateway (OPDG) auswählen, um eine Verbindung herzustellen.
Verknüpfungen zu Google Cloud Storage
Ausgeliefert (Q1 2024)
Versionstyp: Öffentliche Vorschau
OneLake erweitert die Verknüpfungsunterstützung zu Google Cloud Storage und ermöglicht die Virtualisierung von Daten, ohne sie zu verschieben oder zu duplizieren. Dies ermöglicht die Integration von Google Cloud Storage-Daten mit Microsoft-Diensten wie ADLS Gen2, OneLake, Dataverse und Amazon S3. Die Daten werden angezeigt und funktionieren wie in OneLake und erhalten einen einfachen Data Lake, der sich über Clouds erstrecken kann.
Verknüpfungs-API
Ausgeliefert (Q1 2024)
Versionstyp: Öffentliche Vorschau
Eine öffentliche REST-API zum Automatisieren der Erstellung und Verwaltung von Verknüpfungsszenarien.
Intelligentes Zwischenspeichern für Amazon S3-Verknüpfungen
Verfügbar (Q4 2023)
Versionstyp: Öffentliche Vorschau
Intelligentes Zwischenspeichern für Amazon S3-Verknüpfungen reduziert die Ausgangskosten und verbessert die Leistung, indem Daten näher an die Compute-Engine gebracht werden. Beim intelligenten Zwischenspeichern werden die Daten einmal aus S3 abgerufen und für einen bestimmten Zeitraum lokal in OneLake zwischengespeichert. Auf diese Weise entfällt der wiederholte Datenabruf aus S3. Die zwischengespeicherten Daten können für mehrere Benutzende, Analysemodule und Szenarien wiederverwendet werden, die den Wert für einen einzelnen Ausgang optimieren.
Als Technische Fachkraft für Fabric-Daten sollten Sie Fachkompetenz in den Bereichen Datenlademuster, Datenarchitektur und Orchestrierungsprozesse haben.