Was ist ein Lakehouse in Microsoft Fabric?
Microsoft Fabric Lakehouse ist eine Datenarchitekturplattform zum Speichern, Verwalten und Analysieren strukturierter und unstrukturierter Daten an einem zentralen Ort. Es handelt sich um eine flexible und skalierbare Lösung, die es Organisationen ermöglicht, große Datenmengen mit einer Vielzahl von Tools und Frameworks zu verarbeiten und zu analysieren. Es lässt sich in andere Datenverwaltungs- und Analysetools integrieren, um eine umfassende Lösung für die Datentechnik und -analyse bereitzustellen.
Wichtig
Microsoft Fabric befindet sich derzeit in der VORSCHAU. Diese Informationen beziehen sich auf eine Vorabversion des Produkts, an der vor der Veröffentlichung noch wesentliche Änderungen vorgenommen werden können. Microsoft übernimmt keine Garantie, weder ausdrücklich noch stillschweigend, für die hier bereitgestellten Informationen.
Lakehouse SQL-Endpunkt
Lakehouse erstellt eine Bereitstellungsebene, indem während der Erstellung automatisch ein SQL-Endpunkt und ein Standarddataset generiert werden. Diese neue Durchstötungsfunktion ermöglicht es dem Benutzer, direkt auf den Deltatabellen im Lake zu arbeiten, um eine reibungslose und leistungsfähige Erfahrung von der Datenerfassung bis hin zur Berichterstellung zu bieten.
Ein wichtiger Unterschied zwischen Standard-Warehouse besteht darin, dass es schreibgeschützt ist und nicht die gesamte T-SQL-Oberfläche eines Transaktions-Data Warehouse unterstützt. Es ist wichtig zu beachten, dass nur die Tabellen im Delta-Format im SQL-Endpunkt verfügbar sind. Parquet, CSV und andere Formate können nicht mithilfe des SQL-Endpunkts abgefragt werden. Wenn Ihre Tabelle nicht angezeigt wird, konvertieren Sie sie in das Delta-Format.
Weitere Informationen zum SQL-Endpunkt finden Sie hier.
Automatische Tabellenermittlung und -registrierung
Die automatische Tabellenermittlung und -registrierung ist ein Feature von Lakehouse, das eine vollständig verwaltete Datei-in-Tabelle für Datentechniker und Data Scientists bietet. Sie können eine Datei im verwalteten Bereich des Lakehouse ablegen, und die Datei wird automatisch auf unterstützte strukturierte Formate überprüft, bei denen es sich derzeit nur um Delta-Tabellen handelt, und im Metastore mit den erforderlichen Metadaten wie Spaltennamen, Formaten, Komprimierung und mehr registriert. Anschließend können Sie auf die Datei als Tabelle verweisen und sparkSQL-Syntax verwenden, um mit den Daten zu interagieren.
Interagieren mit dem Lakehouse-Element
Ein Data Engineer kann auf verschiedene Weise mit dem Lakehouse und den Daten innerhalb des Lakehouse interagieren:
Der Lakehouse-Explorer: Der Explorer ist die Standard Seite lakehouse-Interaktion. Sie können Daten in Ihr Lakehouse laden, Daten im Lakehouse mit dem Objekt-Explorer untersuchen und MIP-Bezeichnungen & verschiedene andere Dinge festlegen. Erfahren Sie mehr über die Explorer-Benutzeroberfläche: Navigieren im Lakehouse-Explorer.
Notebooks: Datentechniker können das Notebook verwenden, um Code zu schreiben, um Lakehouse als Tabellen und/oder Ordner zu lesen, zu transformieren und direkt in Lakehouse zu schreiben. Weitere Informationen zur Nutzung von Notebooks für Lakehouse finden Sie unter Untersuchen der Daten in Ihrem Lakehouse mit einem Notebook und Verwenden eines Notebooks zum Laden von Daten in Lakehouse.
Pipelines: Datentechniker können Datenintegrationstools wie das Tool zum Kopieren von Pipelines verwenden, um Daten aus anderen Quellen zu pullen und in lakehouse zu landen. Weitere Informationen zur Verwendung der Kopieraktivität finden Sie unter Kopieren von Daten mithilfe der Kopieraktivität.
Apache Spark-Auftragsdefinitionen: Datentechniker können robuste Anwendungen entwickeln und die Ausführung kompilierter Spark-Aufträge in Java, Scala und Python orchestrieren. Weitere Informationen zu Spark-Aufträgen: Was ist eine Apache Spark-Auftragsdefinition?.
Dataflows Gen 2: Data Engineers können Dataflows Gen 2 nutzen, um ihre Daten zu erfassen und vorzubereiten. Weitere Informationen zum Laden von Daten mithilfe von Dataflows finden Sie unter Erstellen Ihres ersten Dataflows zum Abrufen und Transformieren von Daten.
Erfahren Sie mehr über die verschiedenen Möglichkeiten zum Laden von Daten in Ihr Lakehouse: Abrufen der Datenerfahrung für Lakehouse.
Nächste Schritte
In dieser Übersicht erhalten Sie ein grundlegendes Verständnis eines Lakehouses. Fahren Sie mit dem nächsten Artikel fort, um zu erfahren, wie Sie Ihr eigenes Lakehouse erstellen und beginnen:
- Informationen zu den ersten Schritten mit Lakehouse finden Sie unter Erstellen eines Lakehouses.