Lakehouse- en Delta Lake-tabellen
Microsoft Fabric Lakehouse is een platform voor gegevensarchitectuur voor het opslaan, beheren en analyseren van gestructureerde en ongestructureerde gegevens op één locatie. Delta Lake wordt gekozen als de uniforme tabelindeling om naadloze toegang tot gegevens te krijgen in alle berekeningsengines in Microsoft Fabric.
Als u gegevens opslaat in Lakehouse met behulp van mogelijkheden zoals Laden in tabellen of methoden die worden beschreven in Opties om gegevens op te halen in Fabric Lakehouse, worden alle gegevens opgeslagen in Delta-indeling.
Volg de koppelingen in de sectie Volgende stappen voor een uitgebreidere inleiding tot de Delta Lake-tabelindeling.
Big data-, Apache Spark- en verouderde tabelindelingen
Microsoft Fabric Runtime voor Apache Spark maakt gebruik van dezelfde basis als Azure Synapse Analytics Runtime voor Apache Spark, maar bevat belangrijke verschillen om een gestroomlijnder gedrag te bieden voor alle engines in de Microsoft Fabric-service. In Microsoft Fabric zijn belangrijke prestatiefuncties standaard ingeschakeld. Geavanceerde Apache Spark-gebruikers kunnen configuraties terugzetten naar eerdere waarden om beter af te stemmen op specifieke scenario's.
Microsoft Fabric Lakehouse en de Apache Spark-engine ondersteunen alle tabeltypen, zowel beheerd als onbeheerd; dit omvat weergaven en reguliere niet-Delta Hive-tabelindelingen. Tabellen die zijn gedefinieerd met BEHULP van PARQUET, CSV, AVRO, JSON en een apache Hive-compatibele bestandsindeling werken zoals verwacht.
De gebruikersinterface-ervaring van Lakehouse Explorer varieert afhankelijk van het tabeltype. Momenteel worden alleen tabelobjecten weergegeven in Lakehouse Explorer.
Configuratieverschillen met Azure Synapse Analytics
De volgende tabel bevat de configuratieverschillen tussen Azure Synapse Analytics en Microsoft Fabric Runtime voor Apache Spark.
| Apache Spark-configuratie | Microsoft Fabric-waarde | Azure Synapse Analytics-waarde | Opmerkingen |
|---|---|---|---|
| spark.sql.sources.default | delta | parket | Standaardtabelindeling |
| spark.sql.parquet.vorder.enabled | true | N.v.t. | V-Order writer |
| spark.sql.parquet.vorder.dictionaryPageSize | 2 GB | N.v.t. | Limiet voor paginagrootte woordenlijst voor V-Order |
| spark.microsoft.delta.optimizeWrite.enabled | true | niet-ingesteld (onwaar) | Schrijfbewerking optimaliseren |
Automatische detectie van tabellen
De Lakehouse Explorer biedt een structuurachtige weergave van de objecten in het Microsoft Fabric Lakehouse-item. Het heeft een belangrijke mogelijkheid om tabellen te detecteren en weer te geven die worden beschreven in de opslagplaats voor metagegevens en in OneLake-opslag. De tabelverwijzingen worden weergegeven onder de Tables sectie van de gebruikersinterface van Lakehouse Explorer. Automatische detectie is ook van toepassing op tabellen die zijn gedefinieerd via OneLake-snelkoppelingen.
Tabellen via snelkoppelingen
Microsoft Fabric Lakehouse ondersteunt tabellen die zijn gedefinieerd via OneLake-snelkoppelingen, om maximale compatibiliteit en geen gegevensverplaatsing te bieden. De volgende tabel bevat de aanbevolen procedures voor scenario's voor elk itemtype wanneer u dit via snelkoppelingen gebruikt.
| Snelkoppelingsbestemming | Waar u de snelkoppeling maakt | Best practice |
|---|---|---|
| Delta Lake-tabel | Tables afdeling |
Als er meerdere tabellen aanwezig zijn in het doel, maakt u één snelkoppeling per tabel. |
| Mappen met bestanden | Files afdeling |
Gebruik Apache Spark om de bestemming rechtstreeks te gebruiken met relatieve paden. Laad de gegevens in systeemeigen Delta-tabellen van Lakehouse voor maximale prestaties. |
| Verouderde Apache Hive-tabellen | Files afdeling |
Gebruik Apache Spark om de bestemming rechtstreeks te gebruiken met relatieve paden of maak een naslaginformatie over de metagegevenscatalogus met behulp van CREATE EXTERNAL TABLE syntaxis. Laad de gegevens in systeemeigen Delta-tabellen van Lakehouse voor maximale prestaties. |
Laden naar tabellen
Microsoft Fabric Lakehouse biedt een handige en productieve gebruikersinterface om het laden van gegevens in Delta-tabellen te stroomlijnen. Met de functie Laden naar tabellen kunnen visuele ervaringen algemene bestandsindelingen naar Delta laden om de analytische productiviteit voor alle persona's te verbeteren. Lees de naslagdocumentatie van Lakehouse Load to Tables voor meer informatie over de functie Laden naar tabellen .
Optimalisatie van Delta Lake-tabellen
Tabellen in vorm houden voor het brede bereik van analysescenario's is geen kleine prestatie. Microsoft Fabric Lakehouse maakt het pro-actief mogelijk om veelvoorkomende problemen met big data-tabellen, zoals compressie en kleine bestandsgrootten, te minimaliseren en om queryprestaties te maximaliseren. Er zijn echter veel scenario's waarin deze parameters wijzigingen nodig hebben. In het artikel over optimalisatie van Delta Lake-tabellen en V-Order worden enkele belangrijke scenario's behandeld en wordt een uitgebreide handleiding gegeven over het efficiënt onderhouden van Delta-tabellen voor maximale prestaties.