Synchronisierung der Apache Spark-Tabellendefinitionen für Azure Synapse im serverlosen SQL-Pool

Tip

Microsoft Fabric Data Warehouse ist ein relationales Enterprise-Warehouse auf einem Data Lake-Fundament mit zukunftsfähiger Architektur, integrierter KI und neuen Features. Wenn Sie mit Data Warehouse noch nicht vertraut sind, beginnen Sie mit Fabric Data Warehouse. Vorhandene dedizierte SQL-Pool-Workloads können auf Fabric aktualisieren, um neue Funktionen in den Bereichen Data Science, Echtzeitanalyse und Berichterstellung zu nutzen.

• Starten Sie eine kostenlose Testversion von Fabric.
• Migration Assistant für Fabric Data Warehouse.

Der Serverlose SQL-Pool kann Metadaten von Apache Spark automatisch synchronisieren. Für jede Datenbank, die in serverlosen Apache Spark-Pools vorhanden ist, wird eine serverlose SQL-Pooldatenbank erstellt.

Für jede externe Spark-Tabelle, die auf Parkett oder CSV basiert und sich in Azure Storage befindet, wird eine externe Tabelle in einer serverlosen SQL-Pooldatenbank erstellt. So können Sie Ihre Spark-Pools herunterfahren und dennoch Spark-externe Tabellen aus serverlosen SQL-Pool abfragen.

Wenn eine Tabelle in Spark partitioniert wird, werden Dateien im Speicher nach Ordnern organisiert. Der Serverlose SQL-Pool verwendet Partitionsmetadaten und nur relevante Ordner und Dateien für Ihre Abfrage.

Die Metadatensynchronisierung wird automatisch für jeden serverlosen Apache Spark-Pool konfiguriert, der im Azure Synapse-Arbeitsbereich bereitgestellt wird. Sie können sofort mit der Abfrage externer Spark-Tabellen beginnen.

Jede externe Spark-Parkett- oder CSV-Tabelle, die sich in Azure Storage befindet, wird mit einer externen Tabelle in einem dbo-Schema dargestellt, das einer serverlosen SQL-Pooldatenbank entspricht.

Führen Sie eine Abfrage aus, die auf eine externe Spark-Tabelle abzielt. Stellen Sie vor dem Ausführen des folgenden Beispiels sicher, dass Sie korrekten Zugriff auf das Speicherkonto haben, auf das sich die Dateien befinden.

SELECT * FROM [db].dbo.[spark_table]

Apache Spark-Datentypen zur SQL-Datentypenzuordnung

Weitere Informationen zum Zuordnen von Apache Spark-Datentypen zu SQL-Datentypen finden Sie unter Azure Synapse Analytics freigegebene Metadatentabellen.

Nächste Schritte

Wechseln Sie zum Artikel Storage Access Control, um mehr über Speicherzugriffskontrolle zu erfahren.