Verwenden von SQL Server 2022 als Datenhub zum Abfragen von Dateien und zum Sichern und Wiederherstellen in bzw. aus Objektspeicheranbietern
- 10 Minuten
SQL Server 2022 bietet Datenvirtualisierungsfunktionen für den Zugriff auf Daten, die in Formaten wie Parkett- und Deltatabellen über Quellen wie Azure Blob Storage, Azure Data Lake Storage und S3 kompatible Objektspeicheranbieter gespeichert sind. Darüber hinaus verbessert SQL Server 2022 die Remotesicherungs- und Wiederherstellungsfunktionen durch die Unterstützung von S3 kompatiblen Objektspeicheranbietern.
Datenvirtualisierung in SQL Server
Polybase, eingeführt mit SQL Server 2016, unterstützt den Zugriff auf Daten außerhalb von SQL Server mithilfe von Transact-SQL (T-SQL)-Anweisungen wie OPENROWSET und CREATE EXTERNAL TABLE. Dieses Konzept wird als Datenvirtualisierung bezeichnet, da Benutzer auf Daten außerhalb von SQL Server zugreifen können, ohne die Daten in SQL Server zu verschieben. SQL Server 2019 hat Unterstützung für die Datenvirtualisierung mithilfe von ODBC-Treibern hinzugefügt. Dieser Datenzugriff verwendet Software namens Polybase-Dienste. SQL Server 2022 fügt Unterstützung innerhalb des Datenbankmoduls mithilfe von REST-API-Schnittstellen für den Zugriff auf Daten in Azure Blob Storage, Azure Data Lake Storage und S3 kompatible Objektspeicheranbieter hinzu.
Die folgende Abbildung zeigt das vollständige Ausmaß der Unterstützung der Datenvirtualisierung in SQL Server 2022.
Datenvirtualisierung mit REST-API-Connectors
Die SQL Server 2022-Datenvirtualisierung umfasst jetzt den Zugriff auf neue Datenquellen-Connectoren mithilfe von REST-API-Schnittstellen, die im SQL Server-Modul integriert sind. Diese neuen Datenquellen-Connectoren werden häufig verwendet, um eine große Menge an Dateien zu verarbeiten, um einen Data Lake zu erstellen. SQL Server kann jetzt als Data Hub zum Abfragen von Dateien in einem Datensee verwendet werden, ohne die Daten zu verschieben.
REST-API-Konnektoren
Die folgenden neuen Connectors werden mithilfe der REST-API unterstützt:
Azure Blob Storage (Speicherdienst von Azure für unstrukturierte Daten)
Mithilfe des Datenquellenconnectors
abskönnen Sie auf Dateien zugreifen, die in Azure Blob Storage-Containern gespeichert sind. Azure Blob Storage ist skalierbar, hochverwendbar, redundant, kostengünstig mit mehrstufigem Speicher, gesichert und für Datenseen optimiert. Weitere Informationen finden Sie unter Datenvirtualisierung mit Azure Blob Storage.Azure Data Lake Storage
Mit dem Datenquellenconnector
adlskönnen Sie auf dateien zugreifen, die in Azure Data Lake Storage (ADLS) gespeichert sind. ADLS basiert auf Azure Blob Storage und bietet Dateisystemsemantik, Sicherheit auf Dateiebene und Skalierung. All diese Funktionen basieren auf Azure Blob Storage und bieten kostengünstigen, mehrstufigen Zugriff, hohe Sicherheit, hohe Verfügbarkeit und Langlebigkeit. Weitere Informationen finden Sie unter Datenvirtualisierung mit Azure Data Lake Storage.S3-kompatible Objektspeicheranbieter
Mithilfe des Datenquellenconnectors s3 können Sie auf dateien zugreifen, die im S3-kompatiblen Objektspeicher gespeichert sind. S3 wurde zu einem beliebten Objektspeicherprotokoll und wird von vielen Anbietern sowohl in Clouds als auch lokal unterstützt. S3-Objektspeicher bietet Skalierung, niedrigere Kosten, Geoverteilung und einen zuverlässigen Datentransport. Weitere Informationen finden Sie unter Datenvirtualisierung mit S3-kompatiblen Objektspeicheranbietern.
Verwenden von T-SQL für die Datenvirtualisierung
T-SQL stellt die folgenden Anweisungen bereit, um die Datenvirtualisierung mit REST-API-Connectors zu unterstützen:
OPENROWSET
Mit der T-SQL-Anweisung OPENROWSET können Sie auf jeden REST-API-Datenconnector ad-hoc zugreifen, in dem Sie Informationen zum Herstellen einer Verbindung mit den spezifischen Datenquellen-, Datei- oder Ordnerinformationen bereitstellen.
CREATE EXTERNAL TABLE
Sie können die T-SQL-Anweisung CREATE EXTERNAL TABLE verwenden, um eine virtuelle Tabelle zu erstellen, die dateien in jedem REST-API-Datenconnector zugeordnet ist. Anschließend können Sie auf die externe Tabelle wie eine SQL Server-Tabelle zugreifen, mit der Ausnahme, dass die Daten in der Remotedatenquelle gespeichert sind. Die Metadaten der externen Tabelle werden in SQL Server-Systemtabellen gespeichert.
CREATE EXTERNAL TABLE AS SELECT
Eine neue Funktion in SQL Server 2022 besteht darin, eine externe Tabelle basierend auf einer Abfrage aus einer vorhandenen SQL Server-Tabelle (oder einer anderen externen Tabelle) zu erstellen, die auch als CREATE EXTERNAL TABLE AS SELECT bezeichnet wird. Das Ergebnis der Abfrage ist eine neue externe Tabelle, und Dateien werden basierend auf den Ergebnissen der SELECT-Anweisung für die Remotedatenquelle erstellt. Mit dieser Methode können Sie SQL Server-Daten in Dateien in einer Remotedatenquelle exportieren.
Unterstützung für neue native Dateiformate
MIT SQL Server können Sie ein Dateiformat erstellen, um die Struktur einer Datei in einer Remotedatenquelle zu definieren. Sie können beispielsweise Dateiformate verwenden, um die Struktur einer JSON-Datei zu definieren, da JSON kein systemeigenes Dateiformat ist. SQL Server 2022 erkennt jetzt die nativen Dateiformate Parquet und Delta Tables.
Parquet
Parquet ist ein Open-Source-Binärdateiformat mit dem in die Datei integrierten Schema. Parkettdateien verwenden ein spaltenares Speicherformat, das sie für komprimierung und Abruf effizient macht. Weitere Informationen und Beispiele finden Sie unter Parquet-Datei in einem S3-kompatiblen Objektspeicher mit PolyBase virtualisieren.
Delta-Tabellen
Delta Lake ist eine Open-Source-Speicherarchitektur mit Delta-Tabellen. Delta-Tabellen sind Dateien, die auf Parquet basieren, aber darüber hinaus grundlegende Transaktions- und Protokollunterstützung bieten. Weitere Informationen zur Verwendung von Delta-Tabellen mit Azure Data Lake Storage finden Sie in der Virtualize-Delta-Tabelle mit PolyBase.
Sichern und Wiederherstellen mit S3 kompatiblen Objektspeicheranbietern
SQL Server 2022 erweitert die BACKUP TO URL und RESTORE FROM URL T-SQL-Anweisungen, um S3 kompatible Objektspeicheranbieter zu unterstützen. Die meisten Sicherungs- und Wiederherstellungsoptionen stehen mithilfe dieser neuen Funktion zur Verfügung. Weitere Informationen finden Sie unter SQL Server-Sicherung über URLs für S3-kompatiblen Objektspeicher.
Eine Liste der gängigen S3-kompatiblen Objektspeicheranbieter finden Sie unter Anbieter von S3-kompatiblem Objektspeicher.