Delen via

Gegevensvirtualisatie met PolyBase in SQL Server

Van toepassing op: SQL Server Niet ondersteund. Azure SQL Database Azure Synapse Analytics Analytics Platform System (PDW)

PolyBase is een functie voor gegevensvirtualisatie voor SQL Server.

Wat is PolyBase?

PolyBase stelt uw SQL Server-exemplaar in staat om rechtstreeks vanuit SQL Server, Oracle, Teradata, MongoDB, Hadoop-clusters, Cosmos DB en S3 compatibele objectopslag query's uit te voeren met T-SQL zonder afzonderlijk clientverbindingssoftware te installeren. U kunt ook de algemene ODBC-connector gebruiken om verbinding te maken met aanvullende providers met behulp van ODBC-stuurprogramma's van derden. Met PolyBase kunnen T-SQL-query's de gegevens uit externe bronnen toevoegen aan relationele tabellen in een exemplaar van SQL Server.

Een belangrijke use case voor gegevensvirtualisatie met de functie PolyBase is om de gegevens op de oorspronkelijke locatie en indeling te laten blijven. U kunt de externe gegevens virtualiseren via het SQL Server-exemplaar, zodat deze op dezelfde manier kunnen worden opgevraagd als elke andere tabel in SQL Server. Dit proces minimaliseert de noodzaak van ETL-processen voor gegevensverplaatsing. Dit scenario voor gegevensvirtualisatie is mogelijk met het gebruik van PolyBase-connectors.

Ondersteunde SQL-producten en -services

PolyBase biedt dezelfde functies voor de volgende SQL-producten van Microsoft:

  • SQL Server 2016 (13.x) en latere versies (Windows)
  • SQL Server 2019 (15.x) en latere versies (Windows en Linux)
  • SQL Server Analytics Platform System (PDW)
  • Azure Synapse Analytics (voor toegewezen SQL-pools)

Opmerking

Gegevensvirtualisatie is ook beschikbaar voor Azure SQL Managed Instance, gericht op het uitvoeren van query's op externe gegevens die zijn opgeslagen in bestanden in Azure Data Lake Storage (ADLS) Gen2 en Azure Blob Storage. Zie Gegevensvirtualisatie met Azure SQL Managed Instance voor meer informatie.

Verbeteringen in SQL Server 2025 PolyBase

Nieuw bij SQL Server 2025 (17.x) Preview Bijzonderheden
Systeemeigen ondersteuning voor CSV, Parquet en Delta 1 U hoeft PolyBase Query Service niet te installeren voor externe gegevens om OPENROWSET, CREATE EXTERNAL TABLE of CREATE EXTERNAL TABLE AS SELECT te gebruiken met de volgende typen externe gegevens: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS) of S3-Compatible Object storage.
Algemene ODBC-gegevensbronnen gebruiken in Linux Zie PolyBase configureren voor toegang tot externe gegevens met algemene ODBC-typen voor meer informatie.

1 Op SQL Server 2025 (17.x) Preview is PolyBase Query Service voor externe gegevens nog steeds vereist om verbinding te maken met andere databases. Bijvoorbeeld: SQL Server, Oracle, DB2, Teradata, MongoDB of ODBC.

Verbeteringen in SQL Server 2022 PolyBase

Nieuw bij SQL Server 2022 (16.x) Bijzonderheden
S3-compatibele objectopslag SQL Server 2022 (16.x) voegt nieuwe connector, S3-compatibele objectopslag toe met behulp van de S3 REST API. U kunt zowel OPENROWSET als CREATE EXTERNAL TABLE gebruiken om query's uit te voeren op gegevensbestanden in S3-compatibele objectopslag.
Sommige connectors zijn gescheiden van PolyBase-services De S3-compatibele objectopslagconnector, ADSL Gen2 en Azure Blob Storage, zijn niet langer afhankelijk van PolyBase-services. PolyBase-services moeten nog steeds worden uitgevoerd ter ondersteuning van connectiviteit met Oracle, Teradata, MongoDB en Generic ODBC. De PolyBase-functie moet nog steeds worden geïnstalleerd op uw SQL Server-exemplaar.
Parquet-bestandsindeling PolyBase kan nu query's uitvoeren op gegevens uit Parquet-bestanden die zijn opgeslagen op S3-compatibele objectopslag. Zie voor meer informatie Virtualiseer Parquet-bestand in S3-compatibele objectopslag met PolyBase.
Delta-tabelindeling PolyBase kan nu query's uitvoeren op gegevens uit de Delta-tabelindeling die is opgeslagen op S3-compatibele objectopslag, Azure Storage Account V2 en Azure Data Lake Storage Gen2. Zie voor meer informatie de deltatabel virtualiseren met PolyBase
Maak externe tabel als selecteren (CETAS) PolyBase kan nu CETAS gebruiken om een externe tabel te maken en vervolgens parallel het resultaat van een Transact-SQL SELECT-instructie te exporteren naar Azure Data Lake Storage Gen2, Azure Storage Account V2 en S3-compatibele objectopslag. Zie CREATE EXTERNAL TABLE AS SELECT (CETAS) voor meer informatie.

Zie Wat is er nieuw in SQL Server 2022 (16.x) voor meer nieuwe functies van SQL Server 2022?

Aanbeveling

Zie Aan de slag met PolyBase in SQL Server 2022 voor een zelfstudie over PolyBase-functies en -mogelijkheden in SQL Server 2022 (16.x).

PolyBase connectors

De functie PolyBase biedt connectiviteit met de volgende externe gegevensbronnen:

Externe gegevensbronnen SQL Server 2016-2019 met PolyBase SQL Server 2022 (16.x) met PolyBase APS PDW Azure Synapse Analytics
Oracle, MongoDB, Teradata Lezen Lezen Nee. Nee.
Algemene ODBC Lezen (alleen voor Windows) Lezen (uitsluitend voor Windows) Nee. Nee.
Azure Storage Lezen/schrijven Lezen/schrijven Lezen/schrijven Lezen/schrijven
Hadoop Lezen/schrijven Nee. Lezen/schrijven Nee.
SQL Server Lezen Lezen Nee. Nee.
S3-compatibele objectopslag Nee. Lezen/schrijven Nee. Nee.
  • SQL Server 2022 (16.x) biedt geen ondersteuning voor Hadoop.
  • SQL Server 2016 (13.x) heeft PolyBase geïntroduceerd met ondersteuning voor verbindingen met Hadoop en Azure Blob Storage.
  • SQL Server 2019 (15.x) heeft meer connectors geïntroduceerd, waaronder SQL Server, Oracle, Teradata en MongoDB.
  • SQL Server 2022 (16.x) heeft de S3-compatibele opslagconnector geïntroduceerd.
  • SQL Server 2019 (15.x) Cumulatieve update 19 introduceerde ondersteuning voor Oracle TNS.
  • Sql Server 2022 (16.x) Cumulatieve update 2 heeft ondersteuning geïntroduceerd voor Oracle TNS.

Voorbeelden van externe connectors zijn:

* PolyBase ondersteunt twee Hadoop-providers, Hortonworks Data Platform (HDP) en Cloudera Distributed Hadoop (CDH), via SQL Server 2019. SQL Server-ondersteuning voor externe gegevensbronnen van HDFS Cloudera (CDP) en Hortonworks (HDP) is afgeschaft en is niet opgenomen in SQL Server 2022 (16.x) en latere versies. Zie Opties voor big data op het Microsoft SQL Server-platformvoor meer informatie.

PolyBase gebruiken in een exemplaar van SQL Server:

  1. Installeer PolyBase in Windows of installeer PolyBase op Linux.
  2. Vanaf SQL Server 2019 (15.x) schakelt u PolyBase in sp_configure, indien nodig.
  3. Maak een externe gegevensbron.
  4. Maak een externe tabel.

Azure-integratie

Met behulp van PolyBase kunnen T-SQL-query's ook gegevens importeren en exporteren uit Azure Blob Storage. Bovendien maakt PolyBase Azure Synapse Analytics in staat om gegevens te importeren en exporteren uit Azure Data Lake Store en vanuit Azure Blob Storage.

Waarom PolyBase gebruiken?

Met PolyBase kunt u gegevens uit een SQL Server-exemplaar samenvoegen met externe gegevens. Voordat PolyBase gegevens aan externe gegevensbronnen heeft toegevoegd, kunt u het volgende doen:

  • Breng de helft van uw gegevens over, zodat alle gegevens zich op één locatie bevinden.
  • Voer een query uit op beide gegevensbronnen en schrijf vervolgens aangepaste querylogica om de gegevens op clientniveau te koppelen en te integreren.

Met PolyBase kunt u Transact-SQL gebruiken om de gegevens samen te voegen.

PolyBase vereist niet dat u extra software installeert in uw Hadoop-omgeving. U kunt een query uitvoeren op externe gegevens met behulp van dezelfde T-SQL-syntaxis die wordt gebruikt om een query uit te voeren op een databasetabel. De ondersteuningsacties die door PolyBase worden geïmplementeerd, vinden allemaal transparant plaats. De auteur van de query heeft geen kennis nodig over de externe bron.

PolyBase gebruikt

PolyBase maakt de volgende scenario's mogelijk in SQL Server:

  • Query's uitvoeren op gegevens die zijn opgeslagen in Azure Blob Storage. Azure Blob Storage is een handige plek om gegevens op te slaan voor gebruik door Azure-services. PolyBase maakt het eenvoudig om toegang te krijgen tot de gegevens met behulp van T-SQL.

  • Query's uitvoeren op gegevens die zijn opgeslagen in Hadoop vanuit een SQL Server-exemplaar of PDW. Gebruikers slaan gegevens op in rendabele gedistribueerde en schaalbare systemen, zoals Hadoop. Met PolyBase kunt u eenvoudig query's uitvoeren op de gegevens met behulp van T-SQL.

  • Gegevens importeren uit Hadoop, Azure Blob Storage of Azure Data Lake Store. Gebruik de snelheid van de columnstore-technologie en analysemogelijkheden van Microsoft SQL door gegevens te importeren uit Hadoop, Azure Blob Storage of Azure Data Lake Store in relationele tabellen. Er is geen afzonderlijk ETL- of importhulpprogramma nodig.

  • Gegevens exporteren naar Hadoop, Azure Blob Storage of Azure Data Lake Store. Archiveer gegevens naar Hadoop, Azure Blob Storage of Azure Data Lake Store om rendabele opslag te realiseren en deze online te houden voor eenvoudige toegang.

  • Integreren met BI-hulpprogramma's. Gebruik PolyBase met de business intelligence- en analysestack van Microsoft of gebruik hulpprogramma's van derden die compatibel zijn met SQL Server.

Prestatie

Er is geen vaste limiet voor het aantal bestanden of de hoeveelheid gegevens waarop query's kunnen worden uitgevoerd. Queryprestaties zijn afhankelijk van de hoeveelheid gegevens, gegevensindeling, de manier waarop gegevens worden georganiseerd en complexiteit van query's en joins.

Zie Prestatieoverwegingen in PolyBase voor SQL Server voor meer informatie over prestatierichtlijnen en aanbevelingen voor PolyBase.

Upgrade uitvoeren naar SQL Server 2022

Vanaf SQL Server 2022 (16.x) Worden Hortonworks Data Platform (HDP) en Cloudera Distributed Hadoop (CDH) niet meer ondersteund. Als gevolg van deze wijzigingen moet u externe PolyBase-gegevensbronnen die zijn gemaakt in eerdere versies van SQL Server die azure Storage gebruiken TYPE = HADOOP , handmatig verwijderen voordat u migreert naar SQL Server 2022 (16.x). Het verwijderen van externe gegevensbronnen vereist ook het verwijderen van de bijbehorende databaseobjecten, zoals referenties voor databasebereik en externe tabellen.

Azure Storage-connectors moeten worden gewijzigd op basis van de volgende referentietabel:

Externe gegevensbron Van Tot
Azure Blob Storage wasb[s] ABS
ADLS Gen 2 abfs[s] adls

Aan de slag

Voordat u PolyBase gebruikt, moet u PolyBase installeren in Windows of PolyBase installeren in Linux en PolyBase inschakelen in sp_configure indien nodig.

Zie Aan de slag met PolyBase in SQL Server 2022 voor een zelfstudie over PolyBase-functies en -mogelijkheden.

Voor meer tutorials over verschillende externe gegevensbronnen, bekijk:

Gegevensvirtualisatie op andere platforms

Functies voor gegevensvirtualisatie zijn ook beschikbaar op andere platforms:

Verwante inhoud