Inleiding tot PolyBase

  • 8 minuten

PolyBase is de functie die SQL Server gebruikt om het concept voor gegevensvirtualisatie in te schakelen. PolyBase is oorspronkelijk uitgebracht in SQL Server 2016 en is verbeterd in elke latere versie van SQL Server. Het algemene concept van het op afstand openen van gegevens zonder dat u de gegevens van SQL Server 7.0 hoeft te kopiëren, dateert van de introductie van Linked Server.

De volgende tabel bevat de eerste SQL Server-versie ter ondersteuning van verschillende PolyBase-functies.

SQL Server 2016 SQL Server 2017 SQL Server 2019 SQL Server 2025
•Hadoop
• Azure Blob Storage (opslagservice van Azure)		 • Verbeteringen van OPENROWSET
• CSV voor Azure Blob Storage
• Referentie voor databasebereik		 • SQL Server
•Orakel
• Azure Cosmos DB
• MongoDB
• Teradata
• Linux-ondersteuning
• Algemene ODBC		 • Nieuw connector-framework
• Integratie van objectopslag
•CSV
•Parket
•Delta
• CETAS

Zie De functies en beperkingen van PolyBase voor meer informatie over PolyBase.

PolyBase-verbeteringen in SQL Server 2025

  • Systeemeigen ondersteuning voor CSV, Parquet en Delta 1: PolyBase Query Service voor de installatie van externe gegevens is niet langer vereist voor het gebruik van OPENROWSET, CREATE EXTERNAL TABLE of CREATE EXTERNAL TABLE AS SELECT met de volgende typen externe gegevens: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS) of S3-Compatible Objectopslag.

  • Gebruik algemene ODBC-gegevensbronnen in Linux: Zie PolyBase configureren voor toegang tot externe gegevens met algemene ODBC-typen voor meer informatie.

  • TDS 8.0-ondersteuning: Wanneer u Microsoft ODBC-stuurprogramma 18 voor SQL Server gebruikt, wordt TDS 8.0 niet ondersteund voor SQL Server als externe gegevensbron.

S3-compatibele objectopslag

SQL Server 2025 ondersteunt S3-compatibele objectopslag. Om deze integratie mogelijk te maken, maakt SQL Server 2025 gebruik van een REST API-connectorframeworkarchitectuur die volgt op het S3-framework. Alle objectopslag die het S3-framework ondersteunt, werkt ook met SQL Server 2025. S3-compatibele oplossingen voor objectopslag kunnen lokaal, in uw netwerk, in de cloud of in een hybride omgeving worden uitgevoerd.

Objectopslag, ook wel opslag op basis van objecten genoemd, is een strategie die gegevensopslag beheert en bewerkt als afzonderlijke eenheden, objecten genoemd. Deze objecten worden in één archief bewaard en zijn niet ingesloten in bestanden in andere mappen. In plaats daarvan combineert objectopslag de stukjes gegevens waaruit een bestand bestaat, voegt alle relevante metagegevens aan dat bestand toe en voegt een aangepaste id toe.

Enkele belangrijke functies van objectopslag vergeleken met een traditioneel bestandssysteem zijn:

  • Hiermee worden metagegevens ingesloten in het bestand.
  • Hiermee kunnen bestanden kenmerken hebben zoals tags.
  • Rendabeler om te schalen en gemakkelijker te onderhouden.
  • Geoptimaliseerd voor grote hoeveelheden gegevens, zoals Big Data, Internet of Things (IoT), AI, Machine Learning en analyses.
  • Niet aanbevolen voor OLTP-workloads (high-transactional of online transaction processing).

U kunt ook S3-compatibele objectopslag gebruiken voor back-up- en herstelscenario's met behulp van de opdracht BACKUP TO URL. Zie back-up en herstel van SQL Server met S3-compatibele objectopslag voor meer informatie.

Het S3-standaardframework wordt veel gebruikt en veel belangrijke opslagproviders bieden nu S3-compatibele oplossingen voor objectopslag. Als een oplossing compatibiliteit biedt met S3 REST API's, is deze compatibel met SQL Server 2025. Zie Providers van S3-compatibele objectopslag voor een lijst met ondersteunde objectopslagproviders.

Sommige objectopslagpartners bieden de mogelijkheid om hun oplossing uit te voeren als software die uw huidige opslag kan virtualiseren. U kunt deze oplossingen installeren en uitproberen op uw eigen machine of virtuele machine (VM).

PolyBase services versus de PolyBase REST API functie

Als u PolyBase wilt gebruiken, moet u de PolyBase-queryservice voor externe gegevens installeren en PolyBase inschakelen op exemplaarniveau met behulp van sp_configure. PolyBase setup installeert twee PolyBase-services, SQL Server PolyBase Engine en SQL Server PolyBase Data Movement.

  • SQL Server PolyBase Engine

    • Uitvoerbare service: mpdwsvc.exe -dweng
    • Parseert queries.
    • Hiermee worden queryplannen gegenereerd.
    • Distribueert werk naar rekenknooppunten (SQL Server 2019).
    • Verwerkt de resultaten van het rekenknooppunt en stuurt deze terug naar de client (SQL Server 2019).

  • SQL Server PolyBase-gegevensverplaatsing

    • Uitvoerbare service: mpdwsvc.exe -dms
    • Hiermee worden gegevens overgedragen tussen externe gegevensbronnen en tussen PolyBase-hoofd- en rekenknooppunten (SQL Server 2019).
    • Hiermee worden gegevens ingevoegd in andere gegevensbronnen, zoals Azure Storage.

Gegevensbronnen zoals SQL Server, Oracle, MongoDB of ODBC-bronnen maken gebruik van deze PolyBase-services. Voor gegevensbronnen die gebruikmaken van de OP SQL Server 2025 REST API gebaseerde PolyBase-architectuur hoeven deze services niet te worden uitgevoerd of geconfigureerd, maar moet de PolyBase-queryservice voor externe gegevens nog steeds worden geïnstalleerd en ingeschakeld.

U kunt de PolyBase REST API's gebruiken voor toegang tot Azure Data Lake Storage, Azure Blob Storage, alle S3-compatibele objectopslag en bestandsindelingen, zoals Parquet-, Delta- en CSV-bestanden. Eerder ondersteunde gegevensbronnen gebruiken nog steeds de SQL Server PolyBase Engine en SQL Server PolyBase Data Movement-services .

Gegevensbron PolyBase-services PolyBase REST API-functie
Azure Blob Storage (opslagdienst van Azure) Nee Ja
Azure Data Lake Storage Nee Ja
S3-compatibele objectopslag Nee Ja
SQL Server Ja Nee
Oracle Ja Nee
Teradata Ja Nee
MongoDB of Azure Cosmos DB-API voor MongoDB Ja Nee
Generieke ODBC (Open Database Connectivity) Ja Nee
Bulkbewerkingen Ja Nee