Megosztás a következőn keresztül:

Adatvirtualizálás a PolyBase használatával az SQL Serveren

A következőkre vonatkozik:SQL ServerAzure Synapse AnalyticsElemzési platformrendszer (PDW)

A PolyBase lehetővé teszi az SQL Server adatvirtualizálását.

Mi az a PolyBase?

A PolyBase lehetővé teszi, hogy az SQL Server-példány az SQL Server, Oracle, Teradata, MongoDB, Hadoop-fürtök, Cosmos DB és S3-kompatibilis objektumtárolók adatainak lekérdezését Transact-SQL (T-SQL) használatával végezze, anélkül hogy külön ügyfélkapcsolati szoftvert kellene telepíteni. Az általános ODBC-összekötővel külső ODBC-illesztőprogramok használatával további szolgáltatókhoz is csatlakozhat. A PolyBase lehetővé teszi, hogy a T-SQL-lekérdezések külső forrásokból származó adatokat relációs táblákhoz csatlakozzanak az SQL Server egy példányában.

A PolyBase támogatja a részben strukturált és strukturált fájlalapú adatformátumok( például CSV, Parquet, JSON és Delta Lake-fájlok) lekérdezését is. Ez lehetővé teszi a fájlalapú adatok zökkenőmentes integrálását a T-SQL-munkafolyamatokba.

A PolyBase szolgáltatással végzett adatvirtualizálás egyik fő felhasználási esete, hogy lehetővé teszi az adatok eredeti helyének és formátumának megtartását. A külső adatokat virtualizálhatja az SQL Server-példányon keresztül, hogy azok lekérdezhetők legyenek, mint az SQL Server bármely más táblája. Ez a folyamat minimálisra csökkenti az adatáthelyezési ETL-folyamatok szükségességét. Ez az adatvirtualizálási forgatókönyv a PolyBase-összekötők használatával lehetséges.

Támogatott SQL-termékek és -szolgáltatások

A PolyBase ugyanazokat a funkciókat biztosítja a Microsoft alábbi SQL-termékeihez:

Az SQL Server 2025 PolyBase fejlesztései

Az SQL Server 2025 újdonságai (17.x) Részletek
CsV, Parquet és Delta 1 natív támogatása A PolyBase Query Service külső adatok telepítéséhez már nem szükséges a következő típusú külső adatok használataOPENROWSETCREATE EXTERNAL TABLECREATE EXTERNAL TABLE AS SELECT: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS) vagy S3-Compatible objektumtároló.
Általános ODBC-adatforrások használata Linuxon További információ: A PolyBase konfigurálása a külső adatok ODBC általános típusok használatával való eléréséhez.
TDS 8.0-támogatás A PolyBase az SQL Server 18-es és Encrypt=Yes (kötelező) verziójához használt ODBC-illesztővel alapértelmezés szerint biztonságos konfigurációt használ. Más SQL Server-funkciókkal ellentétben a PolyBase lehetővé teszi TrustServerCertificate=True az önaláírt tanúsítványokkal kapcsolatos forgatókönyveket. A TLS 1.3 és a szigorú titkosítás TDS 8.0-val való kényszerítéséhez állítsa be Encrypt=Strict és TrustServerCertificate=No. További információ: CREATE EXTERNAL DATA SOURCE – CONNECTION_OPTIONS. Tekintse át az SQL Server 2025 adatbázismotor-funkcióinak kompatibilitástörő változásait.
Felügyelt identitás A felügyelt identitás elérhető az Azure Arc és az SQL Server 2025 által engedélyezett SQL Server esetében, amely az Azure-beli virtuális gépeken fut.

1 Az SQL Server 2025 -en (17.x) a külső adatokhoz készült PolyBase Query Service továbbra is szükséges más adatbázisokkal való csatlakozáshoz. Például: SQL Server, Oracle, DB2, Teradata, MongoDB vagy ODBC.

Az SQL Server 2022 PolyBase fejlesztései

Az SQL Server 2022 újdonságai (16.x) Részletek
S3-kompatibilis objektumtároló Az SQL Server 2022 (16.x) új összekötőt, S3-kompatibilis objektumtárolót ad hozzá az S3 REST API használatával. Az OPENROWSET és a CREATE EXTERNAL TABLE használatával is lekérdezheti az adatfájlokat az S3-kompatibilis objektumtárolóban.
Egyes összekötők elkülönülnek a PolyBase-szolgáltatásoktól Az S3-kompatibilis objektumtároló-összekötő, az ADSL Gen2 és az Azure Blob Storage már nem függ a PolyBase-szolgáltatásoktól. A PolyBase-szolgáltatásoknak továbbra is futniuk kell az Oracle, a Teradata, a MongoDB és az Általános ODBC kapcsolatának támogatásához. A PolyBase szolgáltatást továbbra is telepíteni kell az SQL Server-példányra.
Parquet fájlformátum A PolyBase mostantól képes adatokat lekérdezni az S3-kompatibilis objektumtárolóban tárolt Parquet-fájlokból. További információ: Parquet-fájl virtualizálása egy S3-kompatibilis objektumtárolóban a PolyBase használatával.
Delta tábla formátuma A PolyBase mostantól képes lekérdezni (csak olvasható módon) adatokat Delta Table formátumból, amelyeket S3-kompatibilis objektumtárolóban, Azure Storage Account V2-ben vagy Azure Data Lake Storage Gen2-ben tárolnak. További információ: Delta-tábla virtualizálása a PolyBase használatával
Külső tábla létrehozása lekérdezéssel (CETAS) A PolyBase mostantól a CETAS használatával létrehozhat egy külső táblát, majd ezzel párhuzamosan exportálhatja egy Transact-SQL SELECT utasítás eredményét az Azure Data Lake Storage Gen2-be, az Azure Storage-fiók V2-be és az S3-kompatibilis objektumtárolóba. További információ: CREATE EXTERNAL TABLE AS SELECT (CETAS).

Az SQL Server 2022 (16.x) további új funkcióiért tekintse meg az SQL Server 2022 újdonságait.

Jótanács

Az SQL Server 2022 (16.x) PolyBase funkcióit és képességeit bemutató oktatóanyagért tekintse meg a PolyBase használatának első lépéseit az SQL Server 2022-ben.

PolyBase-összekötők

A PolyBase szolgáltatás a következő külső adatforrásokhoz biztosít kapcsolatot:

Külső adatforrások SQL Server 2016-2019 a PolyBase használatával SQL Server 2022 (16.x) a PolyBase használatával APS PDW Azure Synapse Analytics
Oracle, MongoDB, Teradata Olvasás Olvasás Nem Nem
Általános ODBC Olvasás (csak Windows rendszeren) Olvasás (csak Windows rendszeren) Nem Nem
Azure Storage Olvasás/írás Olvasás/írás Olvasás/írás Olvasás/írás
Hadoop Olvasás/írás Nem Olvasás/írás Nem
SQL Server Olvasás Olvasás Nem Nem
S3-kompatibilis objektumtároló Nem Olvasás/írás Nem Nem
  • Az SQL Server 2022 (16.x) és újabb verziói nem támogatják a Hadoopot.
  • Az SQL Server 2016 (13.x) bemutatta a PolyBase-t a Hadoop és az Azure Blob Storage kapcsolatainak támogatásával.
  • Az SQL Server 2019 (15.x) több összekötőt vezetett be, köztük az SQL Servert, az Oracle-t, a Teradata-t és a MongoDB-t.
  • Az SQL Server 2022 (16.x) bevezette az S3-kompatibilis tároló-összekötőt.
  • Az SQL Server 2019 (15.x) 19. kumulatív frissítése támogatást vezetett be az Oracle TNS-hez.
  • Az SQL Server 2022 (16.x) 2. kumulatív frissítése támogatást vezetett be az Oracle TNS-hez.

Külső összekötők például a következők:

1 A PolyBase két Hadoop-szolgáltatót, a Hortonworks Data Platformot (HDP) és a Cloudera Distributed Hadoopot (CDH) támogatja az SQL Server 2019-en keresztül. A HDFS Cloudera (CDP) és a Hortonworks (HDP) külső adatforrások SQL Server-támogatása megszűnt, és nem szerepel az SQL Server 2022 (16.x) és újabb verzióiban. További információkért tekintse meg a Nagy adathalmaz-beállításokat a Microsoft SQL Server platformon.

A PolyBase használata az SQL Server egy példányában:

  1. Telepítse a PolyBase-t Windows rendszeren , vagy telepítse a PolyBase-et Linuxra.
  2. Az SQL Server 2019-től kezdve (15.x) szükség esetén engedélyezze a PolyBase-t sp_configure.
  3. Hozzon létre egy külső adatforrást.
  4. Hozzon létre egy külső táblát.

Azure-integráció

A PolyBase segítségével a T-SQL-lekérdezések adatokat is importálhatnak és exportálhatnak az Azure Blob Storage-ból. Emellett a PolyBase lehetővé teszi az Azure Synapse Analytics számára az adatok importálását és exportálását az Azure Data Lake Store-ból és az Azure Blob Storage-ból.

Miért érdemes a PolyBase-t használni?

A PolyBase lehetővé teszi, hogy külső adatokkal csatlakozzon egy SQL Server-példány adataihoz. Mielőtt a PolyBase engedélyezi az adatok külső adatforrásokhoz való csatlakoztatását, a következőkre van lehetősége:

  • Vigye át az adatok felét úgy, hogy az összes adat egy helyen legyen.
  • Lekérdezheti mindkét adatforrást, majd egyéni lekérdezési logikát írhat az adatok ügyfélszintű összekapcsolásához és integrálásához.

A PolyBase lehetővé teszi, hogy Transact-SQL használatával csatlakozzon az adatokhoz.

A PolyBase nem követeli meg, hogy további szoftvereket telepítsen a Hadoop-környezetbe. Külső adatokat az adatbázistáblák lekérdezéséhez használt T-SQL-szintaxissal kérdezhet le. A PolyBase által végrehajtott támogatási műveletek mindegyike transzparens módon történik. A lekérdezés készítőjének nincs szüksége a külső forrásra vonatkozó ismeretekre.

A PolyBase a következőket használja:

A PolyBase az alábbi forgatókönyveket teszi lehetővé az SQL Serveren:

  • Közvetlen adathozzáférés: A T-SQL használatával lekérdezhet más RDBM-eket vagy külső fájlokat, például CSV-, Parquet- és Delta Lake-táblákat, mintha natív táblák lennének.
  • Hideg adatok áthelyezése: Miközben könnyen elérhető marad.
  • Nagyobb termelékenység: Csökkentse a több forrásból származó adatok integrálásához és elemzéséhez szükséges időt és erőfeszítést.
  • Költséghatékonyság: A hagyományos adatintegrációs módszerekhez kapcsolódó adatreplikáció és tárolási költségek minimalizálása.
  • Valós idejű elemzések: Valós idejű adatlekérdezés és elemzések engedélyezése az adatáthelyezés vagy -szinkronizálás által okozott késések nélkül.
  • Biztonság: Az SQL Server biztonsági funkcióit részletes engedélyekhez, hitelesítő adatok kezeléséhez és vezérléséhez használhatja.

Teljesítmény

Nincs korlátozva a fájlok száma vagy a lekérdezhető adatok mennyisége. A lekérdezési teljesítmény függ az adatok mennyiségétől, az adatformátumtól, az adatok rendszerezésének módjától, valamint a lekérdezések és illesztések összetettségétől.

A PolyBase teljesítményével kapcsolatos útmutatással és javaslatokkal kapcsolatos további információkért tekintse meg az SQL Serverhez készült PolyBase teljesítményével kapcsolatos szempontokat.

Frissítés az SQL Server 2022-re

Az SQL Server 2022 -től kezdve (16.x) a Hortonworks Data Platform (HDP) és a Cloudera Distributed Hadoop (CDH) már nem támogatott. A módosítások miatt manuálisan kell elvetnie az SQL Server TYPE = HADOOP vagy az Azure Storage korábbi verzióiban létrehozott PolyBase külső adatforrásokat, mielőtt az SQL Server 2022-re (16.x) vagy újabb verzióra migrál. A külső adatforrások elvetéséhez a társított adatbázis-objektumok, például az adatbázis hatókörébe tartozó hitelesítő adatok és külső táblák elvetése is szükséges.

Az Azure Storage-összekötőket a következő referenciatáblázat alapján kell módosítani:

Külső adatforrás Ettől kezdve Há
Azure Blob Storage wasb[s] abs
ADLS Gen 2 abfs[s] adls

Első lépések

A PolyBase használata előtt telepítenie kell a PolyBase-t Windows rendszeren , vagy Linuxon kell telepítenie a PolyBase-t, és szükség esetén engedélyeznie kell a PolyBase-t sp_configure .

A PolyBase funkcióival és képességeivel kapcsolatos oktatóanyagért tekintse meg a PolyBase használatának első lépéseit az SQL Server 2022-ben.

További oktatóanyagok a különböző külső adatforrásokról:

Adatvirtualizálás más platformokon

Az adatvirtualizálási funkciók más platformokon is elérhetők:

Kapcsolódó tartalom

  • Last updated on