Загальні відомості про PolyBase
PolyBase – це функція, яку sql Server використовує для ввімкнення концепції віртуалізації даних. PolyBase було випущено в SQL Server 2016 і покращено в кожній пізнішій версії SQL Server. Однак загальна концепція віддаленого доступу до даних без необхідності копіювати дати даних із SQL Server 7.0 з введенням Linked Server.
У таблиці нижче наведено першу версію SQL Server для підтримки різних функцій PolyBase.
| SQL Server 2016 | SQL Server 2017 | SQL Server 2019 | SQL Server 2025 |
|---|---|---|---|
| • Хадуп • Сховище BLOB-об'єктів Azure |
• Удосконалення OPENROWSET • CSV для сховища BLOB-об'єктів Azure • Облікові дані з областю бази даних |
• SQL Сервер • Оракул • Azure Cosmos DB • MongoDB • Терадата • Підтримка Linux • Універсальний ODBC |
• Нова з'єднувачна структура • Інтеграція зі сховищем об'єктів • CSV-файл •Паркет •Дельта • CETAS |
Докладні відомості про PolyBase див. в статті Функції та обмеження PolyBase.
Покращення PolyBase у SQL Server 2025
Вбудована підтримка CSV, Parquet і Delta 1: PolyBase Query Service для встановлення зовнішніх даних більше не потрібна для використання OPENROWSET, CREATE EXTERNAL TABLE або CREATE EXTERNAL TABLE AS SELECT з такими типами зовнішніх даних: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS) або S3-Compatible Object storage.
Використовувати загальні джерела даних ODBC у Linux: Для отримання додаткової інформації дивіться Налаштування PolyBase для доступу до зовнішніх даних із загальними типами ODBC.
Підтримка TDS 8.0: під час використання Microsoft ODBC Driver 18 для SQL Server TDS 8.0 не підтримується для SQL Server як зовнішнього джерела даних.
S3-сумісне сховище об'єктів
SQL Server 2025 підтримує S3-сумісне сховище об'єктів. Щоб увімкнути цю інтеграцію, SQL Server 2025 використовує архітектуру з'єднувача REST API, яка відповідає фреймворку S3. Будь-яке об'єктне сховище, яке підтримує фреймворк S3, також працює з SQL Server 2025. Рішення для зберігання об'єктів, сумісні з S3, можуть працювати локально, у вашій мережі, у хмарі або в гібридному середовищі.
Сховище об'єктів, також відоме як сховище на основі об'єктів, – це стратегія, яка керує сховищем даних і керує ним як окремими одиницями, які називаються об'єктами. Ці об'єкти зберігаються в одному сховищі та не вбудовуються у файли в інших папках. Натомість сховище об'єктів об'єднує фрагменти даних, які складають файл, додає до нього всі відповідні метадані та вкладає настроюваний ідентифікатор.
Деякі основні функції сховища об'єктів порівняно з традиційною файловою системою:
- Зберігає вбудовані у файл метадані.
- Дає змогу файлам мати атрибути, наприклад позначки.
- Більш економічно ефективний для масштабування і легше підтримувати.
- Оптимізовано для великих обсягів даних, таких як Big Data, Internet of Things (IoT), AI, Machine Learning, and analytics.
- Не рекомендовано для високоакційних або онлайнових завантажень обробки транзакцій (OLTP).
Крім того, для резервного копіювання та відновлення сценаріїв можна використовувати S3-сумісне сховище об'єктів за допомогою команди BACKUP TO URL. Докладні відомості див. в статті Резервне копіювання та відновлення SQL Server за допомогою сховища об'єктів, сумісного з S3.
Стандартна рамка S3 широко впроваджена, і багато провідних постачальників зберігання даних тепер пропонують сумісні з S3 рішення для зберігання об'єктів. Якщо рішення пропонує сумісність із S3 REST API, воно сумісне з SQL Server 2025. Для списку підтримуваних постачальників об'єктного зберігання дивіться розділ Постачальники S3-сумісного з об'єктним сховищем.
Деякі партнери зі сховища об'єктів пропонують можливість запускати рішення як програмне забезпечення, здатне віртуалізувати поточне сховище. Ці рішення можна інсталювати та спробувати на власній комп'ютері або віртуальній машині (віртуальній машині).
Служби PolyBase і функція API REST PolyBase
Щоб використовувати PolyBase, потрібно інсталювати службу запитів PolyBase для зовнішніх даних і ввімкнути PolyBase на рівні екземпляра за допомогою .sp_configure Настроювання PolyBase інсталює дві служби PolyBase, sql Server PolyBase Engine і руху даних SQL Server PolyBase.
Обробник SQL Server PolyBase
- Виконуваний файл служби:
mpdwsvc.exe -dweng - Аналіз запитів.
- Створює плани запитів.
- Розподіляє роботу з обчислювальними вузлами (SQL Server 2019).
- Обробляє результати обчислень вузла та повертає результати до клієнта (SQL Server 2019).
- Виконуваний файл служби:
Переміщення даних sql Server PolyBase
- Виконуваний файл служби:
mpdwsvc.exe -dms - Передає дані між зовнішніми джерелами даних і між головками PolyBase і обчислювальними вузлами (SQL Server 2019).
- Вставляє дані в інші джерела даних, наприклад Сховище Azure.
- Виконуваний файл служби:
Такі служби PolyBase використовують такі джерела даних, як SQL Server, Oracle, MongoDB або ODBC. Джерела даних, які використовують архітектуру PolyBase на основі API SQL Server 2025 REST, не вимагають запуску або налаштування цих служб, але служба запитів PolyBase Query для зовнішніх даних все одно має бути встановлена та ввімкнена.
За допомогою API REST PolyBase можна отримати доступ до сховища Azure Data Lake, Сховища BLOB-об'єктів Azure, будь-якого сховища, сумісного з S3, і форматів файлів, таких як Паркет, Дельта та CSV-файли. Раніше підтримувані джерела даних і надалі використовують служби sql Server PolyBase Engine і SQL Server PolyBase Data Movement .
| Джерело даних | Служби PolyBase | Функція API REST PolyBase |
|---|---|---|
| Azure Blob Storage |
|
|
| Azure Data Lake Storage |
|
|
| S3-сумісне сховище об'єктів |
|
|
| SQL Server |
|
|
| Oracle (Оракул |
|
|
| Teradata |
|
|
| API MongoDB або Azure Cosmos DB для MongoDB |
|
|
| Універсальне підключення до відкритої бази даних (ODBC) |
|
|
| Групові операції |
|
|