Общие сведения о PolyBase
PolyBase — это функция, которую SQL Server использует для включения концепции виртуализации данных. PolyBase первоначально выпущен в SQL Server 2016 и улучшен в каждой более поздней версии SQL Server. Однако общая концепция удаленного доступа к данным без необходимости их копирования существует начиная с SQL Server 7.0 с введением Связанного сервера.
В следующей таблице перечислены первые версии SQL Server для поддержки различных функций PolyBase.
| SQL Server 2016 г. | SQL Server 2017 г. | SQL Server 2019 г. | SQL Server 2025 г. |
|---|---|---|---|
| •Hadoop • Хранилище BLOB-объектов Azure |
• Усовершенствования OPENROWSET • CSV-файл для хранилища BLOB-объектов Azure • Учетные данные базы данных |
• SQL Server •Оракул • Azure Cosmos DB •Mongodb •Teradata • Поддержка Linux • Универсальный ODBC |
• Новая платформа соединителя • Интеграция хранилища объектов •CSV •Паркет •Дельта • CETAS |
Дополнительные сведения о PolyBase см. в разделе о функциях и ограничениях PolyBase.
Усовершенствования PolyBase в SQL Server 2025
Встроенная поддержка CSV, Parquet и Delta 1: служба запросов PolyBase для внешних данных больше не требуется для использования OPENROWSET, CREATE EXTERNAL TABLE или CREATE EXTERNAL TABLE AS SELECT со следующими типами внешних данных: Parquet, Delta, Azure Blob Storage (ABS), Azure Data Lake Storage (ADLS) или хранилища объектов S3-Compatible.
Используйте универсальные источники данных ODBC в Linux: дополнительные сведения см. в разделе "Настройка PolyBase" для доступа к внешним данным с помощью универсальных типов ODBC.
Поддержка TDS 8.0. При использовании Microsoft ODBC Driver 18 для SQL Server TDS 8.0 не поддерживается для SQL Server в качестве внешнего источника данных.
Хранилище объектов, совместимое с S3
SQL Server 2025 поддерживает хранилище объектов, совместимое с S3. Чтобы включить эту интеграцию, SQL Server 2025 использует архитектуру платформы соединителя REST API, которая соответствует платформе S3. Любое хранилище объектов, поддерживающее платформу S3, также работает с SQL Server 2025. Решения хранилища объектов, совместимые с S3, могут выполняться локально, в сети, в облаке или в гибридной среде.
Хранилище объектов, также известное как хранилище на основе объектов, — это стратегия управления хранилищем данных в виде отдельных единиц, называемых объектами. Эти объекты хранятся в одном хранилище и не встраиваются в файлы в других папках. Вместо этого хранилище объектов объединяет фрагменты данных, составляющие файл, добавляет все соответствующие метаданные в этот файл и присоединяет пользовательский идентификатор.
Ниже приведены некоторые основные функции хранилища объектов по сравнению с традиционной файловой системой:
- Сохраняет метаданные, внедренные в файл.
- Позволяет файлам иметь такие атрибуты, как теги.
- Более экономичный для масштабирования и упрощения обслуживания.
- Оптимизировано для больших объемов данных, таких как большие данные, Интернет вещей (IoT), ИИ, машинное обучение и аналитика.
- Не рекомендуется для нагрузок с высокой интенсивностью транзакций или обработки онлайн-транзакций (OLTP).
Для сценариев резервного копирования и восстановления можно также использовать хранилище объектов, совместимое с S3, с помощью команды BACKUP TO URL. Дополнительные сведения см. в статье о резервном копировании и восстановлении SQL Server с хранилищем объектов, совместимым с S3.
Стандартная платформа S3 широко используется, и многие крупные поставщики хранилища теперь предлагают решения для хранения объектов, совместимых с S3. Если решение обеспечивает совместимость с REST API S3, оно совместимо с SQL Server 2025. Список поддерживаемых поставщиков хранилища объектов см. в разделе "Поставщики хранилища объектов, совместимых с S3".
Некоторые партнеры по хранилищу объектов предлагают возможность запускать свое решение как программное обеспечение, способное виртуализировать текущее хранилище. Вы можете установить и попробовать эти решения на собственной машине или виртуальной машине.
Службы PolyBase и функция REST API PolyBase
Чтобы использовать PolyBase, необходимо установить службу запросов PolyBase для внешних данных и включить PolyBase на уровне экземпляра с помощью sp_configure. Программа установки PolyBase устанавливает две службы PolyBase, ядро PolyBase SQL Server и перемещение данных PolyBase SQL Server.
Движок SQL Server PolyBase
- Исполняемый файл службы:
mpdwsvc.exe -dweng - Анализирует запросы.
- Создает планы запросов.
- Распределяет работу на вычислительные узлы (SQL Server 2019).
- Обрабатывает результаты вычислительных узлов и отправляет их обратно клиенту (SQL Server 2019).
- Исполняемый файл службы:
Перемещение данных PolyBase SQL Server
- Исполняемый файл службы:
mpdwsvc.exe -dms - Передает данные между внешними источниками данных и между головными и вычислительными узлами PolyBase (SQL Server 2019).
- Вставляет данные в другие источники данных, такие как служба хранилища Azure.
- Исполняемый файл службы:
Источники данных, такие как SQL Server, Oracle, MongoDB или ODBC, используют эти службы PolyBase. Источники данных, использующие архитектуру PolyBase на основе REST API SQL Server 2025, не требуют выполнения или настройки этих служб, но служба запросов PolyBase для внешних данных по-прежнему должна быть установлена и включена.
Интерфейсы REST API PolyBase можно использовать для доступа к Azure Data Lake Storage, хранилищу BLOB-объектов Azure, любому хранилищу объектов, совместимому с S3, и форматам файлов, таким как Parquet, Delta и CSV-файлы. Ранее поддерживаемые источники данных по-прежнему используют подсистему PolyBase SQL Server и службы перемещения данных PolyBase SQL Server .
| Источник данных | Службы PolyBase | Функция REST API PolyBase |
|---|---|---|
| Azure Blob-хранилище |
|
|
| Azure Data Lake Storage |
|
|
| Хранилище объектов, совместимое с S3 |
|
|
| SQL Server |
|
|
| Oracle |
|
|
| Teradata |
|
|
| API MongoDB или Azure Cosmos DB для MongoDB |
|
|
| Открытое универсальное подключение к базе данных (ODBC) |
|
|
| пакетные операции |
|
|