Présentation de PolyBase
- 8 minutes
PolyBase est la fonctionnalité utilisée par SQL Server pour activer le concept de virtualisation des données. PolyBase a été publié à l’origine dans SQL Server 2016 et est amélioré dans chaque version ultérieure de SQL Server. Toutefois, le concept général d'accès aux données à distance sans avoir à les copier remonte à SQL Server 7.0, avec l'introduction de Linked Server.
Le tableau suivant répertorie la première version de SQL Server pour prendre en charge différentes fonctionnalités PolyBase.
| SQL Server 2016 | SQL Server 2017 | SQL Server 2019 | SQL Server 2025 |
|---|---|---|---|
| • Hadoop • Stockage Blob Azure |
• Améliorations d’OPENROWSET • CSV pour Azure Blob Storage • Informations d’identification incluses dans l’étendue de la base de données |
• SQL Server •Oracle • Azure Cosmos DB • MongoDB • Teradata • Prise en charge de Linux • ODBC générique |
• Nouveau cadre de connecteur • Intégration du stockage d’objets • CSV • Parquet •Delta • CETAS |
Pour plus d’informations sur PolyBase, consultez les fonctionnalités et limitations de PolyBase.
Améliorations de PolyBase dans SQL Server 2025
Prise en charge native de CSV, Parquet et Delta 1 : le service de requête PolyBase pour l’installation de données externes n’est plus nécessaire pour utiliser OPENROWSET, CREATE EXTERNAL TABLE ou CREATE EXTERNAL TABLE AS SELECT avec les types de données externes suivants : Parquet, Delta, Stockage Blob Azure (ABS), Azure Data Lake Storage (ADLS) ou S3-Compatible Stockage Objet.
Utilisez des sources de données ODBC génériques sur Linux : pour plus d’informations, consultez Configurer PolyBase pour accéder aux données externes avec des types génériques ODBC.
Prise en charge de TDS 8.0 : lors de l’utilisation du pilote ODBC 18 Microsoft pour SQL Server, TDS 8.0 n’est pas pris en charge pour SQL Server comme source de données externe.
Stockage d’objets compatible S3
SQL Server 2025 prend en charge le stockage d’objets compatible avec S3. Pour activer cette intégration, SQL Server 2025 utilise une infrastructure du connecteur d’API REST qui suit l’infrastructure S3. Tout stockage d’objets prenant en charge l’infrastructure S3 fonctionne également avec SQL Server 2025. Les solutions de stockage d’objets compatibles S3 peuvent s’exécuter localement, dans votre réseau, dans le cloud ou dans un environnement hybride.
Le stockage d’objets, également appelé stockage basé sur des objets, est une stratégie qui gère et manipule le stockage de données en tant qu’unités distinctes, appelées objets. Ces objets sont conservés dans un magasin unique et ne sont pas ancrés dans des fichiers dans d’autres dossiers. Au lieu de cela, le stockage d’objets combine les éléments de données qui composent un fichier, ajoute toutes les métadonnées pertinentes à ce fichier et attache un identificateur personnalisé.
Certaines principales fonctionnalités du stockage d’objets par rapport à un système de fichiers traditionnel sont les suivantes :
- Conserve les métadonnées incorporées dans le fichier.
- Permet aux fichiers d’avoir des attributs tels que des balises.
- Plus économique à mettre à l’échelle et plus facile à gérer.
- Optimisé pour de grandes quantités de données, telles que Big Data, Internet des objets (IoT), IA, Machine Learning et analytique.
- Non recommandé pour les charges de travail à haute fréquence de transactions ou pour le traitement des transactions en ligne (OLTP).
Vous pouvez également utiliser le stockage d’objets compatible S3 pour les scénarios de sauvegarde et de restauration à l’aide de la commande BACKUP TO URL. Pour plus d’informations, consultez Sauvegarde et restauration SQL Server avec le stockage d’objets compatible S3.
Amazon Web Services (AWS) a établi le framework standard S3 et les principaux fournisseurs de stockage comme Cloudian, Dell, MinIO et PureStorage offrent désormais des solutions de stockage d’objets compatibles S3. Si une solution offre une compatibilité avec les API REST S3, elle est compatible avec SQL Server 2025.
Pour plus d’informations sur les avantages, l’installation et les tests de stockage d’objets, consultez la documentation suivante du partenaire de stockage. Pour plus de fournisseurs de stockage d’objets, consultez Fournisseurs de stockage d’objets compatibleS S3.
- Cloudian HyperStore
- Dell Isildon OneFS
- Dell ECS Community Edition
- Hitachi Plateforme de Contenu Hitachi (HCP)
- MinIO Stockage d’objets multicloud
- Pure Storage Pure FlashBlade.
Certains partenaires de stockage d’objets offrent la possibilité d’exécuter leur solution en tant que logiciel capable de virtualiser votre stockage actuel. Vous pouvez installer et essayer ces solutions sur votre propre machine ou machine virtuelle.
Services PolyBase et fonctionnalités de l’API REST PolyBase
Pour utiliser PolyBase, vous devez installer le service de requête PolyBase pour les données externes et activer PolyBase au niveau de l’instance à l’aide sp_configurede . Le programme d’installation de PolyBase installe deux services PolyBase : SQL Server PolyBase Engine et SQL Server PolyBase Data Movement.
Moteur PolyBase SQL Server
- Exécutable de service :
mpdwsvc.exe -dweng - Analyse les requêtes.
- Génère des plans de requête.
- Distribue le travail aux nœuds de calcul (SQL Server 2019).
- Traite les résultats des nœuds de calcul et les envoie au client (SQL Server 2019).
- Exécutable de service :
Mouvement de données PolyBase de SQL Server
- Exécutable de service :
mpdwsvc.exe -dms - Transfère les données entre les sources de données externes et entre les nœuds principaux et de calcul PolyBase (SQL Server 2019).
- Insère des données dans d’autres sources de données, telles que stockage Azure.
- Exécutable de service :
Les sources de données telles que SQL Server, Oracle, MongoDB ou ODBC utilisent ces services PolyBase. Les sources de données qui utilisent l’architecture PolyBase basée sur l’API REST SQL Server 2025 ne nécessitent pas que ces services soient en cours d’exécution ou configurés, mais le service de requête PolyBase pour les données externes doit toujours être installé et activé.
Vous pouvez utiliser les API REST de PolyBase pour accéder à Azure Data Lake Storage, au Stockage Blob Azure, à tout stockage d’objets compatible avec S3 et des formats de fichiers comme Parquet, Delta et CSV. Les sources de données prises en charge précédemment utilisent toujours les services Moteur SQL Server PolyBase et Mouvement de données PolyBase SQL Server.
| Source de données | Services PolyBase | Fonctionnalité d’API REST PolyBase |
|---|---|---|
| Stockage Blob Azure |
|
|
| Azure Data Lake Storage |
|
|
| Stockage d’objets compatible S3 |
|
|
| Serveur SQL |
|
|
| Oracle |
|
|
| Teradata |
|
|
| API MongoDB ou Azure Cosmos DB pour MongoDB |
|
|
| ODBC (Open Database Connectivity) générique |
|
|
| Opérations en bloc |
|
|