Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
La documentation de fédération de requête héritée a été supprimée et peut ne pas être mise à jour. Les configurations mentionnées dans ce contenu ne sont pas officiellement approuvées ou testées par Databricks. Si Lakehouse Federation prend en charge votre base de données source, Databricks recommande d’utiliser cela à la place.
Le connecteur Apache Spark pour Azure SQL Database et SQL Server permet à ces bases de données d’agir en tant que sources de données d’entrée et récepteurs de données de sortie pour les travaux Apache Spark. Il vous permet d’utiliser des données transactionnelles en temps réel dans l’analytique du Big Data et de conserver les résultats pour des requêtes ad hoc ou des rapports.
Par rapport au connecteur JDBC intégré, ce connecteur offre la possibilité d’insérer des données en bloc dans des bases de données SQL. Il peut donner de meilleurs résultats que l’insertion ligne par ligne et atteindre des performances entre 10 et 20 fois plus rapides. Le connecteur Spark pour SQL Server et Azure SQL Database prend également en charge l’authentification Microsoft Entra ID, ce qui vous permet de vous connecter en toute sécurité à vos bases de données Azure SQL à partir d’Azure Databricks à l’aide de votre compte d’ID Microsoft Entra. Il fournit des interfaces similaires au connecteur JDBC intégré. Il est facile de migrer vos travaux Spark existants pour utiliser ce connecteur.
Spécifications
Il existe deux versions du connecteur Spark pour SQL Server : une pour Spark 2.4 et une pour Spark 3.x. Le connecteur Spark 3.x nécessite Databricks Runtime 7.x ou version ultérieure. Le connecteur est supporté par la communauté et n'inclut pas la couverture du SLA de Microsoft. Déposez des problèmes sur GitHub pour impliquer la communauté pour obtenir de l’aide.
| Composant | Versions supportées |
|---|---|
| Apache Spark | 3.0.x et 2.4x |
| Databricks Runtime | Connecteur Apache Spark 3.0 : Databricks Runtime 7.x et versions ultérieures |
| Langage de programmation Scala | Connecteur Apache Spark 3.0 : 2.12 Connecteur Apache Spark 2.4 : 2.11 |
| Pilote Microsoft JDBC pour SQL Server | 8,2 |
| Microsoft SQL Server | SQL Server 2008 et versions ultérieures |
| Azure SQL Database | Soutenu |
Utiliser un connecteur Spark
Pour obtenir des instructions sur l’utilisation du connecteur Spark, consultez le connecteur Apache Spark : SQL Server &Azure SQL.