Apache Spark-összekötőt használó SQL-adatbázisok

Az Azure SQL Database-hez és az SQL Serverhez készült Apache Spark-összekötő lehetővé teszi, hogy ezek az adatbázisok bemeneti adatforrásként és kimeneti adatgyűjtőként működjenek az Apache Spark-feladatokhoz. Lehetővé teszi, hogy valós idejű tranzakciós adatokat használjon big data-elemzésekben, és megőrizze az eredményeket alkalmi lekérdezésekhez vagy jelentésekhez.

A beépített JDBC-összekötőhöz képest ez az összekötő lehetővé teszi az adatok tömeges beszúrását az SQL-adatbázisokba. 10-20-szor gyorsabb teljesítménnyel képes felülmúlni a sorról sorra történő beszúrást. Az SQL Serverhez és az Azure SQL Database-hez készült Spark-összekötő a Microsoft Entra ID (korábbi nevén Azure Active Directory) hitelesítést is támogatja, így biztonságosan csatlakozhat azure SQL-adatbázisaihoz az Azure Databricksből a Microsoft Entra ID-fiókjával. A beépített JDBC-összekötőhöz hasonló felületeket biztosít. A meglévő Spark-feladatokat egyszerűen migrálhatja az összekötő használatához.

Követelmények

Az SQL Server Spark-összekötőjének két verziója létezik: egy a Spark 2.4-hez, egy pedig a Spark 3.x-hez. A Spark 3.x-összekötőhöz a Databricks Runtime 7.x vagy újabb verziója szükséges. Az összekötő közösségi támogatással rendelkezik, és nem tartalmazza a Microsoft SLA-támogatását. A GitHubon felmerülő problémákat elküldve segítséget kaphat a közösséghez.

Összetevő	Támogatott verziók
Apache Spark	3.0.x és 2.4x
A Databricks futtatókörnyezete	Apache Spark 3.0-összekötő: Databricks Runtime 7.x vagy újabb
Scala	Apache Spark 3.0-összekötő: 2.12 Apache Spark 2.4-összekötő: 2.11
Microsoft JDBC-illesztőprogram SQL Serverhez	8.2
Microsoft SQL Server	SQL Server 2008 vagy újabb
Azure SQL Database	Támogatott

A Spark-összekötő használata

A Spark-összekötő használatára vonatkozó utasításokért tekintse meg az Apache Spark-összekötőt: SQL Server & Azure SQL.