Condividi tramite

Eseguire query federate in Microsoft SQL Server

Questa pagina descrive come configurare la federazione di Lakehouse per eseguire query federate sui dati di SQL Server non gestiti da Azure Databricks. Per altre informazioni sulla federazione lakehouse, vedere Che cos'è Lakehouse Federation?

Per connettersi al database di SQL Server tramite Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo Unity di Azure Databricks:

  • Connessione al database di SQL Server.
  • Un catalogo esterno che rispecchia il database di SQL Server in Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso utente di Azure Databricks al database.

Lakehouse Federation supporta SQL Server, database SQL di Azure e Istanza gestita di SQL di Azure.

Operazioni preliminari

Requisiti dell'area di lavoro:

  • Spazio di lavoro con Unity Catalog abilitato.

Requisiti di calcolo:

  • Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
  • Il calcolo di Azure Databricks deve usare Databricks Runtime 13.3 LTS o versione successiva e standard o modalità di accesso dedicato .
  • I SQL warehouse devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTION nel metastore del catalogo Unity collegato all'area di lavoro.
  • Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o disporre del privilegio CREATE FOREIGN CATALOG per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Note

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Consulta POST /api/2.1/unity-catalog/connections e comandi di Unity Catalog.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esploratore di cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Dati.Catalogo.

  2. Nella parte superiore del riquadro Catalogo, fare clic sull'icona Aggiungi o piùicona Aggiungi e selezionare Aggiungi una connessione dal menu.

    In alternativa, nella pagina accesso rapido fare clic sul pulsante Dati esterni, passare alla scheda Connessioni e fare clic su Crea connessione.

  3. Nella pagina Nozioni di base sulla connessione della Configurazione guidata connessione, immettere un nome descrittivo per la connessione .

  4. Selezionare un tipo di connessione di SQL Server.

  5. Selezionare un tipo di autenticazione: OAuth, OAuth da macchina a macchina o Nome utente e password (autenticazione di base).

  6. (Facoltativo) Aggiungere un commento.

  7. Fare clic su Avanti.

  8. Nella pagina autenticazione, immettere le proprietà di connessione seguenti per l'istanza di SQL Server. Le proprietà specifiche del metodo di autenticazione selezionato sono precedute dalla Auth type tra parentesi.

    • Host: SQL Server.
    • (Autenticazione di base) Porto
    • (Autenticazione di base) trustServerCertificate: l'impostazione predefinita è false. Se impostato su true, il livello di trasporto usa SSL per crittografare il canale e ignora la catena di certificati per convalidare l'attendibilità. Lasciare questo valore impostato sul valore predefinito, a meno che non sia necessario ignorare la convalida dell'attendibilità.
    • (Autenticazione di base) Utente
    • (Autenticazione di base) Parola d’ordine
    • (OAuth) Immettere i dettagli di connessione raccolti in Configurare l'ID Microsoft Entra per la federazione di SQL Server.

  9. Fare clic su Crea connessione.

  10. (Autenticazione di base) Nella pagina dettagli connessione specificare quanto segue:

    • certificato del server trust: questa opzione è deselezionata per impostazione predefinita. Se selezionata, il livello di trasporto usa SSL per crittografare il canale e ignora la catena di certificati per convalidare l'attendibilità. Lasciare questo valore impostato sul valore predefinito, a meno che non sia necessario ignorare la convalida dell'attendibilità.
    • finalità dell'applicazione: tipo di carico di lavoro dell'applicazione durante la connessione a un server.

  11. Fare clic su Avanti.

  12. Nella pagina informazioni di base del catalogo immettere un nome per il catalogo esterno. Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.

  13. Fai clic su Crea catalogo.

  14. Nella pagina Access selezionare le aree di lavoro in cui gli utenti possono accedere al catalogo creato. È possibile selezionare Tutte le aree di lavoro hanno accessooppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.

  15. Modificare il Proprietario che sarà in grado di gestire l'accesso a tutti gli oggetti nel catalogo. Iniziare a digitare un principale nella casella di testo e quindi fare clic sul principale nei risultati restituiti.

  16. Concedere privilegi nel catalogo. Fare clic su Concedi:

    1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Iniziare a digitare un principale nella casella di testo e quindi fare clic sul principale nei risultati restituiti.
    2. Selezionare i set di impostazioni Privilegi da concedere a ogni entità. A tutti gli utenti dell'account viene concesso BROWSE per impostazione predefinita.
      • Selezionare Lettore Dati dal menu a tendina per concedere read privilegi sugli oggetti nel catalogo.
      • Selezionare Editor dati dal menu a discesa per concedere read e modify privilegi sugli oggetti nel catalogo.
      • Selezionare manualmente i privilegi da concedere.
    3. Fare clic su "Concedi".

  17. Fare clic su Avanti.

  18. Nella pagina Metadati, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag a oggetti sicuri del catalogo Unity.

  19. (Facoltativo) Aggiungere un commento.

  20. Fare clic su Salva.

Note

(OAuth) L'endpoint OAuth dell'ID Entra di Azure deve essere accessibile dagli indirizzi IP del piano di controllo di Azure Databricks. Vedere Aree di Azure Databricks.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare Azure Databricks segreti anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Per esempio:

CREATE CONNECTION <connection-name> TYPE sqlserver
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo esterno

Note

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL. È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Vedi POST /api/2.1/unity-catalog/catalogs e comandi del catalogo Unity.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esploratore di cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Dati.Catalogo per aprire Esplora cataloghi.

  2. Nella parte superiore del riquadro Catalogo, fare clic sull'icona Aggiungi o piùicona Aggiungi e selezionare Aggiungi un catalogo dal menu.

    In alternativa, dalla pagina accesso rapido, fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

  3. Seguire le istruzioni per la creazione di cataloghi stranieri in Create catalogs.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto:

  • <catalog-name>: nome per il catalogo in Azure Databricks.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
  • <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Supporto per pushdown

I pushdown seguenti sono supportati in tutte le risorse di calcolo:

  • Filters
  • Projections
  • Limit
  • Funzioni: parziale, solo per le espressioni di filtro. (Funzioni stringa, Funzioni matematiche, Dati, Time e Timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)

I pushdown seguenti sono supportati in Databricks Runtime 13.3 LTS e versioni successive e nel calcolo di SQL Warehouse:

  • Aggregates
  • Operatori booleani seguenti: =, <, = <, >= , ><=>
  • Le funzioni matematiche seguenti (non supportate se ANSI è disabilitato): +, -, *, %, /
  • Operatori vari seguenti: ^, |, ~
  • Ordinamento, se usato con limite

Non sono supportati i seguenti pushdown:

  • Joins
  • Funzioni finestra

Mapping di tipi di dati

Quando si legge da SQL Server a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo SQL Server Tipo Spark
bigint (senza segno), virgola mobile, money, numerico, smallmoney DecimalType
smallint (numero intero piccolo), tinyint (numero intero piccolissimo) ShortType
int IntegerType
bigint (se firmato) LongType
real FloatType
float DoubleType
char, nchar, uniqueidentifier CharType
nvarchar, varchar VarcharType
testo, xml StringType
binary, geografia, geometria, immagine, timestamp, udt, varbinary BinaryType
bit BooleanType
date DateType
datetime, datetime, smalldatetime, ora TimestampType/TimestampNTZType

*Quando si legge da SQL Server, SQL Server datetimes viene mappato a Spark TimestampType se preferTimestampNTZ = false (impostazione predefinita). Viene eseguito il mapping di SQL Server datetimes a TimestampNTZType se preferTimestampNTZ = true.

  • Last updated on