Eseguire query federate in Microsoft Azure Synapse

Questo articolo descrive come configurare la federazione di Lakehouse per eseguire query federate nei dati di Azure Synapse (SQL Data Warehouse) non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi a un database di Azure Synapse (SQL Data Warehouse) tramite Lakehouse Federation, è necessario creare i seguenti elementi nel metastore del catalogo Unity di Azure Databricks.

• Connessione al database di Azure Synapse (SQL Data Warehouse).
• Un catalogo esterno che rispecchia il database di Azure Synapse (SQL Data Warehouse) in Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

• Area di lavoro attivata per il catalogo Unity.

Requisiti di calcolo:

• Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
• Il calcolo di Azure Databricks deve usare Databricks Runtime 13.3 LTS o versione successiva e standard o modalità di accesso dedicato .
• I warehouse SQL devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

• Per creare una connessione, è necessario essere amministratore del metastore o un utente con il privilegio CREATE CONNECTION nel metastore Unity Catalog collegato all'area di lavoro.
• Per creare un catalogo straniero, è necessario avere il permesso CREATE CATALOG sul metastore ed essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG sulla connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Catalog Explorer o il comando SQL CREATE CONNECTION all'interno di un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Note

È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare una connessione. Vedere POST /api/2.1/unity-catalog/connections e i comandi del Unity Catalog.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esploratore di cataloghi

1. Nell'area di lavoro di Azure Databricks fare clic Catalogo.

2. Nella parte superiore del riquadro Catalogo, fare clic sull'icona icona Aggiungi e selezionare Aggiungi una connessione dal menu.

   In alternativa, nella pagina Accesso rapido fare clic sul pulsante Dati esterni >, passare alla scheda Connessioni e fare clic su Crea connessione.

3. Nella pagina Elementi di base della connessione della Procedura guidata di configurazione della connessione, inserisci un nome di connessione facile da usare.

4. Selezionare un tipo di connessione di SQLDW.

5. (Facoltativo) Aggiungere un commento.

6. Fare clic su Avanti.

7. Nella pagina autenticazione di immettere le proprietà di connessione seguenti per l'istanza di Azure Synapse:

   • Host: ad esempio . sqldws-demo.database.windows.net
   • Porta: ad esempio 1433
   • User
   • Password
   • Certificato server attendibile: questa opzione è deselezionata per impostazione predefinita. Se selezionata, il livello di trasporto usa SSL per crittografare il canale e ignora la catena di certificati per convalidare l'attendibilità. Lasciare questo valore impostato sul valore predefinito, a meno che non sia necessario ignorare la convalida dell'attendibilità.

8. Fare clic su Crea connessione.

9. Nella pagina Nozioni di base del catalogo immettere un nome per il catalogo esterno. Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.

10. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

11. Fare clic su Crea Catalogo.

12. Nella pagina Accesso selezionare le aree di lavoro in cui gli utenti possono accedere al catalogo creato. È possibile selezionare l'opzione Tutte le aree di lavoro hanno accesso, oppure fare clic su Assegna alle aree di lavoro, selezionare le aree di lavoro e quindi fare clic su Assegna.

13. Modifica il Proprietario che potrà gestire l'accesso a tutti gli oggetti del catalogo. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.

14. Concedi privilegi sul catalogo. Fare clic su Concedi:

    1. Specificare i Principals che avranno accesso agli oggetti nel catalogo. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.
    2. Selezionare i privilegi preimpostati da concedere a ciascun soggetto. Tutti gli utenti dell'account ricevono BROWSE per impostazione predefinita.
       • Selezionare Lettore dati dal menu a discesa per concedere read privilegi agli oggetti nel catalogo.
       • Selezionare Editor dati dal menu a discesa per concedere a read e modify privilegi sugli oggetti nel catalogo.
       • Selezionare manualmente i privilegi da concedere.
    3. Fare clic su "Concedi".

15. Fare clic su Avanti.

16. Nella pagina Metadata, specificare i tag coppie chiave-valore. Per ulteriori informazioni, vedere Applicare tag a oggetti proteggibili del catalogo Unity.

17. (Facoltativo) Aggiungere un commento.

18. Fare clic su Salva.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Per esempio:

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo straniero

Note

Se si usa l'interfaccia utente per creare una connessione all'origine dati, la creazione del catalogo esterno è inclusa ed è possibile ignorare questo passaggio.

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, si utilizza una connessione all'origine dati già definita.

Per creare un catalogo straniero, puoi utilizzare Catalog Explorer o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL. È anche possibile usare l'API REST di Databricks o l'interfaccia della riga di comando di Databricks per creare un catalogo. Vedi POST /api/2.1/unity-catalog/catalogs e comandi di Unity Catalog.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esploratore di cataloghi

1. Nell'area di lavoro di Azure Databricks fare clic Catalogo per aprire Esplora cataloghi.

2. Nella parte superiore del riquadro Catalogo fare clic Aggiungi e selezionare Aggiungi un catalogo dal menu.

   In alternativa, nella pagina accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

3. Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituisci i valori segnaposto:

• <catalog-name>: Nome per il catalogo in Azure Databricks.
• <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
• <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Supporto per pushdown

Sono supportati i seguenti pushdown:

• Filters
• Projections
• Limit
• Aggregati (Media, Conteggio, Max, Min, DeviazioneStdPop, DeviazioneStdCamp, Somma, VarianzaCamp)
• Funzioni (aritmetica e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
• Sorting

Non sono supportati i seguenti pushdown:

• Joins
• Funzioni finestra

Mapping di tipi di dati

Quando si legge da Synapse/SQL Data Warehouse a Spark, i tipi di dati vengono mappati nel modo seguente:

Tipo di connessione	Tipo Spark
decimale, denaro, numerico, piccolodenaro	DecimalType
smallint	ShortType
tinyint	ByteType
int	IntegerType
bigint	LongType
real	FloatType
float	DoubleType
char, nchar, ntext, nvarchar, text, uniqueidentifier, varchar, xml	StringType
binary, geografia, geometria, immagine, timestamp, udt, varbinary	BinaryType
bit	BooleanType
date	DateType
datetime, datetime2, smalldatetime, time	TimestampType/TimestampNTZType*

*Quando si legge da Synapse/SQL Data Warehouse (SQLDW), SQLDW datetimes viene mappato a Spark TimestampType se preferTimestampNTZ = false (impostazione predefinita). SqlDW datetimes viene mappato a TimestampNTZType se preferTimestampNTZ = true.