Eseguire query federate in Microsoft Azure Synapse
Articolo
Questo articolo descrive come configurare la federazione di Lakehouse per eseguire query federate nei dati di Azure Synapse (SQL Data Warehouse) non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.
Per connettersi a un database di Azure Synapse (SQL Data Warehouse) tramite Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo unity di Azure Databricks:
Connessione al database di Azure Synapse (SQL Data Warehouse).
Catalogo esterno che rispecchia il database di Azure Synapse (SQL Data Warehouse) in Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso utente di Azure Databricks al database.
I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
I warehouse SQL devono essere Pro o Serverless e devono usare la versione 2023.40 o successiva.
Autorizzazioni necessarie:
Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTIONper il metastore del catalogo Unity collegato all'area di lavoro.
Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG per la connessione.
In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.
Crea una connessione
Una connessione specifica un percorso e le credenziali per accedere a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.
Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.
Esplora cataloghi
Nell'area di lavoro di Azure Databricks fare clic su Catalogo.
Nella parte superiore del riquadro Catalogo fare clic sull'icona Aggiungi e selezionare Aggiungi una connessione dal menu.
In alternativa, nella pagina Accesso rapido fare clic sul pulsante > Dati esterni, passare alla scheda Connessioni e fare clic su Crea connessione.
Immettere un nome di connessione semplice.
Selezionare un tipo di connessione di SQLDW.
Immettere le proprietà di connessione seguenti per l'istanza di Azure Synapse.
Host: ad esempio . sqldws-demo.database.windows.net
Porta: ad esempio 1433
trustServerCertificate: l'impostazione predefinita è false. Se impostato su true, il livello di trasporto usa SSL per crittografare il canale e ignora la catena di certificati per convalidare l'attendibilità. Lasciare questo valore impostato sul valore predefinito, a meno che non sia necessario ignorare la convalida dell'attendibilità.
Utente
Password
(Facoltativo) Fare clic su Test connessione per verificare che funzioni.
(Facoltativo) Aggiungere un commento.
Cliccare su Crea.
SQL
Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.
CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
Consigliamo di usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:
CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e catalogo Unity. Per creare un catalogo esterno, usare una connessione all'origine dati già definita.
Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL.
Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.
Esplora cataloghi
Nell'area di lavoro di Azure Databricks fare clic su Catalogo per aprire Esplora cataloghi.
Nella parte superiore del riquadro Catalogo fare clic sull'icona Aggiungi e selezionare Aggiungi un catalogo dal menu.
In alternativa, nella pagina Accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.
Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.
SQL
Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto;
<catalog-name>: nome del catalogo in Azure Databricks.
<connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
<database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');
*Quando si legge da Synapse/SQL Data Warehouse (SQLDW), SQLDW datetimes viene mappato a Spark TimestampType se preferTimestampNTZ = false (impostazione predefinita). SqlDW datetimes viene mappato a TimestampNTZType se preferTimestampNTZ = true.
Delta Lake è un'area di archiviazione relazionale open source per Spark che è possibile usare per implementare un'architettura data lakehouse in Azure Synapse Analytics.
Dimostrare la comprensione delle attività comuni di ingegneria dei dati per implementare e gestire carichi di lavoro di ingegneria dei dati in Microsoft Azure, usando vari servizi di Azure.