Condividi tramite

Eseguire query federate in un'altra area di lavoro di Databricks

  • Articolo

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Questo articolo descrive come configurare Lakehouse Federation per eseguire query federate sui dati di Databricks in un'altra area di lavoro di Databricks. Per altre informazioni sulla federazione lakehouse, vedere Che cos'è la federazione lakehouse.

Importante

Databricks-to-Databricks Lakehouse Federation è uno strumento valido per l'esecuzione di query sui dati gestiti da un altro metastore Hive o AWS Glue di un'altra area di lavoro di Databricks. Per la maggior parte degli altri scenari, altri flussi di lavoro di Azure Databricks sono più efficienti:

  • Se le aree di lavoro di Azure Databricks condividono lo stesso metastore di Unity Catalog, è possibile gestire query tra aree di lavoro usando query standard di Unity Catalog e strumenti di governance dei dati.
  • Se si vuole l'accesso in sola lettura ai dati in un'area di lavoro di Databricks collegata a un metastore di Unity Catalog diverso, indipendentemente dal fatto che nell'account azure Databricks o meno, la condivisione delta è una scelta migliore.

Non è necessario configurare la federazione lakehouse in uno di questi scenari.

Per connettersi a un catalogo di Databricks in un'altra area di lavoro usando Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo Unity di Azure Databricks:

  • Un cluster o sql warehouse in un'area di lavoro di Databricks.
  • Connessione al cluster o a SQL Warehouse.
  • Catalogo esterno nel metastore del catalogo Unity che rispecchia gli altri cataloghi di Databricks accessibili dal cluster o dal data warehouse in modo che sia possibile usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks ai dati.

Operazioni preliminari

Requisiti dell'area di lavoro:

  • Area di lavoro abilitata per il catalogo Unity.

Requisiti di calcolo:

  • Connettività di rete dal cluster di Databricks Runtime o sql warehouse ai sistemi di database di destinazione. Vedere Raccomandazioni sulla rete per la federazione di Lakehouse.
  • I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
  • I warehouse SQL devono essere Pro o Serverless.

Autorizzazioni necessarie:

  • Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio per CREATE CONNECTION il metastore del catalogo Unity collegato all'area di lavoro.
  • Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il CREATE FOREIGN CATALOG privilegio per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

È anche necessario disporre di un cluster attivo o di SQL Warehouse nell'area di lavoro di Azure Databricks usata per configurare la connessione.

Creare una connessione

Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il CREATE CONNECTION comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: amministratore o utente metastore con il CREATE CONNECTION privilegio .

Esplora cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic su Icona catalogoCatalogo.
  2. Nel riquadro sinistro espandere il menu Dati esterni e selezionare Connessione ions.
  3. Fare clic su Crea connessione.
  4. Immettere un nome di Connessione descrittivo.
  5. Selezionare un tipo di Connessione ion di Databricks.
  6. Immettere le proprietà di connessione seguenti per l'altra istanza di Databricks.
    • Host: nome dell'istanza dell'area di lavoro. Per informazioni su come ottenere il nome dell'istanza dell'area di lavoro, vedere Ottenere gli identificatori per gli oggetti dell'area di lavoro.
    • Percorso HTTP: percorso HTTP per sql warehouse. Per ottenere il percorso, passare a SQL SQL > Warehouse nella barra laterale, selezionare SQL Warehouse, passare alla scheda dei dettagli Connessione ion e copiare il valore per il percorso HTTP.
    • Token di accesso personale: token di accesso personale di Azure Databricks che consente l'accesso all'area di lavoro di destinazione. Per informazioni su come ottenere un token, vedere Autenticazione del token di accesso personale di Azure Databricks. Per le connessioni, Databricks consiglia di usare un token di accesso personale per un'entità servizio.
  7. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.
  8. (Facoltativo) Aggiungere un commento.
  9. Fai clic su Crea.

Sql

Eseguire il comando seguente in un notebook o nell'editor di query SQL di Databricks, sostituendo quanto segue:

  • <connection-name>: nome descrittivo per la connessione che si sta creando.
  • <workspace-instance>: istanza dell'area di lavoro di destinazione. Per informazioni su come ottenere il nome dell'istanza dell'area di lavoro, vedere Ottenere gli identificatori per gli oggetti dell'area di lavoro.
  • <sql-warehouse-path>: percorso HTTP per sql warehouse. Per ottenere il percorso, passare a SQL SQL > Warehouse nella barra laterale, selezionare SQL Warehouse, passare alla scheda dei dettagli Connessione ion e copiare il valore per il percorso HTTP.
  • <personal-access-token>: token di accesso personale di Azure Databricks che consente l'accesso all'area di lavoro di destinazione. Per informazioni su come ottenere un token, vedere Autenticazione del token di accesso personale di Azure Databricks. Per le connessioni, Databricks consiglia di usare il token di accesso personale di un'entità servizio.
CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken '<personal-access-token>'
);

È consigliabile usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo esterno

Un catalogo esterno esegue il mirrorizzazione di un catalogo nell'area di lavoro di Databricks esterna in modo da poter eseguire query e gestire l'accesso ai dati nel catalogo di Databricks esterno come se fosse un catalogo nel proprio workspsace. Per creare un catalogo esterno, usare una connessione all'area di lavoro di Databricks esterna già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il CREATE FOREIGN CATALOG comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie:CREATE CATALOG autorizzazione per il metastore e la proprietà della connessione o il CREATE FOREIGN CATALOG privilegio per la connessione.

Esplora cataloghi

  1. Nell'area di lavoro di Azure Databricks fare clic su Icona catalogoCatalogo.
  2. Fare clic sul pulsante Crea catalogo .
  3. Nella finestra di dialogo Crea un nuovo catalogo immettere un nome per il catalogo e selezionare un tipo di oggetto esterno.
  4. Selezionare il Connessione che fornisce l'accesso al database di cui si vuole eseguire il mirroring come catalogo del catalogo Unity.
  5. Immettere il nome del catalogo di Databricks di destinazione.
  6. Fai clic su Crea.

Sql

Eseguire il comando SQL seguente in un notebook o in un editor SQL di Databricks. Gli elementi tra parentesi quadre sono facoltativi. Sostituire i valori segnaposto:

  • <catalog-name>: nome del catalogo esterno che si sta creando.
  • <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
  • <external-catalog-name>: nome del catalogo nell'area di lavoro di Databricks esterna di cui si esegue il mirroring.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (catalog '<external-catalog-name>');

Pushdown supportati

I pushdown seguenti sono supportati in tutte le risorse di calcolo:

  • Filtri
  • Proiezioni
  • Limite
  • Funzioni: sono supportate solo espressioni di filtro (funzioni stringa, funzioni matematiche, dati, ora e timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder).

I pushdown seguenti sono supportati in Databricks Runtime 13.3 LTS e versioni successive e nelle risorse di calcolo di SQL Warehouse:

  • Aggregazioni
  • Operatori booleani seguenti: =, <, = <, >= , ><=>
  • Le funzioni matematiche seguenti (non supportate se ANSI è disabilitato): +, -, *, %, /
  • Operatori vari seguenti: ^, |, ~
  • Ordinamento, se usato con limite

I pushdown seguenti non sono supportati:

  • Join
  • Funzioni di Windows