Eseguire query federate in Google BigQuery
Importante
Questa funzionalità è disponibile in anteprima pubblica.
Questo articolo descrive come configurare la federazione lakehouse per eseguire query federate su dati BigQuery non gestiti da Azure Databricks. Per altre informazioni sulla federazione lakehouse, vedere Che cos'è la federazione lakehouse.
Per connettersi al database BigQuery tramite Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo Unity di Azure Databricks:
- Connessione al database BigQuery.
- Catalogo esterno che rispecchia il database BigQuery in Unity Catalog in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.
Operazioni preliminari
Requisiti dell'area di lavoro:
- Area di lavoro abilitata per il catalogo Unity.
Requisiti di calcolo:
- Connettività di rete dal cluster di Databricks Runtime o sql warehouse ai sistemi di database di destinazione. Vedere Raccomandazioni sulla rete per la federazione di Lakehouse.
- I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
- I warehouse SQL devono essere Pro o Serverless.
Autorizzazioni necessarie:
- Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio per
CREATE CONNECTION
il metastore del catalogo Unity collegato all'area di lavoro. - Per creare un catalogo esterno, è necessario disporre dell'autorizzazione
CREATE CATALOG
per il metastore e essere il proprietario della connessione o avere ilCREATE FOREIGN CATALOG
privilegio per la connessione.
In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.
Creare una connessione
Una connessione specifica un percorso e le credenziali per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il CREATE CONNECTION
comando SQL in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.
Autorizzazioni necessarie: amministratore o utente metastore con il CREATE CONNECTION
privilegio .
Esplora cataloghi
Nell'area di lavoro di Azure Databricks fare clic su
Catalogo.
Nella parte superiore del riquadro Catalogo fare clic sull'icona
Aggiungi e selezionare Aggiungi una connessione dal menu.
In alternativa, nella pagina Accesso rapido fare clic sul pulsante Dati > esterni, passare alla scheda Connessioni e fare clic su Crea connessione.
Immettere un nome di connessione descrittivo.
Selezionare un tipo di connessione di BigQuery.
Immettere la proprietà di connessione seguente per l'istanza di BigQuery.
GoogleServiceAccountKeyJson: oggetto JSON non elaborato usato per specificare il progetto BigQuery e fornire l'autenticazione. È possibile generare questo oggetto JSON e scaricarlo dalla pagina dei dettagli dell'account del servizio in Google Cloud in "KEYS". L'account del servizio deve disporre delle autorizzazioni appropriate concesse in BigQuery, inclusi l'utente BigQuery e il Visualizzatore dati BigQuery. Di seguito viene riportato un esempio.
{ "type": "service_account", "project_id": "PROJECT_ID", "private_key_id": "KEY_ID", "private_key": "-----BEGIN PRIVATE KEY-----\nPRIVATE_KEY\n-----END PRIVATE KEY-----\n", "client_email": "SERVICE_ACCOUNT_EMAIL", "client_id": "CLIENT_ID", "auth_uri": "https://accounts.google.com/o/oauth2/auth", "token_uri": "https://accounts.google.com/o/oauth2/token", "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs", "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL", "universe_domain": "googleapis.com" }
(Facoltativo) Fare clic su Test connessione per confermare la connettività di rete. Questa azione non testa l'autenticazione.
(Facoltativo) Aggiungere un commento.
Cliccare su Crea.
SQL
Eseguire il comando seguente in un notebook o nell'editor di query SQL di Databricks. Sostituire <GoogleServiceAccountKeyJson>
con un oggetto JSON non elaborato che specifica il progetto BigQuery e fornisce l'autenticazione. È possibile generare questo oggetto JSON e scaricarlo dalla pagina dei dettagli dell'account del servizio in Google Cloud in "KEYS". L'account del servizio deve disporre delle autorizzazioni appropriate concesse in BigQuery, inclusi l'utente BigQuery e il Visualizzatore dati BigQuery. Per un esempio di oggetto JSON, visualizzare la scheda Esplora cataloghi in questa pagina.
CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);
È consigliabile usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:
CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)
Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.
Creare un catalogo esterno
Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogo esterno, usare una connessione all'origine dati già definita.
Per creare un catalogo esterno, è possibile usare Esplora cataloghi o CREATE FOREIGN CATALOG
in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.
Autorizzazioni necessarie: CREATE CATALOG
autorizzazione per il metastore e la proprietà della connessione o il CREATE FOREIGN CATALOG
privilegio per la connessione.
Esplora cataloghi
Nell'area di lavoro di Azure Databricks fare clic su
Catalogo per aprire Esplora cataloghi.
Nella parte superiore del riquadro Catalogo fare clic sull'icona
Aggiungi e selezionare Aggiungi un catalogo dal menu.
In alternativa, nella pagina Accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.
Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.
SQL
Eseguire il comando SQL seguente in un notebook o nell'editor SQL di Databricks. Gli elementi tra parentesi quadre sono facoltativi. Sostituire i valori segnaposto.
<catalog-name>
: nome del catalogo in Azure Databricks.<connection-name>
: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;
Pushdown supportati
Sono supportati i pushdown seguenti:
- Filtri
- Proiezioni
- Limite
- Funzioni: parziale, solo per le espressioni di filtro. (Funzioni stringa, Funzioni matematiche, Dati, Time e Timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
- Aggregazioni
- Ordinamento, se usato con limite
I pushdown seguenti non sono supportati:
- Join
- Funzioni di Windows
Mapping di tipi di dati
La tabella seguente illustra il mapping dei tipi di dati BigQuery a Spark.
Tipo BigQuery | Tipo spark |
---|---|
bignumeric, numerico | DecimalType |
int64 | LongType |
float64 | DoubleType |
array, geography, interval, json, string, struct | VarcharType |
bytes | BinaryType |
bool | BooleanType |
data | DateType |
datetime, time, timestamp | TimestampType/TimestampNTZType |
Quando si legge da BigQuery, BigQuery Timestamp
viene mappato a Spark TimestampType
se preferTimestampNTZ = false
(impostazione predefinita). Viene eseguito il mapping di BigQuery Timestamp
a TimestampNTZType
se preferTimestampNTZ = true
.
Commenti e suggerimenti
https://aka.ms/ContentUserFeedback.
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedereInvia e visualizza il feedback per