Partilhar via

Executar consultas federadas no Google BigQuery

  • Artigo

Importante

Esta funcionalidade está em Pré-visualização Pública.

Este artigo descreve como configurar a Lakehouse Federation para executar consultas federadas em dados do BigQuery que não são gerenciados pelo Azure Databricks. Para saber mais sobre a Lakehouse Federation, consulte O que é Lakehouse Federation?.

Para se conectar ao seu banco de dados do BigQuery usando a Lakehouse Federation, você deve criar o seguinte no metastore do Catálogo do Azure Databricks Unity:

  • Uma conexão com seu banco de dados do BigQuery.
  • Um catálogo estrangeiro que espelha seu banco de dados do BigQuery no Catálogo Unity para que você possa usar a sintaxe de consulta do Catálogo Unity e as ferramentas de governança de dados para gerenciar o acesso do usuário do Azure Databricks ao banco de dados.

Antes de começar

Requisitos do espaço de trabalho:

  • Espaço de trabalho habilitado para o Catálogo Unity.

Requisitos de computação:

  • Conectividade de rede do seu cluster Databricks Runtime ou SQL warehouse para os sistemas de banco de dados de destino. Consulte Recomendações de rede para a Lakehouse Federation.
  • Os clusters do Azure Databricks devem usar o Databricks Runtime 13.3 LTS ou superior e o modo de acesso compartilhado ou de usuário único.
  • Os armazéns SQL devem ser Pro ou Serverless.

Permissões necessárias:

  • Para criar uma conexão, você deve ser um administrador de metastore ou um usuário com o CREATE CONNECTION privilégio no metastore do Unity Catalog anexado ao espaço de trabalho.
  • Para criar um catálogo estrangeiro, você deve ter a CREATE CATALOG permissão no metastore e ser o proprietário da conexão ou ter o CREATE FOREIGN CATALOG privilégio na conexão.

Os requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Criar uma conexão

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Gerenciador de Catálogos ou o CREATE CONNECTION comando SQL em um bloco de anotações do Azure Databricks ou no editor de consultas Databricks SQL.

Nota

Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar uma conexão. Consulte os comandos POST /api/2.1/unity-catalog/connections e Unity Catalog.

Permissões necessárias: administrador do Metastore ou usuário com o CREATE CONNECTION privilégio.

Explorador de Catálogos

  1. No seu espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo.

  2. Na parte superior do painel Catálogo, clique no Ícone Adicionar ou mais ícone Adicionar e selecione Adicionar uma conexão no menu.

    Como alternativa, na página Acesso rápido , clique no botão Dados externos > , vá para a guia Conexões e clique em Criar conexão.

  3. Insira um nome de conexão amigável.

  4. Selecione um tipo de conexão do BigQuery.

  5. Insira a seguinte propriedade de conexão para sua instância do BigQuery.

    GoogleServiceAccountKeyJson: um objeto JSON bruto que é usado para especificar o projeto BigQuery e fornecer autenticação. Você pode gerar esse objeto JSON e baixá-lo na página de detalhes da conta de serviço no Google Cloud em "CHAVES". A conta de serviço deve ter permissões adequadas concedidas no BigQuery, incluindo o Usuário do BigQuery e o Visualizador de Dados do BigQuery. A seguir encontra-se um exemplo.

    {
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "-----BEGIN PRIVATE KEY-----\nPRIVATE_KEY\n-----END PRIVATE KEY-----\n",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

  6. (Opcional) Insira a seguinte propriedade de conexão para sua instância do BigQuery:

    ID do projeto: um nome para o projeto do BigQuery usado para cobrança de todas as consultas executadas sob essa conexão. O padrão é a ID do projeto da sua conta de serviço.

  7. (Opcional) Clique em Testar conexão para confirmar a conectividade de rede. Esta ação não testa a autenticação.

  8. (Opcional) Adicione um comentário.

  9. Clique em Criar.

SQL

Execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL. Substitua <GoogleServiceAccountKeyJson> por um objeto JSON bruto que especifica o projeto BigQuery e fornece autenticação. Você pode gerar esse objeto JSON e baixá-lo na página de detalhes da conta de serviço no Google Cloud em "CHAVES". A conta de serviço precisa ter permissões adequadas concedidas no BigQuery, incluindo o Usuário do BigQuery e o Visualizador de Dados do BigQuery. Para obter um exemplo de objeto JSON, exiba a guia Catalog Explorer nesta página.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

Recomendamos que você use segredos do Azure Databricks em vez de cadeias de caracteres de texto sem formatação para valores confidenciais, como credenciais. Por exemplo:

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Para obter informações sobre como configurar segredos, consulte Gerenciamento de segredos.

Criar um catálogo estrangeiro

Um catálogo estrangeiro espelha um banco de dados em um sistema de dados externo para que você possa consultar e gerenciar o acesso aos dados nesse banco de dados usando o Azure Databricks e o Unity Catalog. Para criar um catálogo estrangeiro, use uma conexão com a fonte de dados que já foi definida.

Para criar um catálogo estrangeiro, você pode usar o Gerenciador de Catálogos ou CREATE FOREIGN CATALOG em um bloco de anotações do Azure Databricks ou no editor de consultas Databricks SQL.

Nota

Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar um catálogo. Consulte POST /api/2.1/unity-catalog/catalogs ou comandos do Unity Catalog.

Permissões necessárias: CREATE CATALOG permissão no metastore e propriedade da conexão ou o CREATE FOREIGN CATALOG privilégio na conexão.

Explorador de Catálogos

  1. No espaço de trabalho do Azure Databricks, clique em Ícone do catálogo Catálogo para abrir o Gerenciador de Catálogos.

  2. Na parte superior do painel Catálogo, clique no Ícone Adicionar ou mais ícone Adicionar e selecione Adicionar um catálogo no menu.

    Como alternativa, na página Acesso rápido , clique no botão Catálogos e, em seguida, clique no botão Criar catálogo .

  3. (Opcional) Insira a seguinte propriedade de catálogo:

    Data Project Id: Um nome para o projeto do BigQuery que contém dados que serão mapeados para este catálogo. O padrão é o ID do projeto de faturamento definido no nível da conexão.

  4. Siga as instruções para criar catálogos estrangeiros em Criar catálogos.

SQL

Execute o seguinte comando SQL em um bloco de anotações ou no editor SQL do Databricks. Os itens entre parênteses são opcionais. Substitua os valores de espaço reservado.

  • <catalog-name>: Nome do catálogo no Azure Databricks.
  • <connection-name>: O objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdowns suportados

As seguintes flexões são suportadas:

  • Filtros
  • Projeções
  • Limite
  • Funções: parcial, apenas para expressões de filtro. (Funções de cadeia de caracteres, funções matemáticas, dados, funções de carimbo de data/hora e carimbo de data/hora e outras funções diversas, como Alias, Cast, SortOrder)
  • Agregados
  • Classificação, quando usado com limite

As seguintes flexões não são suportadas:

  • Associações
  • Funções do Windows

Mapeamentos de tipo de dados

A tabela a seguir mostra o mapeamento de tipo de dados do BigQuery para o Spark.

Tipo de BigQuery Tipo de faísca
bignumérico, numérico Tipo decimal
Int64 Tipo Longo
flutuar64 Tipo Duplo
matriz, geografia, intervalo, json, string, struct VarcharType
bytes BinaryType
booleano BooleanType
data Tipo de Data
datetime, hora, carimbo de data/hora TimestampType/TimestampNTZTipe

Quando você lê a partir do BigQuery, o BigQuery Timestamp é mapeado para o Spark TimestampType if preferTimestampNTZ = false (padrão). O BigQuery Timestamp é mapeado para TimestampNTZType if preferTimestampNTZ = true.