Requisitos para pipelines independentes

A criação e a atualização de visões materializadas independentes e de tabelas de streaming exigem um workspace sem servidor habilitado e com o Catálogo do Unity habilitado, além de um SQL warehouse ou um notebook em computação geral sem servidor.

Você pode criar e atualizar exibições materializadas autônomas e tabelas de streaming usando um SQL Warehouse. Para enviar instruções SQL CREATE e REFRESH, use o editor SQL na interface do Azure Databricks, a CLI do Databricks SQL ou a API do Databricks SQL.

Você também pode criar e atualizar exibições materializadas autônomas e tabelas de streaming de um notebook em execução na computação geral sem servidor (Beta, disponibilidade regional limitada). Consulte Notebooks.

Requisitos gerais

Os requisitos a seguir se aplicam a todos os pipelines autônomos.

Você deve ter:

Permissões para criar ou atualizar

O proprietário (o usuário que cria a tabela) deve ter as seguintes permissões:

  • Privilégio SELECT nas tabelas de base.
  • Privilégios USE CATALOG e USE SCHEMA sobre o catálogo e o esquema contendo as tabelas de origem.
  • Privilégios USE CATALOG e USE SCHEMA no catálogo e esquema de destino.
  • Privilégio CREATE MATERIALIZED VIEW no esquema contendo a exibição materializada.
  • Privilégio CREATE TABLE no esquema que contém a tabela de streaming. Pipelines que usam o modo de publicação herdado também exigem o privilégio CREATE TABLE para exibições materializadas.

Para atualizar uma exibição materializada autônoma ou uma tabela de streaming:

  • Você deve estar no espaço de trabalho em que isso foi criado.
  • Você precisa ter o privilégio REFRESH na tabela. Os proprietários têm esse privilégio implicitamente.

Requisitos da tabela de origem

Para a atualização incremental de exibições materializadas de tabelas Delta, as tabelas de origem devem ter o controle de linha habilitado.

Armazenamentos SQL

Para criar ou atualizar visões materializadas independentes e tabelas de streaming usando um warehouse SQL, você deve ter um warehouse SQL Pro ou sem servidor com o Unity Catalog habilitado.

Notebooks

Você pode criar e atualizar exibições materializadas autônomas e tabelas de streaming de um notebook com computação geral sem servidor.

Computação geral sem servidor

Importante

A criação e atualização de exibições materializadas independentes e tabelas de streaming de um notebook na computação geral sem servidor está em Beta. Esse recurso está disponível apenas em regiões selecionadas. Consulte a disponibilidade regional.

Você pode criar e atualizar visões materializadas independentes e tabelas de streaming a partir de um notebook conectado à computação geral sem servidor. Essa opção é útil quando você deseja definir e executar exibições materializadas ou tabelas de streaming ao lado de outros fluxos de trabalho baseados em notebook sem provisionar um SQL Warehouse.

Para criar e atualizar exibições materializadas independentes e tabelas de streaming com Python de um notebook, confira Usar o Python com pipelines independentes.

Requisitos gerais de computação sem servidor

  • Um notebook anexado à computação geral sem servidor.
  • Databricks Runtime 18.1 ou superior. Notebooks interativos atendem automaticamente a esse requisito; tarefas vinculadas a uma versão mais antiga não o fazem.
  • Seu espaço de trabalho deve estar em uma região compatível.

Limitações

  • Somente o proprietário da tabela pode atualizar a tabela. Para permitir que outro usuário atualize, altere o proprietário. Confira Alterar o proprietário de uma tabela de streaming e Alterar o proprietário de uma visão materializada.
  • Não há suporte para atualizações assíncronas. Em vez disso, use uma atualização síncrona.
  • Não há suporte para o canal de visualização. As tabelas criadas na computação geral sem servidor usam o current canal.
  • Uma tabela só pode ser atualizada usando o tipo de computação com o qual foi criada. Uma tabela criada em um SQL Warehouse deve ser atualizada em um SQL Warehouse e uma tabela criada na computação geral sem servidor deve ser atualizada na computação geral sem servidor. Para verificar o tipo de computação, exiba a tabela no Gerenciador de Catálogos.
  • A atribuição de custos e o controle de custos não estão disponíveis. Use um SQL Warehouse se precisar de atribuição de custo por tabela.
  • O dimensionamento automático vertical para erros de falta de memória não está disponível.
  • Não há repetições disponíveis para atualizações de esquema.
  • A seleção do modo de desempenho na atualização não está disponível. Consulte Selecionar um modo de desempenho para atualizações agendadas.

Note

spark.sql é compatível ao executar uma atualização em um notebook na computação geral sem servidor.

Requisitos de consulta

Para consultar uma exibição materializada independente ou uma tabela de streaming, você deve ser o proprietário ou ter SELECT na tabela junto com USE CATALOG e USE SCHEMA nos pais.

Você precisa usar um dos seguintes recursos de computação:

  • SQL Warehouse
  • Interfaces de pipelines do Lakeflow
  • Computação no modo de acesso padrão (anteriormente modo de acesso compartilhado)
  • Computação com modo de acesso dedicado (anteriormente, modo de acesso de usuário único) no Databricks Runtime 15.4 ou superior, se o espaço de trabalho estiver habilitado para computação sem servidor. Consulte o controle de acesso refinado na computação dedicada. Se você for o proprietário, poderá usar a computação de modo de acesso dedicado executando o Databricks Runtime 14.3 ou superior.

Para tabelas de streaming no Databricks Runtime 15.3 e abaixo, você pode usar a computação dedicada para consultar uma tabela de streaming somente se você a tiver. O Databricks Runtime 15.4 LTS e acima dão suporte à consulta de tabelas geradas por pipeline na computação dedicada, mesmo se você não for o proprietário. Você pode ser cobrado por recursos de computação sem servidor ao usar a computação dedicada para executar operações de filtragem de dados. Consulte o controle de acesso refinado na computação dedicada.

Disponibilidade regional

As tabelas criadas e atualizadas usando um Databricks SQL warehouse estão disponíveis em todas as regiões que oferecem suporte a Databricks SQL warehouses sem servidor.

A criação e atualização de exibições materializadas autônomas e tabelas de streaming na computação geral sem servidor estão disponíveis apenas em regiões selecionadas.

Para obter a lista de regiões com suporte para ambas as opções de computação, consulte a disponibilidade sem servidor.

  • Last updated on