Requisitos para pipelines independentes

Esta página descreve os requisitos para criar e atualizar vistas materializadas autónomas e tabelas de streaming.

Pode criar e atualizar vistas materializadas autónomas e tabelas de streaming usando um SQL warehouse. Para submeter instruções CREATE e REFRESH, utilize o editor SQL na interface Azure Databricks, a Databricks SQL CLI ou a API SQL Databricks.

Também pode criar e atualizar vistas materializadas autónomas e tabelas de streaming autónomas a partir de um notebook executado em computação sem servidor de uso geral (Beta, disponibilidade regional limitada). Ver Portáteis.

Requisitos gerais

Os seguintes requisitos aplicam-se a todos os pipelines independentes.

Tem de ter:

Permissões para criar ou atualizar

O proprietário (o utilizador que cria a tabela) deve ter as seguintes permissões:

  • SELECT privilégio nas tabelas base.
  • USE CATALOG e USE SCHEMA permissões sobre o catálogo e o esquema que contêm as tabelas de origem.
  • USE CATALOG e USE SCHEMA privilégios no catálogo e no esquema de destino.
  • CREATE MATERIALIZED VIEW privilégio sobre o esquema que contém a visão materializada.
  • CREATE TABLE privilégio sobre o esquema que contém a tabela de transmissão. Pipelines que usam o modo de publicação legado também necessitam do privilégio CREATE TABLE para vistas materializadas.

Para atualizar uma visualização materializada autónoma ou uma tabela de streaming:

  • Deve estar no espaço de trabalho que o criou.
  • Tem de ter o privilégio REFRESH na tabela. Os proprietários têm este privilégio implicitamente.

Requisitos da tabela de fontes

Para uma atualização incremental das vistas materializadas a partir das tabelas Delta, as tabelas de origem devem ter o rastreamento de linhas ativado.

Armazéns SQL

Para criar ou atualizar vistas materializadas autónomas e tabelas de streaming utilizando um armazém SQL, tem de ter um armazém SQL pro ou serverless com o Unity Catalog ativado.

  • Seu espaço de trabalho deve estar em uma região que ofereça suporte a armazéns SQL sem servidor.

Notebooks

Pode criar e atualizar vistas materializadas autónomas e tabelas de streaming a partir de um notebook com computação geral serverless.

Computação geral sem servidor

Importante

A criação e atualização de vistas materializadas independentes e tabelas de streaming a partir de um notebook em computação geral sem servidor está em Beta. Esta funcionalidade está disponível apenas em regiões selecionadas. Ver disponibilidade regional.

Pode criar e atualizar vistas materializadas autónomas e tabelas de streaming a partir de um caderno ligado à computação geral sem servidor. Esta opção é útil quando se quer definir e executar vistas materializadas ou tabelas de streaming juntamente com outros fluxos de trabalho baseados em cadernos sem provisionar um SQL warehouse.

Requisitos gerais de computação serverless

  • Um caderno ligado a computação geral sem servidor.
  • Databricks Runtime 18.1 ou superior. Os cadernos interativos cumprem este requisito automaticamente; os empregos atribuídos a uma versão mais antiga não o fazem.
  • Seu espaço de trabalho deve estar em uma região suportada.

Limitações

  • Só o dono da mesa pode renovar a mesa. Para permitir que outro utilizador atualize, muda o proprietário. Veja Alterar o proprietário de uma tabela de streaming e Alterar o proprietário de uma vista materializada.
  • Atualizações assíncronas não são suportadas. Use antes uma atualização síncrona.
  • O canal de pré-visualização não é suportado. As tabelas criadas em computação geral sem servidor utilizam o current canal.
  • Uma tabela só pode ser atualizada usando o tipo de computação com que foi criada. Uma tabela criada num SQL warehouse deve ser atualizada num SQL warehouse, e uma tabela criada em computação geral sem servidor deve ser atualizada em computação geral sem servidor. Para verificar o tipo de computação, consulte a tabela no Explorador de Catálogos.
  • Atribuição e controlo de custos não estão disponíveis. Usa um SQL warehouse se precisares de atribuição de custos por tabela.
  • O dimensionamento automático vertical para erros de falta de memória não está disponível.
  • Não há novas tentativas disponíveis para atualizações do esquema.
  • A seleção do modo de desempenho na atualização não está disponível. Consulte Selecionar um modo de desempenho para atualizações agendadas.

Note

spark.sql é suportado ao efetuar uma atualização num notebook em computação geral sem servidor.

:::

Requisitos de consulta

Para consultar uma vista materializada independente ou uma tabela de streaming, tem de ser o proprietário ou ter SELECT na tabela, juntamente com USE CATALOG e USE SCHEMA nas respetivas tabelas principais.

Você deve usar um dos seguintes recursos de computação:

  • Armazém SQL
  • Interfaces Declarativas de Pipelines Lakeflow Spark
  • Computação do modo de acesso padrão (anteriormente modo de acesso compartilhado)
  • Computação no modo de acesso dedicado (anteriormente designado por modo de acesso de utilizador único) no Databricks Runtime 15.4 ou superior, se o espaço de trabalho estiver ativado para computação sem servidor. Consulte Controle de acesso refinado em computação dedicada. Se for o proprietário, pode utilizar a computação no modo de acesso dedicado com o Databricks Runtime 14.3 ou posterior.

Para tabelas de streaming no Databricks Runtime 15.3 e anteriores, só pode usar capacidade de computação dedicada para consultar uma tabela de streaming se for o respetivo proprietário. O Databricks Runtime 15.4 LTS e superiores suporta consultas a tabelas geradas por pipeline em computação dedicada, mesmo que não sejas o proprietário. Pode ser cobrado pelos recursos de computação sem servidor ao utilizar computação dedicada para executar operações de filtragem de dados. Consulte Controle de acesso refinado em computação dedicada.

Disponibilidade regional

Tabelas criadas e atualizadas usando um Databricks SQL warehouse estão disponíveis em todas as regiões que suportam serverless Databricks SQL warehouses.

A criação e atualização de vistas materializadas autónomas e tabelas de streaming em computação geral sem servidor está disponível apenas em regiões selecionadas.

Para consultar a lista de regiões suportadas para ambas as opções de computação, veja disponibilidade do Serverless.

  • Last updated on