Aceda a visualizações materializadas e tabelas de streaming usando sistemas externos

Por defeito, as visualizações materializadas e as tabelas de streaming não estão disponíveis para acesso a partir de sistemas externos. O Azure Databricks oferece duas funcionalidades que permitem disponibilizar os seus conjuntos de dados a clientes Delta Lake ou Iceberg:

  • Acesso externo a dados (Pré-visualização pública) - Permitir o acesso externo a dados para conjuntos de dados de pipeline cria uma cópia dos metadados do conjunto de dados que permite aos clientes usar as APIs REST do Unity Catalog ou Iceberg, sem necessidade de uma cópia completa dos dados ou um calendário de atualização separado. Os clientes devem usar as APIs REST do catálogo e devem suportar o Delta 4.0.0 ou superior, ou a especificação Iceberg v3.

    Para detalhes sobre o acesso externo a dados para conjuntos de dados de pipeline, consulte Permitir o acesso externo a tabelas de streaming e visualizações materializadas.

  • Modo de compatibilidade (Pré-visualização pública) - Ativar o modo de compatibilidade para um conjunto de dados gera uma versão de apenas leitura dos seus dados numa localização escolhida, que deve ser atualizada quando as tabelas são atualizadas. A versão de compatibilidade inclui metadados v1 tanto para os formatos Delta Lake como Iceberg, juntamente com a cópia somente de leitura dos dados, permitindo acesso para uma gama mais ampla de clientes (incluindo clientes que têm de ler os dados da tabela diretamente, em vez de através de uma API), à custa de atrasos nas atualizações de dados e custos de cópia de dados.

    Para detalhes sobre o modo de compatibilidade, consulte Modo de Compatibilidade.

Se os seus clientes externos suportarem as APIs REST, o Azure Databricks recomenda usar acesso a dados externos para dar a esses clientes acesso a vistas materializadas ou tabelas de streaming. Para uma gama mais ampla de clientes, especialmente clientes mais antigos e outras tabelas geridas pelo Unity Catalog, use o modo de compatibilidade.

Capacidade Acesso a dados externos Modo de compatibilidade
Cópia de dados Não é necessária cópia dos dados. É necessária uma cópia dos dados.
Consistency Consistência de leitura após escrita. Os clientes externos veem as mudanças assim que acontecem no conjunto de dados. As atualizações ocorrem de acordo com um agendamento. Por defeito, a tabela de compatibilidade atualiza-se de hora a hora. Esta pode ser configurada para atualizar imediatamente após uma alteração na tabela de origem, mas continua a ser atrasada pelo tempo de cópia dos dados.
Access Requer acesso "moderno" à API REST. Suporta APIs de catálogo Delta 4.0.0 ou superiores ou APIs de especificação Iceberg v3 (requer suporte de vetores de eliminação). Compatível com todos os clientes Delta Lake ou Iceberg.
Objeto de tabela única Vistas materializadas e tabelas de streaming aparecem como tabelas geridas com o mesmo nome do conjunto de dados original para os clientes externos. As tabelas de compatibilidade aparecem como uma nova tabela numa nova localização para os clientes externos.
Suporte para tipos de tabela Suporta vistas materializadas e tabelas de streaming geridas pelos Lakeflow Spark Declarative Pipelines. Suporta vistas materializadas e tabelas de streaming, quer geridas por Lakeflow Spark Declarative Pipelines ou independentes, e quaisquer outras tabelas geridas pelo Unity Catalog.
Custo O custo de manutenção dos metadados externos faz parte do custo de atualização da vista materializada ou da tabela de streaming. Isto é geralmente menos de 1% do custo e do tempo para a atualização. A maior parte do custo do modo de compatibilidade é o custo de transferir os dados legados para a nova localização.

Recursos adicionais

  • Last updated on