Publicar dados do Delta Live Tables no metastore do Hive
Você pode tornar os dados de saída do seu pipeline detetáveis e disponíveis para consulta publicando conjuntos de dados no metastore do Hive. Para publicar conjuntos de dados no metastore, insira um nome de esquema no campo Destino ao criar um pipeline. Você também pode adicionar um banco de dados de destino a um pipeline existente.
Por padrão, todas as tabelas e exibições criadas no Delta Live Tables são locais para o pipeline. Você deve publicar tabelas em um esquema de destino para consultar ou usar conjuntos de dados Delta Live Tables fora do pipeline no qual eles são declarados.
Para publicar tabelas dos seus pipelines no Catálogo Unity, consulte Utilizar o Catálogo Unity com os seus pipelines do Delta Live Tables..
Como publicar conjuntos de dados Delta Live Tables em um esquema
Você pode declarar um esquema de destino para todas as tabelas em seu pipeline Delta Live Tables usando o campo Esquema de destino nas configurações de pipeline e Criar UIs de pipeline.
Você também pode especificar um esquema em uma configuração JSON definindo o target
valor.
Você deve executar uma atualização para o pipeline para publicar resultados no esquema de destino.
Você pode usar esse recurso com várias configurações de ambiente para publicar em esquemas diferentes com base no ambiente. Por exemplo, você pode publicar em um dev
esquema para desenvolvimento e um prod
esquema para dados de produção.
Como consultar conjuntos de dados no Delta Live Tables
Após a conclusão de uma atualização, você pode exibir o esquema e as tabelas, consultar os dados ou usá-los em aplicativos downstream.
Uma vez publicadas, as tabelas Delta Live Tables podem ser consultadas de qualquer ambiente com acesso ao esquema de destino. Isso inclui Databricks SQL, notebooks e outros pipelines Delta Live Tables.
Importante
Quando você cria uma target
configuração, somente tabelas e metadados associados são publicados. As visualizações não são publicadas no metastore.
Excluir tabelas do esquema de destino
Se você precisar calcular tabelas intermediárias que não se destinam ao consumo externo, poderá impedir que elas sejam publicadas em um esquema usando a TEMPORARY
palavra-chave. As tabelas temporárias ainda armazenam e processam dados de acordo com a semântica Delta Live Tables, mas não devem ser acessadas fora do pipeline atual. Uma tabela temporária persiste durante o tempo de vida do pipeline que a cria. Use a sintaxe a seguir para declarar tabelas temporárias:
SQL
CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;
Python
@dlt.table(
temporary=True)
def temp_table():
return ("...")
Comentários
https://aka.ms/ContentUserFeedback.
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja:Submeter e ver comentários