Compartilhar via

Logs do Delta Lake no Warehouse no Microsoft Fabric

  • Artigo

Aplica-se a:✅Warehouse no Microsoft Fabric

O Warehouse no Microsoft Fabric é criado em formatos de arquivo abertos. As tabelas de usuário são armazenadas no formato de arquivo parquet e os logs do Delta Lake são publicados para todas as tabelas de usuário.

Os logs do Delta Lake abrem o acesso direto às tabelas de usuário do warehouse para qualquer mecanismo que possa ler tabelas do Delta Lake. Esse acesso é limitado a somente leitura para garantir que os dados do usuário mantenham a conformidade da transação ACID. Todas as inserções, atualizações e exclusões para os dados nas tabelas devem ser executadas por meio do Warehouse. Depois que uma transação é confirmada, um processo em segundo plano do sistema é iniciado para publicar o log atualizado do Delta Lake para as tabelas afetadas.

Como obter o caminho do OneLake

As etapas a seguir detalham como obter o caminho do OneLake de uma tabela em um warehouse:

  1. Abra o Warehouse em seu workspace do Microsoft Fabric.

  2. No Pesquisador de Objetos, você encontra mais opções (...) em uma tabela selecionada na pasta Tabelas. Escolha o item de menu Propriedades.

    Captura de tela mostrando onde encontrar a opção Propriedades em uma tabela selecionada.

  3. Na seleção, o painel Propriedades mostra as seguintes informações:

    1. Nome
    2. Formatar
    3. Tipo
    4. URL
    5. Caminho relativo
    6. Caminho do ABFS

    Captura de tela do painel Propriedades.

Como obter o caminho dos logs do Delta Lake

Você pode localizar logs do Delta Lake por meio dos seguintes métodos:

  • Os logs do Delta Lake podem ser consultados por meio de atalhos criados em um lakehouse. Você pode exibir os arquivos usando um Notebook Spark do Microsoft Fabric ou o Gerenciador do Lakehouse na Engenharia de Dados do Synapse no portal do Microsoft Fabric.

  • Os logs do Delta Lake podem ser encontrados por meio de Gerenciador de Armazenamento do Azure, por meio de conexões do Spark, como o modo de Direct Lake do Power BI ou usando qualquer outro serviço que possa ler tabelas delta.

  • Os logs do Delta Lake podem ser encontrados na pasta _delta_log de cada tabela por meio do OneLake Explorer no Windows, conforme mostrado na captura de tela a seguir.

    Captura de tela do Windows OneLake Explorer, mostrando o caminho para a pasta delta logs da tabela call_center.

Pausar a publicação de logs do Delta Lake

A publicação de logs do Delta Lake pode ser pausada e retomada, se necessário. Quando a publicação é pausada, os mecanismos do Microsoft Fabric que leem tabelas fora do depósito veem os dados como estavam antes da pausa. Isso garante que os relatórios permaneçam estáveis e consistentes, refletindo os dados de todas as tabelas como existiam antes de qualquer alteração ser feita nas tabelas. Depois que as atualizações de dados forem concluídas, você poderá retomar a publicação do Log do Delta Lake para tornar todas as alterações de dados recentes visíveis para outros mecanismos analíticos. Outro caso de uso para pausar a publicação de logs do Delta Lake é quando os usuários não precisam de interoperabilidade com outros mecanismos de computação no Microsoft Fabric, pois isso pode ajudar a economizar nos custos de computação.

A sintaxe para pausar e retomar a publicação de logs do Delta Lake é a seguinte:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Exemplo: pausar e retomar a publicação de logs do Delta Lake

Para pausar a publicação de logs do Delta Lake, use o seguinte snippet de código:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

As consultas a tabelas de depósito no depósito atual de outros mecanismos do Microsoft Fabric (por exemplo, consultas de um Lakehouse) agora mostram uma versão dos dados como eram antes de pausar a publicação de log do Delta Lake. As consultas de depósito ainda mostram a versão mais recente dos dados.

Para retomar a publicação de logs do Delta Lake, use o seguinte snippet de código:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

Quando o estado é alterado de volta para AUTO, o mecanismo do depósito do Fabric publica logs de todas as alterações recentes feitas nas tabelas no depósito, permitindo que outros mecanismos analíticos no Microsoft Fabric leiam a versão mais recente dos dados.

Verificando o status da publicação de logs do Delta Lake

Para verificar o estado atual da publicação de logs do Delta Lake em todos os depósitos do espaço de trabalho atual, use o seguinte snippet de código:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Limitações

  • Os Nomes de Tabela só poderão ser usados pelo Spark e outros sistemas se contiverem apenas estes caracteres: A-Z a-z 0-9 e sublinhados.
  • Os nomes de coluna que serão usados pelo Spark e outros sistemas não podem conter:
    • espaços
    • guias
    • códigos de fim de linha
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Conteúdo relacionado