Recursos do Zerobus Ingest

Esta página é uma visão geral do que o Zerobus Ingest no Lakeflow Connect oferece. Cada recurso tem um link para a documentação completa.

• Ponto de extremidade sempre ativado: sem servidor, ativado por padrão, com dimensionamento automático.
• Bloqueio de mensagens: métodos de ingestão e como confirmar a durabilidade.
• Retornos de reconhecimento: reagem a confirmações e erros de forma assíncrona.
• Recursos da tabela Delta: particionamento, liquid clustering e dados VARIANT.
• Coluna de resgate: capturar campos que não se encaixam no esquema da tabela em vez de rejeitá-los.
• Local de reserva durável: onde os dados são armazenados se não puderem ser publicados.
• Monitorando seu uso: tabelas do sistema para uso e gasto.

Endpoint sempre ativo

Zerobus Ingest é um endpoint serverless que está ativado por padrão para espaços de trabalho em regiões suportadas. Não há nada para começar, provisionar ou escalar. Depois que você tiver uma tabela de destino e uma entidade de serviço com acesso a ela, poderá começar a enviar dados, e a capacidade é dimensionada automaticamente à medida que você abre mais transmissões. Para começar, consulte Usar Zerobus Ingest.

Características da tabela Delta

O Zerobus Ingest grava em tabelas Delta gerenciadas padrão do Unity Catalog, portanto os dados ingeridos são compatíveis com os recursos das tabelas Delta. Para os requisitos que uma tabela alvo deve cumprir, veja requisitos da tabela.

• Tabelas particionadas: suportadas, sujeitas a um limite de dispersão de partição. O Azure Databricks recomenda a clusterização líquida para chaves de alta cardinalidade. Veja Tabelas Particionadas.
• Tabelas clusterizadas líquidas (Beta): o layout recomendado, organizando os dados para desempenho de consulta sem o limite de dispersão de partições. Consulte Usar clustering líquido para tabelas.
• Dados variantes: ingerir dados semiestruturados em VARIANT colunas. Confira Tipos de dados com suporte.

Local de reserva durável

Se uma alteração interruptiva na tabela ocorrer depois que o Zerobus Ingest tornar seus dados persistentes, mas antes que possa publicá-los na tabela, o Zerobus Ingest gravará esses dados como arquivos Parquet em um diretório de fallback dentro do local de armazenamento da sua tabela, em vez de descartá-los. Para encontrar e reprocessar esses dados após corrigir o esquema, veja Recuperando dados do local de backup durável.

Monitorando seu uso

Monitore o uso e o gasto do Zerobus Ingest através das tabelas do sistema. Veja a referência da tabela do sistema Zerobus Ingest e, para gastos, a tabela do sistema de faturamento em Custo.