Usando o Catálogo do Unity com fluxo estruturado

Use o fluxo estruturado com o Catálogo do Unity para gerenciar a governança de dados para suas cargas de trabalho incrementais e de streaming no Azure Databricks. Este documento descreve a funcionalidade e sugere as melhores práticas para usar juntos o Catálogo do Unity e o fluxo estruturado.

Qual funcionalidade de fluxo estruturado dá suporte ao Catálogo do Unity?

O Catálogo do Unity não adiciona limites explícitos para fontes de fluxo estruturado e coletores disponíveis no Azure Databricks. O modelo de governança de dados do Catálogo do Unity permite transmitir dados de tabelas gerenciadas e externas no Catálogo do Unity. Você também pode usar locais externos gerenciados pelo Catálogo do Unity para interagir com dados usando URIs de armazenamento de objetos. Você pode gravar em tabelas externas usando nomes de tabela ou caminhos de arquivo. Você deve interagir com tabelas gerenciadas no Catálogo do Unity usando o nome da tabela.

Use locais externos gerenciados pelo Catálogo do Unity ao especificar caminhos para pontos de verificação de fluxo estruturado. Para saber mais sobre como conectar o armazenamento com segurança ao Catálogo do Unity, consulte Conectar-se ao armazenamento de objetos de nuvem usando o Catálogo do Unity.

O suporte a recursos de streaming estruturado difere dependendo da versão do Databricks Runtime que você estiver executando e se você está usando modo de acesso atribuído ou modo de acesso de cluster compartilhado. Para obter detalhes, confira Limitações de fluxo para o Catálogo do Unity.

Para obter uma demonstração de ponta a ponta usando o Streaming Estruturado no Catálogo do Unity, consulte Tutorial: Executar um pipeline de análise do Lakehouse de ponta a ponta.

Qual funcionalidade de fluxo estruturado não tem suporte no Catálogo do Unity?

Para obter uma lista de recursos de fluxo estruturado que não têm suporte no Catálogo do Unity, confira limitações de fluxo para o Catálogo do Unity.