Ingerir dados em uma casa de lago Databricks

O Azure Databricks oferece várias maneiras de ingerir dados de várias fontes em uma casa de lago apoiada pelo Delta Lake. Este artigo lista fontes de dados e fornece links para etapas para a ingestão de dados de cada tipo de fonte.

Armazenamento de objetos na cloud

Para saber mais sobre como configurar a ingestão incremental a partir do armazenamento de objetos na nuvem, consulte Ingerir dados do armazenamento de objetos na nuvem.

Conexão LakeFlow

O Databricks LakeFlow Connect oferece conectores nativos para ingestão de aplicativos corporativos e bancos de dados. O pipeline de ingestão resultante é governado pelo Unity Catalog e é alimentado por computação sem servidor e Delta Live Tables.

O LakeFlow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, escalável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.

Fontes de streaming

O Azure Databricks pode integrar-se com serviços de mensagens de fluxo para ingestão de dados quase em tempo real em uma casa de lago. Consulte Streaming e ingestão incremental.

Arquivos de dados locais

Você pode carregar arquivos de dados locais com segurança ou baixar arquivos de uma URL pública. Consulte Carregar ficheiros para o Azure Databricks.

Migrar dados para o Delta Lake

Para saber como migrar dados existentes para o Delta Lake, consulte Migrar dados para o Delta Lake.