Ingerir com as APIs SQL e Spark

Esta página descreve como ingerir dados no Databricks Lakeflow Connect usando APIs SQL e Spark, que oferecem níveis mais elevados de personalização do pipeline de ingestão em comparação com os conectores geridos. Utilize-o para escolher uma abordagem de ingestão por fonte de dados e nível de personalização do pipeline.

Camadas do stack ETL

Alguns conectores operam em um nível da pilha ETL. Por exemplo, o Databricks oferece conectores totalmente gerenciados para aplicativos corporativos, como Salesforce, e bancos de dados, como o SQL Server. Outros conectores operam em várias camadas da tecnologia de ETL. Por exemplo, pode usar APIs SQL e Spark tanto no Structured Streaming para personalização total como em pipelines do Lakeflow para uma experiência mais orientada.

A Databricks recomenda começar com a camada mais gerenciada. Se ele não atender aos seus requisitos (por exemplo, se não oferecer suporte à sua fonte de dados), desça para a próxima camada.

A tabela a seguir descreve as três camadas de produtos de ingestão, ordenados do mais personalizável para o mais gerenciado:

Camada	Descrição
Transmissão em Fluxo Estruturada	O Apache Spark Structured Streaming é um mecanismo de streaming que oferece tolerância a falhas de ponta a ponta com garantias de processamento exatamente uma vez usando APIs do Spark.
Condutas de fluxo de lago	Os pipelines do Lakeflow estendem o Structured Streaming, oferecendo um framework declarativo para criar pipelines de dados. Pode definir as transformações a realizar nos seus dados, e os pipelines Lakeflow gerem orquestração, monitorização, qualidade dos dados, erros e muito mais. Oferecem mais automação e menos sobrecarga do que o Structured Streaming.
Conectores gerenciados	Conectores totalmente geridos assentam nos pipelines Lakeflow, oferecendo ainda mais automação para as fontes de dados mais populares. Estendem a funcionalidade dos pipelines Lakeflow para incluir também autenticação específica por fonte, CDC, gestão de casos limite, manutenção de API a longo prazo, tentativas automáticas, evolução automática de esquemas, entre outros. Portanto, eles oferecem ainda mais automação para quaisquer fontes de dados suportadas.

Escolha uma opção

A tabela seguinte lista as opções de ingestão SQL e Spark por fonte de dados e nível de personalização do pipeline. Para uma experiência de ingestão totalmente automatizada, use conectores gerenciados .

Exemplos de SQL para ingestão incremental usam a sintaxe CREATE STREAMING TABLE de armazenamento de objetos em nuvem. Oferece aos utilizadores de SQL uma experiência de ingestão escalável, sendo por isso a alternativa recomendada a COPY INTO.

Fonte	Mais personalização	Alguma personalização	Mais automação
Armazenamento de objetos na nuvem	Carregador automático com streaming estruturado (Python, Scala)	Carregador automático com condutas Lakeflow (Python, SQL)	Carregador automático com Databricks SQL (SQL)
Servidores SFTP	Ingerir arquivos de servidores SFTP (Python, SQL)	N/A	N/A
Apache Kafka	Streaming estruturado com fonte Kafka (Python, Scala)	Pipelines do Lakeflow com origem no Kafka (Python, SQL)	Databricks SQL com fonte Kafka (SQL)
Google Pub/Sub	Streaming estruturado com fonte Pub/Sub (Python, Scala)	Pipelines Lakeflow com origem Pub/Sub (Python, SQL)	Databricks SQL com origem Pub/Sub (SQL)
Apache Pulsar	Streaming estruturado com fonte Pulsar (Python, Scala)	Pipelines do Lakeflow com origem no Pulsar (Python, SQL)	Databricks SQL com fonte Pulsar (SQL)

Horários de ingestão

Você pode configurar pipelines de ingestão para serem executados de forma recorrente ou continuamente.

Caso de uso	Modo de Pipeline
Ingestão em lote	Acionado: realiza o processamento de novos dados numa programação ou quando ativado manualmente.
Ingestão por streaming	Contínuo: processa novos dados à medida que chegam à fonte.