Выберите стандартный разъём

На этой странице описаны стандартные соединители в Databricks Lakeflow Connect, которые предлагают более высокие уровни настройки конвейера приема по сравнению с управляемыми соединителями. Используйте его для выбора стандартного коннектора по источнику данных и уровню настройки конвейера.

Слои стека ETL

Некоторые соединители работают на одном уровне стека ETL. Например, Databricks предлагает полностью управляемые соединители для корпоративных приложений, таких как Salesforce и базы данных, такие как SQL Server. Другие соединители работают на нескольких уровнях стека ETL. Например, можно использовать стандартные соединители либо в Structured Streaming для полной гибкости настройки, либо в конвейерах Lakeflow для более управляемого процесса.

Databricks рекомендует начать с самого управляемого слоя. Если он не соответствует вашим требованиям (например, если он не поддерживает источник данных), перейдите на следующий уровень.

В следующей таблице описаны три уровня продуктов приема, упорядоченные от наиболее настраиваемых до наиболее управляемых:

Уровень	Описание
Структурированная потоковая передача	Структурированные потоки данных Apache Spark — это потоковый движок, который обеспечивает сквозную отказоустойчивость с гарантией точной однократной обработки с использованием API Spark.
Конвейеры Lakeflow	Конвейеры Lakeflow расширяют структурированную потоковую передачу, предлагая декларативную платформу для создания конвейеров данных. Вы можете определить преобразования, которые нужно применить к вашим данным, а конвейеры Lakeflow обеспечивают оркестрацию, мониторинг, контроль качества данных, обработку ошибок и многое другое. Они предлагают больше автоматизации и меньше затрат, чем структурированная потоковая передача.
Управляемые соединители	Полностью управляемые соединители построены на основе конвейеров Lakeflow, обеспечивая еще более высокий уровень автоматизации для самых популярных источников данных. Они расширяют функциональные возможности конвейеров Lakeflow, чтобы также включать проверку подлинности для конкретного источника, CDC, обработку пограничных вариантов, долгосрочное обслуживание API, автоматизированные повторные попытки, автоматическую эволюцию схемы и т. д. Поэтому они предлагают еще больше автоматизации для любых поддерживаемых источников данных.

Выберите соединитель

В следующей таблице перечислены стандартные соединители приема по источнику данных и уровню настройки конвейера. Для полностью автоматизированного приема используйте вместо этого управляемые соединители .

Примеры SQL для инкрементального приема из облачного хранилища объектов используют CREATE STREAMING TABLE синтаксис. Он предлагает пользователям SQL масштабируемый и надежный интерфейс приема, поэтому это рекомендуемая альтернатива COPY INTO.

Исходный материал	Дополнительные настройки	Некоторые настройки	Больше автоматизации
Облачное хранилище объектов	Автозагрузчик с структурированной потоковой передачей (Python, Scala)	Автозагрузчик с конвейерами Lakeflow (Python, SQL)	Автозагрузчик с Databricks SQL (SQL)
Серверы SFTP	Прием файлов с серверов SFTP (Python, SQL)	N/A	N/A
Apache Kafka	Структурированная потоковая передача с источником Kafka (Python, Scala)	Конвейеры Lakeflow с источником Kafka (Python, SQL)	Databricks SQL с источником Kafka (SQL)
Google Pub/Sub	Структурированная потоковая передача с источником Pub/Sub (Python, Scala)	Конвейеры Lakeflow с источником Pub/Sub (Python, SQL)	Databricks SQL с использованием источника Pub/Sub (SQL)
Apache Pulsar	Структурированная потоковая передача с источником Pulsar (Python, Scala)	Конвейеры Lakeflow с источником Pulsar (Python, SQL)	Databricks SQL с источником данных Pulsar (SQL)

Расписания приема

Конвейеры приема можно настроить для выполнения по повторяющемуся расписанию или непрерывно.

Сценарий использования	Режим конвейера
Пакетная загрузка	Активировано: обрабатывает новые данные по расписанию или при запуске вручную.
Поглощение потоковых данных	Непрерывный: обрабатывает новые данные по мере поступления в источник.