Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Декларативные конвейеры Apache Spark™ — это декларативная платформа для создания конвейеров данных пакетной и потоковой передачи в SQL и Python. Конвейеры Lakeflow строятся на Apache Spark Declarative Pipelines и взаимосовместимы с ними. Они расширяют его дополнительными функциональностями и выполняются в оптимизированной для производительности среде Databricks Runtime. Распространенные варианты использования конвейеров включают прием данных из таких источников, как облачное хранилище (например, Amazon S3, Azure ADLS 2-го поколения и Google Cloud Storage) и автобусы сообщений (например, Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub и Apache Pulsar), а также добавочные пакетные и потоковые преобразования.
Замечание
Для конвейеров Lakeflow требуется тарифный план Premium. Чтобы получить дополнительные сведения, обратитесь к группе учетной записи Databricks.
Следующие темы помогут вам начать работу с пайплайнами.
| Тема | Description |
|---|---|
| Как использовать конвейеры Lakeflow | Начните здесь. Поймите, как использовать конвейеры на протяжении всего их жизненного цикла и почему, с ссылками на задачи на каждом этапе. |
| Основные понятия конвейера | Узнайте о высокоуровневых концепциях конвейеров, включая потоки, потоковые таблицы и материализованные представления. |
Для более подробной информации о конвейерах см.:
| Тема | Description |
|---|---|
| Учебники | Следуйте инструкциям, чтобы получить практический опыт работы с использованием конвейеров. |
| Разработка конвейеров | Узнайте, как разрабатывать и тестировать конвейеры, которые создают потоки для приема и преобразования данных. |
| Настроить трубопроводы | Узнайте, как запланировать и настроить конвейеры. |
| Мониторинг конвейеров | Узнайте, как контролировать ваши конвейерные линии и решать проблемы с запросами в работе конвейерных линий. |
| Разработчики | Узнайте, как использовать Python и SQL при разработке конвейеров. |
| Автономные конвейеры | Узнайте о создании автономных таблиц потоковой передачи и материализованных представлений в Databricks SQL или Python. |
| Рекомендации | Узнайте о рекомендуемых шаблонах для создания надежных, эффективных и обслуживаемых конвейеров. |