Режим реального времени в структурированной потоковой передаче

Режим реального времени — это тип триггера Structured Streaming с задержкой от конца до конца всего до пяти миллисекунд. Используйте её для операционных нагрузок, которые должны немедленно реагировать на потоковые данные, таких как обнаружение мошенничества и персонализация в реальном времени.

Режим реального времени использует те же API структурированного потокового потока, что и микропакетная обработка. Вы включите его, установив триггер в реальном времени на стриминговом запросе. Для сравнения с другими типами триггеров структурированного потокового потока см. раздел «Настройка интервалов триггеров структурированного потока».

Режим реального времени также доступен в конвейерах Lakeflow. См. раздел "Использование режима реального времени" в конвейерах Lakeflow.

Начало работы

Страница Description
Настройка режима реального времени Настройте классические вычисления, включите триггер в реальном времени и определите размер кластера.
Концепции режимов реального времени Узнайте, как работает режим реального времени и когда его использовать вместо микропакетного режима.
Руководство: выполнение рабочей нагрузки потоковой передачи в реальном времени Запустите свой первый стриминговый запрос с помощью триггера в реальном времени и источника скорости.

Создание приложений в реальном времени

Страница Description
Оптимизация и мониторинг производительности запросов в режиме реального времени Настраивайте вычисления, снижайте сквозную задержку и отслеживайте производительность запросов с помощью встроенных метрик.
Ограничения режима в реальном времени Понимайте известные ограничения для источников, профсоюзов и mapPartitions.
Справочник по режиму реального времени Ознакомьтесь с поддерживаемыми средами, языками, типами вычислений, источниками, приемниками и операторами.
Примеры режима реального времени Ознакомьтесь с примерами кода для Kafka, Kinesis, Lakebase, запросов с сохранением состояния и пользовательских приёмников.

Дополнительные ресурсы