Поделиться через

Использование каталога Unity со структурированной потоковой передачей

  • Статья

Используйте структурированную потоковую передачу с каталогом Unity для управления данными для добавочных и потоковых рабочих нагрузок в Azure Databricks. В этом документе описаны поддерживаемые функциональные возможности и рекомендации по использованию каталога Unity и структурированной потоковой передачи вместе.

Какие функции структурированной потоковой передачи поддерживают каталог Unity?

Каталог Unity не добавляет явных ограничений для источников и приемников структурированной потоковой передачи, доступных в Azure Databricks. Модель управления данными каталога Unity позволяет передавать данные из управляемых и внешних таблиц в каталоге Unity. Вы также можете использовать внешние расположения, управляемые каталогом Unity, для взаимодействия с данными с помощью URI объектного хранилища. Вы можете записывать данные во внешние таблицы с помощью имен таблиц или путей к файлам. Необходимо взаимодействовать с управляемыми таблицами в каталоге Unity с помощью имени таблицы.

Используйте внешние расположения, управляемые каталогом Unity, при указании путей для контрольных точек структурированной потоковой передачи. Дополнительные сведения о безопасном подключении хранилища к каталогу Unity см. в статье "Подключение к облачному хранилищу объектов" с помощью каталога Unity.

Поддержка структурированной потоковой передачи отличается в зависимости от используемой версии среды выполнения Databricks, а также от того, используется ли вы используете режим доступа к общему кластеру. Дополнительные сведения см. в разделе об ограничениях потоковой передачи для каталога Unity.

Сквозная демонстрация с помощью структурированной потоковой передачи в каталоге Unity см. в руководстве по запуску сквозного конвейера аналитики lakehouse.

Какие функции структурированной потоковой передачи не поддерживаются в каталоге Unity?

Список функций структурированной потоковой передачи, которые не поддерживаются в каталоге Unity, см. в разделе об ограничениях потоковой передачи для каталога Unity.