Ограничения режима доступа к вычислительным ресурсам для каталога Unity

  • Статья

Databricks рекомендует использовать каталог Unity и режим общего доступа для большинства рабочих нагрузок. В этой статье описаны различные ограничения для каждого режима доступа с каталогом Unity. Дополнительные сведения о режимах доступа см. в разделе "Режимы доступа".

Databricks рекомендует использовать политики вычислений для упрощения параметров конфигурации для большинства пользователей. См. статью "Создание политик вычислений и управление ими".

Примечание.

Общий доступ без изоляции — это устаревший режим доступа, который не поддерживает каталог Unity.

Внимание

Скрипты и библиотеки init поддерживают разные поддержку в режимах доступа и версиях Среды выполнения Databricks. См. раздел "Где можно установить скрипты инициализации" и библиотеки область кластера.

Ограничения режима доступа для одного пользователя в каталоге Unity

Режим доступа к одному пользователю в каталоге Unity имеет следующие ограничения. Помимо общих ограничений для всех режимов доступа к каталогу Unity. Общие ограничения для каталога Unity.

Подробные ограничения управления доступом для единого пользовательского режима доступа каталога Unity

  • Динамические представления не поддерживаются.

  • Для чтения из представления необходимо иметь SELECT все ссылки на таблицы и представления.

  • Невозможно получить доступ к таблице с фильтром строк или маской столбцов.

  • Вы не можете использовать один пользователь для запроса таблиц, созданных конвейером Разностных динамических таблиц с поддержкой каталога Unity, включая потоковые таблицы и материализованные представления , созданные в Databricks SQL. Чтобы запросить таблицы, созданные конвейером Delta Live Tables, необходимо использовать общие вычислительные ресурсы с помощью Databricks Runtime 13.3 LTS и более поздних версий.

Ограничения потоковой передачи для режима доступа к каталогу Unity с одним пользователем

  • Асинхронная проверка назначение не поддерживается в Databricks Runtime 11.3 LTS и ниже.

Ограничения режима общего доступа в каталоге Unity

Режим общего доступа в каталоге Unity имеет следующие ограничения. Помимо общих ограничений для всех режимов доступа к каталогу Unity. Общие ограничения для каталога Unity.

  • Databricks Runtime ML и библиотека Машинное обучение Spark (MLlib) не поддерживаются.

  • Задания spark-submit не поддерживаются.

  • В Databricks Runtime 13.3 и более поздних версиях отдельные строки не должны превышать максимальный размер 128 МБ.

  • При использовании с сквозным руководством учетных данных функции каталога Unity отключены.

  • Пользовательские контейнеры не поддерживаются.

Поддержка языков для общего доступа к каталогу Unity

  • R не поддерживается.
  • Scala поддерживается в Databricks Runtime 13.3 и выше.

Ограничения API Spark для общего доступа к каталогу Unity

  • API RDD не поддерживаются.
  • DBUtils и другие клиенты, которые непосредственно считывают данные из облачного хранилища, поддерживаются только при использовании внешнего расположения для доступа к расположению хранилища. См. статью "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".
  • Контекст Spark (sc),spark.sparkContextи sqlContext не поддерживается для Scala в любой среде выполнения Databricks и не поддерживается для Python в Databricks Runtime 14.0 и более поздних версий.
    • Databricks рекомендует использовать spark переменную для взаимодействия с экземпляром SparkSession .
    • Следующие sc функции также не поддерживаются: emptyRDD, . rangegetConfinit_batched_serializerparallelizepickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalProperty

Ограничения UDF для режима общего доступа каталога Unity

Внимание

Поддержка вычислений с поддержкой Scala UDFs в каталоге Unity с общим режимом доступа доступна в общедоступной предварительной версии.

Определяемые пользователем функции (ОПРЕДЕЛЯЕМЫЕ пользователем функции) имеют следующие ограничения в режиме общего доступа:

  • Определяемые пользователем функции Hive не поддерживаются.

  • applyInPandas и mapInPandas не поддерживаются в Databricks Runtime 14.2 и ниже.

  • В Databricks Runtime 14.2 и более поздних версиях поддерживаются скалярные определяемые пользователем функции Scala. Другие определяемые пользователем функции Scala и UDAFs не поддерживаются.

  • В Databricks Runtime 13.3 LTS и более поздних версиях поддерживаются скалярные определяемые пользователем Функции Python и пользовательские функции Pandas. Другие определяемые пользователем Python, включая UDAFs, UDTFs и Pandas в Spark, не поддерживаются.

См . определяемые пользователем функции в каталоге Unity.

Ограничения потоковой передачи для режима общего доступа каталога Unity

Примечание.

Некоторые из перечисленных вариантов Kafka имеют ограниченную поддержку при использовании для поддерживаемых конфигураций в Azure Databricks. См. сведения о потоковой обработке с помощью Apache Kafka и Azure Databricks.

  • Для Scala foreach и foreachBatch не поддерживаются.
  • Для Python foreachBatch новое поведение в Databricks Runtime 14.0 и выше. См . изменения поведения для foreachBatch в Databricks Runtime 14.0.
  • Для Scala from_avro требуется Databricks Runtime 14.2 или более поздней версии.
  • Функция applyInPandasWithState не поддерживается.
  • Работа с источниками сокетов не поддерживается.
  • Он sourceArchiveDir должен находиться в том же внешнем расположении, что и источник при использовании option("cleanSource", "archive") с источником данных, управляемым каталогом Unity.
  • Для источников и приемников Kafka следующие параметры не поддерживаются:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Следующие параметры Kafka поддерживаются в Databricks Runtime 13.3 LTS и выше, но неподдерживаемые в Databricks Runtime 12.2 LTS. Для этих параметров можно указать только внешние расположения, управляемые каталогом Unity:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Ограничения доступа к сетевой и файловой системе для режима общего доступа каталога Unity

  • Необходимо выполнять команды на вычислительных узлах в качестве пользователя с низким уровнем привилегий, запрещенного для доступа к конфиденциальным частям файловой системы.

  • В Databricks Runtime 11.3 LTS и ниже можно создавать сетевые подключения только к портам 80 и 443.

  • Не удается подключиться к службе метаданных экземпляра или Azure WireServer.

Общие ограничения для каталога Unity

Следующие ограничения применяются ко всем режимам доступа с поддержкой каталога Unity.

Ограничения потоковой передачи для каталога Unity

  • Режим непрерывной обработки Apache Spark не поддерживается. См . инструкцию по непрерывной обработке в руководстве по программированию структурированной потоковой передачи Spark.
  • StreamingQueryListener не может использовать учетные данные или взаимодействовать с объектами, управляемыми каталогом Unity.

См. также ограничения потоковой передачи для режима доступа к каталогу Unity с одним пользователем и ограничениями потоковой передачи для общего доступа к каталогу Unity.

Дополнительные сведения о потоковой передаче с помощью каталога Unity см. в разделе "Использование каталога Unity с структурированной потоковой передачей".