Поделиться через

Ограничения бессерверных вычислений

  • Статья

В этой статье объясняется текущие ограничения бессерверных вычислений для записных книжек и рабочих процессов. Начиная с обзора наиболее важных аспектов, за которым следует полный список ссылок ограничений.

Общие сведения об ограничениях

Прежде чем создавать новые рабочие нагрузки или переносить рабочие нагрузки на бессерверные вычислительные ресурсы, сначала рассмотрите следующие ограничения:

  • Python и SQL являются единственными поддерживаемыми языками.

  • Поддерживаются только API-интерфейсы подключения Spark. API-интерфейсы Spark RDD не поддерживаются.

  • Библиотеки JAR не поддерживаются. Сведения об обходных решениях см. в рекомендациях по бессерверным вычислениям.

  • Бессерверные вычисления имеют неограниченный доступ для всех пользователей рабочей области.

  • Теги записной книжки не поддерживаются.

  • Для потоковой передачи можно использовать только добавочную логику пакетной службы. По умолчанию или интервалы триггеров на основе времени не поддерживаются. См . ограничения потоковой передачи.

Список ссылок на ограничения

В следующих разделах перечислены текущие ограничения бессерверных вычислений.

Бессерверные вычисления основаны на общей архитектуре вычислений. Ниже перечислены наиболее важные ограничения, унаследованные от общих вычислений, а также дополнительные ограничения без сервера. Полный список ограничений общих вычислений см. в разделе Об ограничениях режима доступа к вычислительным ресурсам каталога Unity.

Общие ограничения

  • Scala и R не поддерживаются.

  • ANSI SQL — это значение по умолчанию при написании SQL. Чтобы отключить режим ANSI, задав для этого spark.sql.ansi.enabled значение false.

  • API-интерфейсы Spark RDD не поддерживаются.

  • Контекст Spark (sc) spark.sparkContextи sqlContext не поддерживается.

  • Службы контейнеров Databricks не поддерживаются.

  • Веб-терминал не поддерживается.

  • Запрос не может выполняться дольше 48 часов.

  • Для подключения к внешним источникам данных необходимо использовать каталог Unity. Используйте внешние расположения для доступа к облачному хранилищу.

  • Поддержка источников данных ограничена AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT и XML.

  • Определяемые пользователем функции (UDFS) не могут получить доступ к Интернету.

  • Отдельные строки не должны превышать максимальный размер 128 МБ.

  • Пользовательский интерфейс Spark недоступен. Вместо этого используйте профиль запроса для просмотра сведений о запросах Spark. См. раздел Профиль запроса.

  • Клиенты Python, использующие конечные точки Databricks, могут столкнуться с ошибками проверки SSL, такими как "CERTIFICATE_VERIFY_FAILED". Чтобы обойти эти ошибки, настройте клиент для доверия к файлу ЦС, расположенному в /etc/ssl/certs/ca-certificates.crt. Например, выполните следующую команду в начале бессерверной записной книжки или задания: import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

  • Запросы API между рабочими областями не поддерживаются.

Ограничения потоковой передачи

Ограничения машинного обучения

Ограничения записных книжек

  • Записные книжки имеют доступ к 8 ГБ памяти, которая не может быть настроена.
  • Библиотеки с областью действия записной книжки не кэшируются в сеансах разработки.
  • Общий доступ к таблицам и представлениям TEMP при совместном использовании записной книжки среди пользователей не поддерживается.
  • Автозавершение и обозреватель переменных для кадров данных в записных книжках не поддерживаются.

Ограничения рабочих процессов

  • Размер драйвера для бессерверных вычислений для рабочих процессов в настоящее время исправлен и не может быть изменен.
  • Журналы задач не изолированы для каждого запуска задачи. Журналы будут содержать выходные данные из нескольких задач.
  • Библиотеки задач не поддерживаются для задач записной книжки. Вместо этого используйте библиотеки с областью действия записной книжки. См. статью Библиотеки Python с областью действия записной книжки.

Ограничения для конкретных вычислений

Следующие функции для вычислений не поддерживаются.

  • Политики вычислений
  • Скрипты инициализации в области вычислений
  • Библиотеки с областью вычислений, включая пользовательские источники данных и расширения Spark. Вместо этого используйте библиотеки с областью действия записной книжки .
  • Конфигурации доступа к данным на уровне вычислений, включая профили экземпляров. В результате доступ к таблицам и файлам с помощью HMS в облачных путях или при подключении DBFS без внедренных учетных данных не будет работать.
  • Пулы экземпляров
  • Журналы событий вычислений
  • Конфигурации вычислений Apache Spark и переменные среды