Подключение к бессерверным вычислениям

На этой странице объясняется, как использовать и включать бессерверные вычисления в Azure Databricks.

Что такое бессерверные вычисления?

Бессерверные вычисления — это управляемая azure Databricks служба, которая позволяет пользователям быстро подключаться к вычислительным ресурсам по запросу.

При выборе использования бессерверных вычислений можно запускать рабочие нагрузки без подготовки вычислительных ресурсов в облачной учетной записи. Вместо этого Databricks автоматически выделяет необходимые вычислительные ресурсы и управляет ими. Это ускоряет запуск и масштабирование, сводит к минимуму время простоя и сокращает потребность в управлении вычислительными ресурсами.

Бессерверные нагрузки защищены несколькими уровнями безопасности и предназначены для корпоративного использования. Дополнительные сведения см. в разделе "Бессерверная безопасность Databricks".

Функции, использующие бессерверные вычисления

Многие функции в Azure Databricks выполняются на бессерверных вычислениях. Используйте следующие страницы, чтобы узнать, как настроить рабочие нагрузки для использования бессерверных вычислений:

• Бессерверные записные книжки
• Бессерверные задания
• Бессерверные хранилища SQL
• Безсерверные декларативные конвейеры Lakeflow Spark
• Обучение модели мозаичного искусственного интеллекта — прогнозирование

• Бессерверные вычисления GPU (бета-версия)
• Устранение неполадок с бессерверными вычислительными процессорами GPU

Требования к бессерверным вычислениям

Чтобы получить доступ к бессерверным вычислениям, рабочая область должна соответствовать следующим требованиям:

• Должен быть включен каталог Unity.
• Должен находиться в поддерживаемом регионе для бессерверных вычислений. См. Функции с ограниченной региональной доступностью.

• Не должно быть включено PCI-DSS в профиле безопасности соответствия требованиям. См. раздел PCI DSS версии 4.0.

Ограничения бессерверных вычислений

Список ограничений см. в разделе об ограничениях бессерверных вычислений.

Вопросы и ответы

• Как распространяются релизы?
• Как определить, какую бессерверную версию я использую?
• Как я могу оценить затраты на бессерверные технологии?
• Как мне анализировать использование DBU для определенной рабочей нагрузки?
• Существует ли задержка между выполнением задания или запроса и появлением расходов в системной таблице оплачиваемого использования?
• Я не включил бессерверные вычисления для заданий и записных книжек, почему я вижу записи выставления счетов для бессерверных заданий?
• Поддерживает ли бессерверные вычислительные ресурсы частные репозитории?
• Как мне установить библиотеки для выполнения рабочих задач?
• Можно ли подключиться к пользовательским источникам данных?
• Как работает сеть бессерверных вычислительных плоскостей?
• Можно ли настроить бессерверные вычисления для заданий с помощью пакетов ресурсов Databricks?
• Как запустить бессерверную рабочую нагрузку с локального компьютера разработки или из приложения данных?

Как внедряются релизы?

Бессерверные вычисления — это продукт без версий, означающий, что Databricks автоматически обновляет бессерверную среду выполнения вычислений для поддержки улучшений и обновлений платформы. Все пользователи получают одинаковые обновления, которые развертываются в течение короткого периода времени.

Как определить, какую версию безсерверного решения я использую?

Бессерверные рабочие нагрузки всегда выполняются в последней версии среды выполнения. Смотрите заметки о выпуске для последней версии.

Как оценить затраты на бессерверные технологии?

Databricks рекомендует выполнять и тестировать представительную или определённую нагрузку, а затем анализировать таблицу системы выставления счетов. См. ссылку на таблицу системы учета платного использования .

Как проанализировать использование DBU для конкретной рабочей нагрузки?

Чтобы просмотреть затраты для определенной рабочей нагрузки, выполните запрос к system.billing.usage системной таблице. См. раздел "Мониторинг затрат на бессерверные вычисления " для примеров запросов и скачивание панели мониторинга наблюдаемости затрат.

Существует ли задержка между выполнением задания или запроса и появлением расходов в системной таблице учёта использования?

Да, задержка до 24 часов возможна между выполнением рабочей нагрузки и её использованием, отражённым в таблице учёта оплачиваемого использования.

Я не включил бессерверные вычисления для заданий и записных книжек, почему я вижу записи выставления счетов для бессерверных заданий?

В счет SKU бессерверных заданий также включены мониторинг качества данных и оптимизация на основе прогнозирования.

Бессерверные вычисления не должны быть включены для использования этих двух функций.

Поддерживает ли бессерверные вычислительные ресурсы частные репозитории?

Репозитории могут быть частными или требовать проверку подлинности. По соображениям безопасности при доступе к проверенным репозиториям требуется предварительно подписанный URL-адрес.

Как установить библиотеки для моих рабочих задач?

Databricks рекомендует использовать среды для установки библиотек и управления ими для заданий. См. раздел "Настройка среды для задач задания".

Можно ли подключиться к пользовательским источникам данных?

Нет, поддерживаются только источники, использующие федерацию Lakehouse. См. раздел "Поддерживаемые источники данных".

Как работают сетевые операции в бессерверной вычислительной платформе?

Бессерверные вычислительные ресурсы выполняются в бессерверной вычислительной плоскости, которая управляется Azure Databricks. Дополнительные сведения о сети и архитектуре см. в разделе "Бессерверные сети вычислительных плоскостей".

Можно ли настроить бессерверные вычисления для заданий с помощью пакетов ресурсов Databricks?

Да, пакеты ресурсов Databricks можно использовать для настройки заданий, использующих бессерверные вычисления. См. задание, использующее бессерверные вычисления.

Как запустить бессерверную рабочую нагрузку с локального компьютера разработки или из приложения данных?

Databricks Connect позволяет подключаться к Databricks с локального компьютера и запускать рабочие нагрузки без сервера. См. раздел "Что такое Databricks Connect?".