Подключение к бессерверным вычислениям

На этой странице объясняется, как подключаться к и использовать бессерверные вычислительные ресурсы для записных книжек, рабочих процессов и декларативных конвейеров Spark Lakeflow в Azure Databricks.

Что такое бессерверные вычисления?

Бессерверные вычисления — это управляемая служба Azure Databricks, которая позволяет пользователям быстро подключаться к вычислительным ресурсам по запросу для записных книжек, рабочих процессов и декларативных конвейеров Lakeflow Spark.

При выборе использования бессерверных вычислений можно запускать рабочие нагрузки без подготовки вычислительных ресурсов в облачной учетной записи. Вместо этого Databricks автоматически выделяет необходимые вычислительные ресурсы и управляет ими. Это ускоряет запуск и масштабирование, сводит к минимуму время простоя и сокращает потребность в управлении вычислительными ресурсами.

Бессерверные нагрузки защищены несколькими уровнями безопасности и предназначены для корпоративного использования. Дополнительные сведения см. в разделе "Бессерверная безопасность Databricks".

Замечание

Бессерверные вычисления доступны по умолчанию в большинстве рабочих областей и не требуют включения. Рабочие области с включенным каталогом Unity и в поддерживаемом регионе автоматически имеют доступ к бессерверным вычислениям. Ознакомьтесь с бессерверными требованиями к вычислительным ресурсам для полного списка требований.

Другие функции Azure Databricks, такие как бессерверные хранилища SQL, развертывание моделей и функции ИИ, также используют бессерверную инфраструктуру независимо и имеют собственные пути конфигурации. На этой странице рассматриваются бессерверные вычисления только для записных книжек, рабочих процессов и декларативных конвейеров Spark Lakeflow.

Использование бессерверных вычислений для рабочих нагрузок

Используйте следующие страницы, чтобы узнать, как настроить рабочие нагрузки для использования бессерверных вычислений:

Другие функции, использующие бессерверную инфраструктуру

Многие функции Azure Databricks работают на бессерверной инфраструктуре, но настраиваются и управляются отдельно от бессерверных вычислений для записных книжек, заданий и декларативных конвейеров Lakeflow Spark. Рассмотрим пример.

Требования к бессерверным вычислениям

Бессерверные вычисления доступны по умолчанию в большинстве рабочих областей. Никаких действий по включению вручную не требуется.

Чтобы получить доступ к бессерверным вычислениям, рабочая область должна соответствовать следующим требованиям:

Если рабочая область соответствует этим требованиям, бессерверные вычисления уже доступны. Устаревшие рабочие области, которые не включены для каталога Unity, не имеют доступа к бессерверным вычислениям. См. раздел Обновление рабочей области Azure Databricks до каталога Unity.

Ограничения бессерверных вычислений

Список ограничений см. в разделе об ограничениях бессерверных вычислений.

Вопросы и ответы

Как внедряются релизы?

Бессерверные вычисления — это продукт без версий, означающий, что Databricks автоматически обновляет бессерверную среду выполнения вычислений для поддержки улучшений и обновлений платформы. Все пользователи получают одинаковые обновления, которые развертываются в течение короткого периода времени.

Как определить, какую версию безсерверного решения я использую?

Бессерверные рабочие нагрузки всегда выполняются в последней версии среды выполнения. Смотрите заметки о выпуске для последней версии.

Как оценить затраты на бессерверные технологии?

Databricks рекомендует выполнять и тестировать представительную или определённую нагрузку, а затем анализировать таблицу системы выставления счетов. См. ссылку на таблицу системы учета платного использования .

Как проанализировать использование DBU для конкретной рабочей нагрузки?

Чтобы просмотреть затраты для определенной рабочей нагрузки, выполните запрос к system.billing.usage системной таблице. См. раздел "Мониторинг затрат на бессерверные вычисления " для примеров запросов и скачивание панели мониторинга наблюдаемости затрат.

Существует ли задержка между выполнением задания или запроса и появлением расходов в системной таблице учёта использования?

Да, задержка до 24 часов возможна между выполнением рабочей нагрузки и её использованием, отражённым в таблице учёта оплачиваемого использования.

Почему отображаются записи выставления счетов для бессерверных заданий, даже если не выполнялись бессерверные рабочие нагрузки?

Мониторинг качества данных и прогнозная оптимизация выполняются в бессерверной инфраструктуре и выставляются в соответствии с номером SKU бессерверных заданий. Эти функции управляются отдельно от бессерверных вычислений для записных книжек, рабочих процессов и декларативных конвейеров Spark Lakeflow.

Поддерживает ли бессерверные вычислительные ресурсы частные репозитории?

Репозитории могут быть частными или требовать проверку подлинности. По соображениям безопасности при доступе к проверенным репозиториям требуется предварительно подписанный URL-адрес.

Как установить библиотеки для моих рабочих задач?

Databricks рекомендует использовать среды для установки библиотек и управления ими для заданий. См. раздел "Настройка среды для задач задания".

Можно ли подключиться к пользовательским источникам данных?

Нет, поддерживаются только источники, использующие федерацию Lakehouse. См. раздел "Поддерживаемые источники данных".

Как работают сетевые операции в бессерверной вычислительной платформе?

Бессерверные вычислительные ресурсы выполняются в бессерверной вычислительной плоскости, которая управляется Azure Databricks. Дополнительные сведения о сети и архитектуре см. в разделе "Бессерверные сети вычислительных плоскостей".

Можно ли настроить бессерверные вычисления для заданий с помощью декларативных пакетов автоматизации?

Да, декларативные пакеты автоматизации можно использовать для настройки заданий, использующих бессерверные вычисления. См. задание, использующее бессерверные вычисления.

Как запустить бессерверную рабочую нагрузку с локального компьютера разработки или из приложения данных?

Databricks Connect позволяет подключаться к Databricks с локального компьютера и запускать рабочие нагрузки без сервера. См. Databricks Connect.

  • Last updated on