Рекомендации по бессерверным вычислениям
В этой статье приведены рекомендации по использованию бессерверных вычислений в записных книжках и заданиях.
Следуя этим рекомендациям, вы улучшите производительность, экономичность и надежность рабочих нагрузок в Azure Databricks.
Перенос рабочих нагрузок на бессерверные вычислительные ресурсы
Для защиты изоляции пользовательского кода бессерверные вычисления используют режим безопасного общего доступа Azure Databricks. Из-за этого некоторые рабочие нагрузки потребуют изменения кода для продолжения работы с бессерверными вычислениями. Список неподдерживаемых функций см. в разделе "Бессерверные ограничения вычислений".
Некоторые рабочие нагрузки проще перенести, чем другие. Рабочие нагрузки, соответствующие следующим требованиям, будут самыми простыми для миграции:
- Доступ к данным должен храниться в каталоге Unity.
- Рабочая нагрузка должна быть совместима с вычислительными ресурсами в режиме общего доступа.
- Рабочая нагрузка должна быть совместима с Databricks Runtime 14.3 или выше.
Чтобы проверить, будет ли рабочая нагрузка работать на бессерверных вычислительных ресурсах без сервера с режимом общего доступа и средой выполнения Databricks версии 14.3 или более поздней версии. Если выполнение выполнено успешно, рабочая нагрузка готова к миграции.
Из-за важности этого изменения и текущего списка ограничений многие рабочие нагрузки не будут легко переноситься. Вместо восстановления всего, Azure Databricks рекомендует приоритеты бессерверной совместимости вычислений при создании новых рабочих нагрузок.
Прием данных из внешних систем
Так как бессерверные вычисления не поддерживают установку JAR-файла, нельзя использовать драйвер JDBC или ODBC для приема данных из внешнего источника данных.
Альтернативные стратегии, которые можно использовать для приема, включают:
Стандартные блоки на основе SQL, такие как COPY INTO и потоковая передача таблиц.
Автоматический загрузчик для добавочного и эффективного обработки новых файлов данных по мере их поступления в облачное хранилище. См. статью об автозагрузчике.
Решения партнеров по приему данных. См. статью "Подключение к партнерам приема" с помощью Partner Connect.
Добавьте пользовательский интерфейс данных для непосредственной отправки файлов. См. статью "Отправка файлов в Azure Databricks".
Альтернативы приема
При использовании бессерверных вычислений можно также использовать следующие функции для запроса данных без его перемещения.
- Если вы хотите ограничить дублирование данных или гарантировать, что запрашиваются самые свежие данные, Databricks рекомендует использовать разностный общий доступ. См. раздел "Что такое разностный общий доступ?".
- Если вы хотите сделать нерегламентированные отчеты и доказательства концепции, Databricks рекомендует попробовать правильный выбор, который может быть Федерацией Lakehouse. Федерация Lakehouse позволяет синхронизировать все базы данных с Azure Databricks из внешних систем и управляется каталогом Unity. См. статью "Что такое Федерация Lakehouse?".
Попробуйте использовать одну или обе эти функции и узнать, соответствуют ли они требованиям к производительности запроса.
Мониторинг стоимости бессерверных вычислений
Существует несколько функций, которые можно использовать для мониторинга затрат на бессерверные вычисления:
Используйте системные таблицы для создания панелей мониторинга, настройки оповещений и выполнения нерегламентированных запросов. См. статью "Мониторинг затрат на бессерверные вычисления".
Настройте оповещения бюджета в вашей учетной записи. См. статью "Использование бюджетов для мониторинга расходов на учетную запись".
Импорт предварительно настроенной панели мониторинга использования. См. статью "Импорт панели мониторинга использования".