Шпаргалка по созданию вычислительных процессов

Эта статья направлена на предоставление четкого и уверенного руководства по созданию вычислительных ресурсов. Используя правильные типы вычислений для рабочего процесса, вы можете повысить производительность и сэкономить на затратах.

Наилучшие практики Воздействие Документация
Использование бессерверных вычислений для большинства рабочих нагрузок Azure Databricks автоматически управляет размерами, масштабированием и инфраструктурой. Конфигурация кластера не требуется.
Для классических вычислений: используйте стандартный режим доступа, если необходимые функциональные возможности не поддерживаются Вычисления с стандартным режимом доступа могут использоваться несколькими пользователями с изоляцией данных среди пользователей.
Для классических вычислений: начните с использования общих типов экземпляров всех назначений, если вы не знакомы с Azure Databricks Подбор подходящего типа экземпляра для рабочей нагрузки приводит к более высокой эффективности.
Для классических вычислений: используйте типы экземпляров последнего поколения, если они доступны в достаточном количестве. Последнее поколение типов экземпляров обеспечивает лучшую производительность и новейшие функции.
  • Типы экземпляров Azure
Для классических вычислений: установите баланс по запросу и предложение мгновенного использования в зависимости от того, насколько быстро необходимо выполнение вашей рабочей нагрузки. Точечные экземпляры сэкономят на затратах, но могут повлиять на общее время выполнения операции, если эти экземпляры будут отозваны.
Для классических вычислений выберите размер узлов и количество рабочих ролей на основе типов операций, выполняемых рабочей нагрузкой. Например, если ожидается много перетасовок, может быть более эффективно использовать один большой узел вместо нескольких небольших.
Для классических вычислений: запуск вакуума в кластере с автоматическим масштабированием для 1–4 рабочих ролей, где у каждой рабочей роли есть 8 ядер.
Выберите драйвер в диапазоне от 8 до 32 ядер. Увеличьте размер драйвера, если возникают ошибки нехватки памяти.
Утверждения о вакууме происходят в два этапа, второй из которых насыщено использованием драйверов. Если вы не используете правильный размер кластера, операция может привести к замедлению и может завершиться ошибкой.
Для классических вычислений: оцените, получит ли ваш пакетный рабочий процесс выгоду от использования Photon Фотон обеспечивает более быстрые запросы и снижает общую стоимость на рабочую нагрузку.