В этой статье перечислены ответы на часто задаваемые вопросы о параметрах администрирования рабочей области Apache Spark.
Разделы справки использовать роли RBAC для настройки параметров рабочей области Spark?
Используйте меню "Управление доступом " , чтобы добавить разрешения администратора для определенных пользователей, групп рассылки или групп безопасности. Это меню можно также использовать для внесения изменений в рабочую область и предоставления доступа к добавлению, изменению или удалению параметров рабочей области Spark.
Применяются ли изменения к свойствам Spark на уровне среды к активным сеансам записной книжки или запланированным заданиям Spark?
При изменении конфигурации на уровне рабочей области он не применяется к активным сеансам Spark. Это включает пакетные или записные книжки сеансы. После сохранения новых параметров конфигурации необходимо запустить новую записную книжку или пакетный сеанс.
Можно ли настроить семейство узлов, среду выполнения Spark и свойства Spark на уровне емкости?
Да, вы можете изменить среду выполнения или управлять свойствами Spark с помощью параметров Инжиниринг данных/Science в рамках страницы параметров администратора емкости. Вам нужен доступ администратора емкости для просмотра и изменения этих параметров емкости.
Можно ли выбрать разные семейства узлов для различных записных книжек и определений заданий Spark в рабочей области?
В настоящее время для всей рабочей области можно выбрать только семейство узлов, оптимизированных для памяти.
Можно ли настроить эти параметры на уровне записной книжки?
Да, можно использовать %%configure для настройки свойств на уровне сеанса Spark в записных книжках
Можно ли настроить минимальное и максимальное количество узлов для выбранного семейства узлов?
Да, вы можете выбрать минимальные и максимальные узлы на основе разрешенных ограничений на максимальное увеличение емкости Fabric, связанной с рабочей областью Fabric.
Можно ли включить автомасштабирование для пулов Spark в оптимизированном для памяти или аппаратном семействе узлов на основе GPU?
Автомасштабирование доступно для пулов Spark и позволяет системе автоматически масштабировать вычисления на основе этапов задания во время выполнения. В настоящее время графические процессоры недоступны. Эта возможность будет включена в будущих выпусках.
Поддерживается ли интеллектуальная кэширование пулов Spark или включена по умолчанию для рабочей области?
Интеллектуальная кэширование включена по умолчанию для пулов Spark для всех рабочих областей.