Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Возможности разработки и обработки и анализа данных Microsoft Fabric работают на полностью управляемой вычислительной платформе Spark. Эта платформа предназначена для достижения непревзойденной скорости и эффективности. Он включает начальные пулы и настраиваемые пулы.
Среда Fabric содержит коллекцию конфигураций, включая свойства вычислений Spark, которые можно использовать для настройки сеанса Spark после подключения к записным книжкам и заданиям Spark. С помощью среды вы гибко настраиваете конфигурации вычислений для выполнения заданий Spark.
Настройка параметров
Администратор рабочей области может включать или отключать настройки вычислений.
На панели параметров рабочей области выберите раздел "Инженерия и наука данных ".
На вкладке "Пул" включите переключатель "Настроить конфигурации вычислений для элементов", установив значение Вкл.
Вы также можете делегировать членам и соавторам возможность изменять конфигурации вычислений по умолчанию на уровне сеанса в среде Fabric, активировав этот параметр.
Если отключить этот параметр на панели параметров рабочей области , раздел вычислений среды отключен. Конфигурации вычислений пула по умолчанию для рабочей области используются для выполнения заданий Spark.
Настройка свойств вычислений на уровне сеанса в среде
Как пользователь, вы можете выбрать пул для среды из списка пулов, доступных в рабочей области Fabric. Администратор рабочей области Fabric создает начальный пул по умолчанию и настраиваемые пулы.
После выбора пула в разделе вычислений можно настроить ядра и память для исполнителей в пределах размеров узлов и ограничений выбранного пула. Дополнительные сведения о размерах вычислений Spark и их ядрах или параметрах памяти см. в статье " Вычисления Spark" в Fabric. Используйте раздел вычислений , чтобы настроить свойства уровня сеанса Spark для настройки памяти и ядер исполнителей на основе требований к рабочей нагрузке. Свойства Spark, заданные с помощью spark.conf.set параметров уровня приложения, не связаны с переменными среды.
Например, предположим, что вы хотите выбрать пользовательский пул с большим размером узла, который составляет 16 виртуальных ядер Spark в качестве пула среды.
В разделе "Вычисления " в пуле среды используйте раскрывающийся список ядра драйвера Spark для выбора 4, 8 или 16 на основе требований уровня задания.
Чтобы выделить память драйверам и исполнителям, в разделе памяти исполнителя Spark выберите 28 г, 56 г или 112 г. Все находятся в пределах ограничения памяти большого узла.
