Настройка режима высокой параллелизма для записных книжек Fabric

При запуске записной книжки в Microsoft Fabric запускается сеанс Apache Spark и используется для выполнения запросов, отправленных в рамках выполнения ячеек записной книжки. С включенным режимом высокой параллелизма не требуется запускать новые сеансы Spark при каждом запуске записной книжки.

Если у вас уже запущен сеанс высокой параллелизма, вы можете подключить записные книжки к сеансу высокой параллелизма, чтобы мгновенно запустить запросы и добиться большей скорости использования сеанса сеанса.

Примечание.

Общий доступ сеансов на основе режима высокой параллелизма всегда находится в пределах одной границы пользователя. Записные книжки должны иметь соответствующие конфигурации Spark, должны быть частью одной рабочей области, совместно использовать те же стандартные lakehouse и библиотеки, чтобы предоставить общий доступ к одному сеансу Spark.

Условия общего доступа к сеансам

Для совместного использования одного сеанса Spark записные книжки должны:

• Выполняется тем же пользователем.
• Имеют то же самое озеро по умолчанию. Записные книжки без лейкхауса по умолчанию могут совместно использовать сеансы с другими записными книжками, у которых нет озера по умолчанию.
• Имеют те же конфигурации вычислений Spark.
• Имеют те же пакеты библиотеки. Вы можете использовать разные встроенные установки библиотеки как часть ячеек записной книжки и по-прежнему предоставлять общий доступ к сеансу с записными книжками с разными зависимостями библиотеки.

Настройка режима высокой параллелизма

По умолчанию все рабочие области Fabric включены в режиме высокой параллелизма. Чтобы настроить функцию высокого параллелизма, выполните следующие действия.

1. Выберите параметр "Параметры рабочей области" в рабочей области Fabric

   

2. Перейдите к разделу >Synapse Spark Compute>High Concurrency

3. В разделе высокой параллелизма можно включить или отключить параметр.

   

4. Включение параметра высокой параллелизма позволяет пользователям запускать сеанс с высоким параллелизмом в записных книжках или подключаться к существующему сеансу с высоким параллелизмом.

5. Отключение режима высокой параллелизма скрывает раздел для настройки периода бездействия, а также скрывает параметр запуска нового сеанса высокой параллелизма из меню записной книжки.

   

Запуск записных книжек в сеансе высокой параллелизма

1. Открытие рабочей области Fabric

2. Создание записной книжки или открытие существующей записной книжки

3. Перейдите на вкладку "Запуск" на ленте меню и выберите раскрывающийся список типа сеанса, выбранный в качестве параметра по умолчанию.

   

4. Выберите новый сеанс с высоким параллелизмом.

5. После запуска сеанса высокой параллелизма теперь можно добавить до 5 записных книжек в сеансе высокой параллелизма.

   

6. Создайте записную книжку и перейдите к меню "Запуск ", как упоминалось в приведенных выше шагах, в раскрывающемся меню вы увидите только что созданный сеанс высокой параллелизма.

7. При выборе существующего сеанса высокой параллелизма в сеансе подключается вторая записная книжка.

   

8. После подключения записной книжки можно сразу начать выполнение шагов записной книжки.

9. Состояние сеанса высокой параллелизма также показывает количество записных книжек, подключенных к заданному сеансу в любой момент времени.

10. В любой момент времени, если вы чувствуете, что записная книжка подключена к сеансу с высоким параллелизмом, требует более выделенных вычислений, вы можете переключить записную книжку на стандартный сеанс, выбрав параметр отсоединить записную книжку от высокой параллелизма на вкладке меню "Запуск".

    

11. Вы можете просмотреть состояние сеанса, тип и идентификатор сеанса, перейдя к строке состояния , выберите идентификатор сеанса, позволяющий изучить задания, выполняемые в этом сеансе высокой параллелизма, и просмотреть журналы сеанса Spark на странице сведений о мониторинге.

    

Мониторинг и отладка записных книжек, выполняемых в сеансе высокой параллелизма

Мониторинг и отладка часто являются нетривиальной задачей при выполнении нескольких записных книжек в общем сеансе. Для режима высокой параллелизма в Fabric предлагается разделение журналов, позволяющее пользователям отслеживать журналы, создаваемые событиями Spark из разных записных книжек.

1. Когда сеанс выполняется или находится в состоянии завершения, можно просмотреть состояние сеанса, перейдя в меню "Запуск " и выбрав параметр "Все запуски "

2. Откроется журнал выполнения записной книжки с списком текущих активных и исторических сеансов Spark.

   

3. Пользователи, выбрав сеанс, могут получить доступ к представлению сведений мониторинга, в котором отображается список всех заданий Spark, выполняемых в сеансе.

4. В случае сеанса высокой параллелизма пользователи могут определить задания и связанные журналы из разных записных книжек с помощью вкладки "Связанная записная книжка", в которой показана записная книжка , из которой выполняется это задание.

   

Связанный контент

В этом документе вы получите базовое представление о совместном использовании сеансов с помощью режима высокой параллелизма в записных книжках. Перейдите к следующим статьям, чтобы узнать, как создать и приступить к работе с собственными Инжиниринг данных опытом использования Lakehouse и Notebooks:

• Чтобы приступить к работе с Lakehouse, см. статью "Создание Lakehouse".
• Сведения о начале работы с записными книжками см. в статье "Использование записной книжки"