Управление конфигурацией Apache Spark

Из этого руководства вы узнаете, как создать конфигурацию Apache Spark для synapse Studio. Созданная конфигурация Apache Spark может управляться стандартизированным способом, а при создании определения задания Notebook или Apache Spark можно выбрать конфигурацию Apache Spark, которую вы хотите использовать с пулом Apache Spark. При выборе этого параметра отображаются сведения о конфигурации.

Создание конфигурации Apache Spark

Пользовательские конфигурации можно создавать из разных точек входа, например на странице конфигурации Apache Spark существующего пула Spark.

Создание пользовательских конфигураций в конфигурациях Apache Spark

Выполните следующие действия, чтобы создать конфигурацию Apache Spark в Synapse Studio.

1. Выберите Управление>Конфигурации Apache Spark.

2. Нажмите кнопку Создать, чтобы создать новую конфигурацию Apache Spark, или импортируйте локальный JSON-файл в рабочую область.

3. После нажатия кнопкиСоздать откроется страница конфигурации Apache Spark.

4. В поле Имя можно ввести предпочитаемое и допустимое имя.

5. В поле Описание можно ввести описание.

6. Вы можете добавить заметки, нажав кнопку Создать, а также удалить существующие заметки, нажав кнопку Удалить.

7. Для свойств конфигурации настройте конфигурацию, нажав кнопку Добавить, чтобы добавить свойства. Если вы не добавите свойство, Azure Synapse будет использовать значение по умолчанию, если применимо.

   

8. Нажмите кнопку Продолжить.

9. Нажмите кнопку Создать после успешной проверки.

10. Опубликовать все

Примечание.

Функция настройки Apache Spark была удалена, но Synapse Studio сохранит загруженную вами ранее конфигурацию.

Создание конфигурации Apache Spark в уже существующем пуле Apache Spark

Выполните следующие действия, чтобы создать конфигурацию Apache Spark в существующем пуле Apache Spark.

1. Выберите существующий пул Apache Spark и щелкните кнопку "...".

2. Выберите конфигурацию Apache Spark в списке содержимого.

   

3. Для конфигурации Apache Spark можно выбрать уже созданную конфигурацию из раскрывающегося списка или нажать кнопку +Создать, чтобы создать новую конфигурацию.

   • Если нажать кнопку +Создать, откроется страница "Конфигурация Apache Spark", и вы можете создать новую конфигурацию, выполнив действия, описанные в разделе "Создание пользовательских конфигураций" в конфигурациях Apache Spark.

   • Если выбрать существующую конфигурацию, сведения о конфигурации будут отображаться в нижней части страницы, можно также нажать кнопку Изменить, чтобы изменить существующую конфигурацию.

     

4. Щелкните Просмотреть конфигурации, чтобы открыть страницу Выбрать конфигурацию. Все конфигурации будут отображаться на этой странице. Вы можете выбрать конфигурацию, которую хотите использовать в этом пуле Apache Spark.

   

5. Нажмите кнопку Применить, чтобы сохранить действие.

Создание конфигурации Apache Spark в сеансе настройки записной книжки

Если вам нужно использовать настраиваемую конфигурацию Apache Spark при создании записной книжки, ее можно создать и настроить в сеансе настройки, выполнив приведенные ниже действия.

1. Создайте новую или откройте существующую записную книжку.

2. Откройте Свойства этой записной книжки.

3. Щелкните Настройка сеанса, чтобы открыть страницу "Настройка сеанса".

4. Прокрутите страницу настройки сеанса для конфигурации Apache Spark, разверните раскрывающееся меню, нажмите кнопку "Создать", чтобы создать новую конфигурацию. Или выберите существующую конфигурацию. Если выбрать существующую конфигурацию, щелкните значок "Изменить", чтобы перейти на страницу "Изменить конфигурацию Apache Spark", чтобы изменить конфигурацию.

5. Щелкните Просмотреть конфигурации, чтобы открыть страницу Выбрать конфигурацию. Все конфигурации будут отображаться на этой странице. Можно выбрать конфигурацию, которую вы хотите использовать.

   

Создание конфигурации Apache Spark в определениях заданий Apache Spark

При создании определения задания Spark необходимо использовать конфигурацию Apache Spark, которую можно создать, выполнив следующие действия.

1. Создайте новое/Откройте имеющееся определение задания Apache Spark.

2. Для конфигурации Apache Spark можно нажать кнопку "Создать", чтобы создать новую конфигурацию. Или выберите существующую конфигурацию в раскрывающемся меню. Если выбрать существующую конфигурацию, щелкните значок Изменить, чтобы перейти на страницу "Изменить конфигурацию Apache Spark", чтобы изменить конфигурацию.

3. Щелкните Просмотреть конфигурации, чтобы открыть страницу Выбрать конфигурацию. Все конфигурации будут отображаться на этой странице. Можно выбрать конфигурацию, которую вы хотите использовать.

   

Примечание.

Если в конфигурации Apache Spark в записной книжке и определении задания Apache Spark не выполняет никаких специальных действий, то при выполнении задания будет использоваться конфигурация по умолчанию.

Импорт и экспорт конфигурации Apache Spark

Вы можете импортировать конфигурацию .txt/.conf/.json в трех форматах, а затем преобразовать ее в артефакт с последующей публикацией. Кроме того, можно выполнить экспорт в один из этих трех форматов.

• Импортируйте конфигурацию .txt/.conf/.json из локальной среды.

  

• Импортируйте конфигурацию .txt/.conf/.json в локальную среду.

  

Для файла конфигурации .txt и файла конфигурации .conf доступны следующие примеры:

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Для файла конфигурации .json доступны следующие примеры:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Примечание.

Synapse Studio продолжит поддерживать файлы конфигурации на основе terraform или bicep.

Следующие шаги

• Использование бессерверного пула Apache Spark в Synapse Studio.
• Запуск приложения Spark в записной книжке.
• Создание определения задания Apache Spark в Azure Studio.
• Сбор метрик и журналов приложений Apache Spark с использованием учетной записи службы хранилища Azure.
• Сбор метрик и журналов приложений Apache Spark с использованием Центров событий Azure.