Перенос библиотек рабочей области и свойств Spark в среду по умолчанию

Среды Microsoft Fabric предоставляют гибкие конфигурации для выполнения заданий Spark. В среде можно выбрать разные среды выполнения Spark, настроить вычислительные ресурсы и установить библиотеки из общедоступных репозиториев или отправить локальные пользовательские библиотеки. Вы можете легко подключить среды к записным книжкам и определениям заданий для Spark.

Параметры рабочей зоны "Инженерия данных и Наука о данных" обновляются, чтобы включить среды Fabric. В рамках этого обновления Fabric больше не поддерживает добавление новых библиотек и свойств Spark в параметрах рабочей области. Вместо этого можно создать среду Fabric, настроить библиотеку и свойство в ней и присоединить ее в качестве среды рабочей области по умолчанию. После создания среды и установки ее в качестве значения по умолчанию можно перенести существующие библиотеки и свойства Spark в эту среду по умолчанию.

Из этой статьи вы узнаете, как перенести существующие библиотеки рабочей области и свойства Spark в среду.

Important

• Параметры рабочей области ограничены администраторами.
• Существующие параметры рабочей области остаются эффективными для записных книжек или определений заданий Spark, если к ним не подключена среда. Однако вы не можете внести дополнительные изменения в эти параметры. Мы настоятельно рекомендуем перенести существующие параметры в среду.
• Процесс миграции включает шаг, который окончательно удаляет все существующие конфигурации. Внимательно следуйте этим инструкциям. Нет способа вернуть файлы, если они случайно удалены.

Подготовка файлов к миграции

1. В параметрах рабочей области просмотрите существующие конфигурации.

   

2. Заметьте текущую версию исполняемой среды.

3. Скачайте существующие конфигурации, выбрав "Скачать все файлы".

   Содержимое загружается в виде разных файлов. Файл Sparkproperties.yml содержит все пары значений ключей свойств Spark. Файл Publiclibrary.yml содержит все определения общедоступной библиотеки. Все пользовательские пакеты, отправленные вами или вашей организацией, загружаются по одному в виде файлов.

После загрузки файлов можно начать перенос.

Создание и настройка среды

1. Создайте среду в центре управления и создания рабочих областей. После создания новой среды откроется страница "Среда ".

2. На вкладке "Главная " среды убедитесь, что версия среды выполнения совпадает с существующей средой выполнения рабочей области.

   

3. Пропустите этот шаг, если у вас нет общедоступных библиотек в параметрах рабочей области. Перейдите в раздел "Общедоступные библиотеки" и выберите "Добавить" из .yml. Отправьте файл Publiclibrary.yml , скачанный из существующих параметров рабочей области.

   

4. Пропустите этот шаг, если у вас нет пользовательских библиотек в параметрах рабочей области. Перейдите в раздел "Пользовательские библиотеки" и выберите "Отправить". Отправьте файлы пользовательской библиотеки, скачанные из существующих параметров рабочей области.

   

5. Пропустите этот шаг, если у вас нет свойств Spark в параметрах рабочей области. Перейдите в раздел свойств Spark и выберите "Отправить". Отправьте файл Sparkproperties.yml , скачанный из существующих параметров рабочей области.

6. Снова выберите "Опубликовать " и внимательно просмотрите изменения. Если все правильно, опубликуйте изменения. Публикация занимает несколько минут для завершения.

После завершения публикации вы успешно настроили среду.

Включение и выбор среды по умолчанию в параметрах рабочей области

Important

Все существующие конфигурации отменяются при выборе Включить среду. Прежде чем продолжить, убедитесь, что вы скачали все существующие конфигурации и установили их в среде.

1. Перейдите в раздел Параметры рабочей области>, затем Инженерия данных/Наука>, затем Среда, а затем выберите Включить среду. Это действие удаляет существующие конфигурации и запускает среду работы на уровне рабочей области.

   После успешного удаления существующих конфигураций появится следующий экран.

   

2. Переместите переключатель среды "Настройка " в положение "Вкл .". Теперь вы можете подключить среду как рабочую область по умолчанию.

   

3. Выберите среду, настроенную на предыдущих шагах в качестве рабочей области по умолчанию, и нажмите кнопку "Сохранить".

   

4. Убедитесь, что новая среда теперь отображается в среде по умолчанию для рабочей области на странице параметров Spark .

   

Связанный контент

• Создание, настройка и использование среды в Microsoft Fabric