Перенос библиотек рабочей области и свойств Spark в среду по умолчанию

Среды Microsoft Fabric предоставляют гибкие конфигурации для выполнения заданий Spark. В среде можно выбрать разные среды выполнения Spark, настроить вычислительные ресурсы и установить библиотеки из общедоступных репозиториев или отправить локальные пользовательские библиотеки. Вы можете легко подключить среды к записным книжкам и определениям заданий Spark.

параметры рабочей области Инжиниринг данных и Обработка и анализ данных обновляются, чтобы включить среды Fabric. В рамках этого обновления Fabric больше не поддерживает добавление новых библиотек и свойств Spark в параметрах рабочей области. Вместо этого можно создать среду Fabric, настроить библиотеку и свойство в ней и присоединить ее в качестве среды рабочей области по умолчанию. После создания среды и установки ее в качестве значения по умолчанию можно перенести существующие библиотеки и свойства Spark в эту среду по умолчанию.

В этом руководстве описано, как перенести существующие библиотеки рабочей области и свойства Spark в среду.

Маңызды

• Параметры рабочей области ограничены администраторами.
• Существующие параметры рабочей области остаются эффективными для записных книжек или определений заданий Spark, если к ним не подключена среда. Однако вы не можете вносить дальнейшие изменения в эти параметры. Мы НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ перенести существующие параметры в среду.
• Процесс миграции включает шаг, который окончательно удаляет все существующие конфигурации. Внимательно следуйте этим инструкциям. Нет способа вернуть файлы, если они удаляются случайно.

Подготовка файлов к миграции

В параметрах рабочей области просмотрите существующие конфигурации.

1. Запишите текущую версию среды выполнения .

2. Скачайте существующие конфигурации, выбрав "Скачать все файлы".

   Содержимое загружается в виде разных файлов. Sparkproperties.yml содержит все пары значений ключей свойств Spark. Файл Publiclibrary.yml содержит все определения общедоступной библиотеки. Все пользовательские пакеты, отправленные вами или вашей организацией, загружаются в виде файлов по одному.

После скачивания файлов можно перенести.

Создание и настройка среды

1. Создайте среду в центре создания и списка рабочих областей. После создания новой среды откроется страница "Среда".

2. На вкладке "Главная" среды убедитесь, что версия среды выполнения совпадает с существующей средой выполнения рабочей области.

   

3. Пропустите этот шаг, если у вас нет общедоступных библиотек в параметрах рабочей области. Перейдите к разделу "Общедоступные библиотеки " и выберите " Добавить" из .yml на ленте. Отправьте Publiclibrary.yml, скачанные из существующих параметров рабочей области.

   

4. Пропустите этот шаг, если у вас нет пользовательских библиотек в параметрах рабочей области. Перейдите в раздел "Пользовательские библиотеки" и выберите " Отправить " на ленте. Отправьте файлы пользовательской библиотеки, скачанные из существующих параметров рабочей области.

   

5. Пропустите этот шаг, если у вас нет свойств Spark в параметрах рабочей области. Перейдите к разделу свойств Spark и выберите " Отправить " на ленте. Отправьте файл Sparkproperties.yml, скачанный из существующих параметров рабочей области.

6. Снова выберите "Опубликовать " и внимательно просмотрите изменения. Если все правильно, опубликуйте изменения. Публикация занимает несколько минут.

После завершения публикации вы успешно настроили среду.

Включение и выбор среды по умолчанию в параметрах рабочей области

Маңызды

Все существующие конфигурации будут удалены при выборе параметра "Включить среду". Прежде чем продолжить, убедитесь, что вы скачали все существующие конфигурации и установили их в среде.

1. Перейдите к параметрам рабочей области ->Инжиниринг данных/Science ->Environment и выберите "Включить среду". Это действие удаляет существующие конфигурации и начинает работу среды на уровне рабочей области.

   Следующий экран отображается при успешном удалении существующих конфигураций.

   

2. Переместите переключатель среды "Настройка" в положение "Вкл .". Этот параметр позволяет подключить среду как рабочую область по умолчанию.

   

3. Выберите среду, настроенную на предыдущих шагах в качестве рабочей области по умолчанию, и нажмите кнопку "Сохранить".

   

4. Убедитесь, что новая среда теперь отображается в среде по умолчанию для рабочей области на странице параметров Spark.

   

Связанный контент

• Создание, настройка и использование среды в Microsoft Fabric.