Создание, настройка и использование среды в Fabric

Среда Microsoft Fabric — это консолидированный элемент для всех параметров оборудования и программного обеспечения. В среде можно выбрать разные среды выполнения Spark, настроить вычислительные ресурсы, установить библиотеки из общедоступных репозиториев или локального каталога и задать другие параметры.

В этой статье представлен обзор создания, настройки и использования среды.

Создать среду

Вы можете создавать новые среды из нескольких точек входа:

Стандартная точка входа:

1. В Fabric перейдите в нужную рабочую область.

2. Выберите Новый элемент и найдите Среда.

   

3. Назовите среду и нажмите кнопку "Создать".

Создайте во время выбора:

1. Откройте записную книжку или определение задания Spark.

2. Выберите раскрывающийся список "Среда" , а затем выберите "Создать среду".

   

3. Назовите среду и нажмите кнопку "Создать".

После создания среды выберите версию среды выполнения. Выберите runtime 1.3 (Spark 3.5, Delta 3.2) в раскрывающемся меню.

Настройка среды

Среда имеет три основных компонента:

• Вычисление Spark, включающее среду выполнения Spark.
• Библиотеки.
• Ресурсы.

Конфигурации вычислений и библиотек Spark необходимы для эффективной публикации. Ресурсы — это общее хранилище, которое может измениться в режиме реального времени. Дополнительные сведения см. в разделе "Сохранение и публикация изменений".

Настройка вычислений Spark

Для среды можно выбрать различные среды выполнения Spark с собственными параметрами по умолчанию и предустановленными пакетами. Чтобы просмотреть доступные среды выполнения, перейдите на вкладку "Главная " среды и выберите "Среда выполнения". Выберите среду выполнения, которая лучше всего подходит для ваших потребностей.

Внимание

• Если вы обновляете среду выполнения с существующими конфигурациями или библиотеками, необходимо повторно опубликовать содержимое на основе обновленной версии среды выполнения.
• Если существующие конфигурации или библиотеки несовместимы с новой обновленной версией среды выполнения, публикация завершается ошибкой. Необходимо удалить несовместимые конфигурации или библиотеки и снова опубликовать среду.

Вычислительная среда Fabric Spark обеспечивает беспрецедентную скорость и эффективность работы в Spark и с учетом требований. В вашей среде можно выбрать различные пулы, созданные администраторами рабочей области и администраторами емкости. Вы можете дополнительно настроить конфигурации и управлять свойствами Spark, чтобы быть эффективными в сеансах Spark. Дополнительные сведения см. в разделе "Параметры конфигурации вычислений Spark" в средах Fabric.

Управление библиотеками

Каждая среда выполнения Spark предоставляет встроенные библиотеки. В среде Fabric можно также установить библиотеки из общедоступных источников или отправить пользовательские библиотеки, созданные вами или вашей организацией. После успешной установки библиотек они доступны в сеансах Spark. Дополнительные сведения см. в разделе "Управление библиотеками в средах Fabric". Рекомендации по управлению библиотеками в Fabric см. в статье "Управление библиотеками Apache Spark в Fabric".

Использование ресурсов

Раздел "Ресурсы " в среде упрощает управление небольшими ресурсами на этапе разработки. Файлы, отправленные в среду, доступны для записных книжек при их присоединении. Дополнительные сведения см. в разделе "Управление ресурсами в среде Fabric".

Сохранение и публикация изменений

На вкладке "Главная" можно легко найти "Сохранить " и "Опубликовать". Они активируются при наличии несохраненных или неопубликованных изменений в разделахвычислений Библиотек и Spark.

Внимание

• Если Private Link активирован, первая задача Spark в рабочей области должна инициировать подготовку сети VNet, которая может занять около 10–15 минут. Так как публикация среды также выполняется в качестве задания Spark, она может столкнуться с дополнительной задержкой, если это будет первое задание Spark, выполняемое после включения приватного канала.

Если ожидающие изменения находятся в разделахвычислений Библиотек и Spark, вы также увидите баннер с запросом на сохранение и публикацию. Функции совпадают с функциями кнопок:

• Если обновить или оставить браузер открытым, изменения будут потеряны. Нажмите кнопку "Сохранить" , чтобы убедиться, что изменения записываются перед выходом. Сохранение не применяет конфигурацию, но кэширует изменения в системе.
• Чтобы применить изменения к библиотекам и вычислениям Spark, выберите "Опубликовать". Страница "Ожидающие изменения" отображается для окончательной проверки перед публикацией. Затем выберите "Опубликовать все ", чтобы инициировать конфигурацию в среде Fabric. Этот процесс может занять некоторое время, особенно если изменения библиотеки связаны.
• Чтобы отменить процесс публикации, выберите "Просмотреть ход выполнения " в баннере и отменить операцию.
• Уведомление появляется после завершения публикации. Уведомление об ошибке возникает, если во время процесса возникли проблемы.

Среда принимает только одно действие публикации одновременно. Вы не можете вносить изменения в разделы вычисленийбиблиотек или Spark во время текущего действия публикации.

Публикация не влияет на добавление, удаление или редактирование файлов и папок в разделе "Ресурсы ". Действия по управлению ресурсами находятся в режиме реального времени. Действие публикации не блокирует изменения в разделе "Ресурсы ".

Предоставление общего доступа к существующей среде

Fabric поддерживает общий доступ к элементу с различными уровнями разрешений.

При совместном использовании элемента среды получатели автоматически получают разрешение на чтение. С помощью этого разрешения они могут изучить конфигурации среды и подключить его к записным книжкам или заданиям Spark. Для плавного выполнения кода обязательно предоставьте разрешения на чтение для подключенных сред при совместном использовании записных книжек и определений заданий Spark.

Вы также можете предоставить общий доступ к среде с разрешениями общего доступа и редактирования. Пользователи с разрешением общего доступа могут продолжать совместно использовать среду с другими пользователями. Между тем получатели с разрешением на изменение могут обновить содержимое среды.

Присоединение среды

Вы можете подключить среду Fabric к рабочим областям "Инженерия и наука данных " или к записным книжкам и определениям заданий Spark.

Подключение среды как рабочей области по умолчанию

Внимание

После выбора среды в качестве рабочей области по умолчанию только администраторы рабочих областей могут обновить содержимое среды по умолчанию.

Выберите параметры рабочей области "Инженерия>и наука>Spark ", чтобы просмотреть вкладку "Среда ".

Администраторы рабочей области могут определить рабочую нагрузку по умолчанию для всей рабочей области. Значения, настроенные здесь, эффективны для записных книжек и определений заданий Spark, которые присоединяются к параметрам рабочей области .

Переключатель установки среды по умолчанию может улучшить пользовательский опыт. По умолчанию этот переключатель имеет значение Off. Если в качестве рабочей области по умолчанию не требуется свойство Spark или библиотека по умолчанию, можно определить среду выполнения Spark в этом случае. Если вы хотите подготовить вычислительные ресурсы и библиотеки Spark по умолчанию для рабочей области, вы можете переключиться на включено и легко подключить среду в качестве рабочей области по умолчанию. Этот параметр делает все конфигурации в среде эффективными в качестве параметров рабочей области.

Присоедините среду к записной книжке или определению задания Spark

Среда доступна как на вкладках "Записная книжка" , так и на вкладках "Определение задания Spark ". Когда записные книжки и определения заданий Spark подключены к среде, они могут получить доступ к своим библиотекам, конфигурациям вычислений и ресурсам. В обозревателе перечислены все доступные среды, которыми вы поделились, из текущей рабочей области и из других рабочих областей, к которым у вас есть доступ.

При переходе на другую среду во время активного сеанса вновь выбранная среда не вступают в силу до следующего сеанса.

При подключении среды из другой рабочей области обе рабочие области должны иметь одинаковые параметры емкости и безопасности сети. Хотя вы можете выбрать среды из рабочих областей с разными емкостями или параметрами безопасности сети, сеанс не запускается.

При присоединении среды из другой рабочей области конфигурация вычислений в этой среде игнорируется. Вместо этого пул и вычислительные конфигурации по умолчанию заданы параметры текущей рабочей области.

Удаление среды

Вы можете удалить среду, если она больше не нужна. Перед удалением среды рассмотрите следующее:

Внимание

• Удаление среды является постоянным и не может быть отменено.
• Все определения заданий Spark или записные книжки, подключенные к среде, должны быть перенастроены для использования другой среды или параметров рабочей области.
• Если среда задана как рабочая область по умолчанию, перед удалением необходимо сначала изменить параметр рабочей области по умолчанию.

Удаление среды с помощью REST API

Среду можно удалить программным способом с помощью REST API Fabric:

Конечная точка:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Необходимые разрешения: Environment.ReadWrite.All или Item.ReadWrite.All

Дополнительные сведения о REST API см. в разделе "Удаление среды".

Связанный контент

• Параметры конфигурации вычислений Spark в средах Fabric
• Управление библиотеками в средах Fabric