Создание, настройка и использование среды в Microsoft Fabric
Среда Microsoft Fabric — это консолидированный элемент для всех параметров оборудования и программного обеспечения. В среде можно выбрать разные среды выполнения Spark, настроить вычислительные ресурсы, установить библиотеки из общедоступных репозиториев или локального каталога и многое другое.
В этом руководстве представлен обзор создания, настройки и использования среды.
Существует несколько точек входа при создании новых сред.
Стандартная точка входа
В разделе создания или в разделе "Создать" рабочей области можно найти вариант создания новой среды, аналогично другим элементам Fabric.
Создайте при выборе
Если выбрать среду для записной книжки, определение задания Spark и рабочую область по умолчанию, можно найти вариант создания новой среды.
В среде есть три основных компонента, которые представляют собой вычислительные ресурсы Spark, которые включают среду выполнения Spark, библиотеки и ресурсы. Конфигурации вычислений и библиотек Spark необходимы для эффективной публикации, а ресурсы — это общее хранилище, которое может измениться в режиме реального времени. Дополнительные сведения см. в разделе "Сохранение и публикация изменений ".
Для среды можно выбрать разные среды выполнения Spark, каждая из которых имеет собственные параметры по умолчанию и предварительно установленные пакеты. Чтобы просмотреть доступные среды выполнения, перейдите на вкладку "Главная " среды и выберите "Среда выполнения". Выберите среду выполнения, которая лучше всего подходит для ваших потребностей.
Маңызды
- При обновлении среды выполнения с существующими конфигурациями или библиотеками необходимо повторно опубликовать содержимое на основе обновленной версии среды выполнения.
- Если существующие конфигурации или библиотеки несовместимы с новой обновленной версией среды выполнения, публикация завершается ошибкой. Необходимо удалить несовместимые конфигурации или библиотеки и снова опубликовать среду.
Компьютерные ресурсы Microsoft Fabric Spark обеспечивают беспрецедентную скорость и эффективность работы в Spark и адаптированные под требования функции. В вашей среде можно выбрать различные пулы, созданные администраторами рабочего пространства и администраторами емкости. Вы можете дополнительно настроить конфигурации и управлять свойствами Spark, чтобы быть эффективными в сеансах Spark. Дополнительные сведения см. в разделе "Параметры конфигурации вычислений Spark" в средах Fabric.
За исключением встроенных библиотек, предоставляемых каждой средой выполнения Spark, среда Fabric позволяет устанавливать библиотеки из общедоступных источников или отправлять пользовательские библиотеки, созданные вами или вашей организацией. После успешной установки библиотек они будут доступны в сеансах Spark. Дополнительные сведения см. в разделе "Управление библиотеками в средах Fabric". Вы также можете найти рекомендации по управлению библиотеками в Microsoft Fabric.Управление библиотеками Apache Spark в Microsoft Fabric
Раздел "Ресурсы" в среде упрощает управление небольшими ресурсами на этапе разработки. Файлы, загруженные в среду, доступны во всех записных книжках при их присоединении. Дополнительные сведения см. в разделе "Управление ресурсами в среде Fabric"
На вкладке "Главная" ленты среды можно легко найти две кнопки "Сохранить" и "Опубликовать". Они будут активированы при наличии несохранённых или неопубликованных ожидающих изменений в разделах Библиотек и вычислений Spark.
Вы также увидите баннер с предложением использовать эти две кнопки, когда имеются ожидающие изменения в разделах Библиотеки и вычислений Spark; они обладают теми же функциями, что и кнопки на ленте.
- Если обновить или оставить браузер открытым, изменения будут потеряны. Нажмите кнопку "Сохранить", чтобы убедиться, что изменения записываются перед выходом. Сохранение не применяет настройки, а кэширует их в системе.
- Выберите "Опубликовать" , чтобы применить изменения к библиотекам и вычислениям Spark. Страница "Ожидающие изменения" появится для окончательной проверки перед публикацией. Затем выберите "Опубликовать все ", чтобы инициировать конфигурацию в среде Fabric. Этот процесс может занять некоторое время, особенно если изменения в библиотеке затрагиваются.
- Чтобы отменить процесс публикации, выберите "Просмотр хода выполнения " в баннере и "Отмена операции".
- Уведомление появляется после завершения публикации. Уведомление об ошибке возникает, если во время процесса возникли проблемы.
Ескерім
Среда принимает только одну публикацию за раз. Во время текущей публикации никакие дополнительные изменения не могут быть внесены в библиотеки или раздел вычислений Spark. Публикация не влияет на добавление, удаление или редактирование файлов и папок в разделе "Ресурсы ". Действия по управлению ресурсами находятся в режиме реального времени, публикация не блокирует изменения в разделе ресурсов.
Microsoft Fabric поддерживает общий доступ к элементу с различным уровнем разрешений.
При совместном использовании элемента среды получатели автоматически получают разрешение на чтение. С помощью этого разрешения они могут изучить конфигурации среды и подключить его к записным книжкам или заданиям Spark. Для плавного выполнения кода необходимо предоставить разрешения на чтение для подключенных сред при совместном использовании записных книжек и определений заданий Spark.
Кроме того, вы можете предоставить общий доступ к среде с разрешениями общего доступа и редактирования . Пользователи с разрешением общего доступа могут продолжать совместно использовать среду с другими пользователями. Между тем получатели с разрешением на изменение могут обновить содержимое среды.
Среда Microsoft Fabric может быть присоединена к рабочим областям Инжиниринг данных/Science или записным книжкам и определениям заданий Spark.
Маңызды
После выбора среды в качестве рабочей области по умолчанию только администраторы рабочих областей могут обновить содержимое среды по умолчанию.
Найдите вкладку среды, выбрав параметры рабочей области >Data Engineering/Science>Spark settings.
Администраторы рабочей области могут определить рабочую нагрузку по умолчанию для всей рабочей области. Значения, настроенные здесь, эффективны для записных книжек и определений заданий Spark, которые присоединяются к параметрам рабочей области .
Переключатель установки среды по умолчанию может улучшить пользовательский опыт. По умолчанию этот переключатель имеет значение Off. Если для рабочей области по умолчанию не требуется свойство Spark или библиотека по умолчанию, администраторы могут определить среду выполнения Spark в этом случае. Однако если администратор хочет подготовить вычислительные ресурсы и библиотеки Spark по умолчанию для рабочей области, он может переключиться на включено и легко подключить среду в качестве рабочей области по умолчанию. Этот параметр делает все конфигурации в среде эффективными в качестве параметров рабочей области.
Окружение доступно на вкладках "Записная книжка" и "Главная страница определения задания Spark". Присоединение к среде позволяет записным книжкам и определениям заданий Spark получать доступ к своим библиотекам, конфигурациям вычислений и ресурсам. Обозреватель перечисляет все доступные среды, включая те, которые предоставлены вам, из текущей рабочей области и из других рабочих областей, к которым у вас есть доступ.
Ескерім
Если переключиться на другую среду во время активного сеанса, вновь выбранная среда не вступит в силу до следующего сеанса. При присоединении среды из другой рабочей области обе рабочие области должны иметь одну емкость и параметры безопасности сети. Хотя вы можете выбрать среды из рабочих областей с разными емкостями или параметрами безопасности сети, сеанс не будет запущен. При присоединении среды из другой рабочей области конфигурация вычислений в этой среде игнорируется. Вместо этого по умолчанию будут использованы настройки пула и вычислений вашей текущей рабочей области.