Поделиться через

Среда выполнения 1.1

  • Статья

Среда выполнения Microsoft Fabric — это интегрированная с Azure платформа на основе Apache Spark, которая обеспечивает выполнение и управление Инжиниринг данных и Обработка и анализ данных интерфейсов в Fabric. В этом документе рассматриваются компоненты и версии среды выполнения Fabric 1.1.

Предупреждение

Дата окончания поддержки среды выполнения 1.1 была объявлена 12 июля 2024 г. Среда выполнения 1.1, основанная на Apache Spark 3.3, будет устарела и отключена с 31 марта 2025 г. Обновите рабочую область и среды до среды выполнения 1.2 или среды выполнения 1.3. Полный жизненный цикл и политики поддержки сред выполнения Apache Spark в Fabric см. в статье о жизненном цикле сред выполнения Apache Spark в Fabric.

Среда выполнения Microsoft Fabric 1.1 является одной из сред выполнения, предлагаемых на платформе Microsoft Fabric. Основные компоненты среды выполнения 1.1:

  • Apache Spark 3.3
  • Операционная система: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta Lake: 2.2
  • R: 4.2.2

Совет

Всегда используйте последнюю версию среды выполнения общедоступной версии для рабочей рабочей нагрузки, которая в настоящее время является средой выполнения 1.2.

Среда выполнения Microsoft Fabric 1.1 поставляется с коллекцией пакетов уровня по умолчанию, включая полную установку Anaconda и часто используемые библиотеки для Java/Scala, Python и R. Эти библиотеки автоматически включаются при использовании записных книжек или заданий на платформе Microsoft Fabric. Ознакомьтесь с документацией по полному списку библиотек.

Microsoft Fabric периодически выпускает обновления обслуживания для среды выполнения 1.1, предоставляя исправления ошибок, улучшения производительности и исправления системы безопасности. Обеспечение актуальности этих обновлений гарантирует оптимальную производительность и надежность задач обработки данных. Если вы используете среду выполнения 1.1, вы можете обновить до среды выполнения 1.2, перейдя к параметрам > рабочей области Инжиниринг данных / Параметры Spark для науки>.

Снимок экрана: выбор версии среды выполнения.

Новые функции и улучшения — Apache Spark 3.3.1

Прочитайте полную версию заметок о выпуске для конкретной версии Apache Spark, перейдя как в Spark 3.3.0, так и в Spark 3.3.1.

Новые возможности и улучшения — Delta Lake 2.2

Проверьте исходные и полные заметки о выпуске в Delta Lake 2.2.0.

Пакеты уровня по умолчанию для Java/Scala

Список всех пакетов уровня по умолчанию для Java, Scala, Python и их соответствующих версий см. в заметках о выпуске.

Миграция между различными версиями Apache Spark

Перенос рабочих нагрузок в Среду выполнения Fabric 1.1 (Apache Spark 3.3) из более старой версии Apache Spark включает ряд шагов для обеспечения плавной миграции. В этом руководстве описаны необходимые шаги для эффективной и эффективной миграции.

  1. Ознакомьтесь с заметками о выпуске Fabric Runtime 1.1, включая проверку компонентов и пакетов уровня по умолчанию, включенных в среду выполнения, чтобы понять новые функции и улучшения.

  2. Проверьте совместимость текущей установки и всех связанных библиотек, включая зависимости и интеграции. Просмотрите руководства по миграции, чтобы определить потенциальные критические изменения:

    • Ознакомьтесь с руководством по миграции Spark Core.
    • Ознакомьтесь с руководством по миграции SQL, наборов данных и кадра данных.
    • Если решение связано с потоковой передачей структуры Apache Spark, ознакомьтесь с руководством по миграции структурированной потоковой передачи.
    • Если вы используете PySpark, ознакомьтесь с руководством по миграции Pyspark.
    • Если вы переносите код из Koalas в PySpark, просмотрите api Koalas на pandas в руководстве по миграции Spark.

  3. Переместите рабочие нагрузки в Fabric и убедитесь, что у вас есть резервные копии данных и файлов конфигурации, если вам потребуется вернуться к предыдущей версии.

  4. Обновите все зависимости, которые могут повлиять на новые версии Apache Spark или других связанных компонентов среды выполнения Fabric 1.1, включая сторонние библиотеки или соединители. Перед развертыванием в рабочей среде обязательно протестируйте обновленные зависимости в промежуточной среде.

  5. Обновите конфигурацию Apache Spark в рабочей нагрузке, включая обновление параметров конфигурации, настройку выделения памяти и изменение устаревших конфигураций.

  6. Измените приложения Apache Spark (записные книжки и определения заданий Apache Spark), чтобы использовать новые API и функции, представленные в Среде выполнения Fabric 1.1 и Apache Spark 3.3. Возможно, потребуется обновить код, чтобы разместить устаревшие или удаленные API, а также рефакторинг приложений, чтобы воспользоваться преимуществами улучшения производительности и новых функций.

  7. Тщательно протестируйте обновленные приложения в промежуточной среде, чтобы обеспечить совместимость и стабильность с Apache Spark 3.3. Выполните тестирование производительности, функциональное тестирование и регрессию, чтобы определить и устранить все проблемы, которые могут возникнуть во время процесса миграции.

  8. После проверки приложений в промежуточной среде разверните обновленные приложения в рабочей среде. Отслеживайте производительность и стабильность приложений после миграции, чтобы определить все проблемы, которые необходимо устранить.

  9. Обновите внутреннюю документацию и учебные материалы, чтобы отразить изменения, внесенные в Среду выполнения Fabric 1.1. Убедитесь, что члены вашей команды знакомы с новыми функциями и улучшениями, чтобы максимально повысить преимущества миграции.

Связанный контент