Жизненный цикл сред выполнения Apache Spark в Fabric

Fabric Runtime — это платформа, интегрированная в Azure, основанная на Apache Spark. Это упрощает выполнение и управление рабочими процессами инженерии и обработки и анализа данных. Он синтезирует основные элементы как из собственных, так и ресурсов с открытым исходным кодом, чтобы предложить комплексное решение. Для краткости обратитесь к Fabric Runtime, работающему на базе Apache Spark, просто как Fabric Runtime.

Note

В этой статье рассматривается жизненный цикл времени работы Apache Spark. Он не охватывает ядра блокнотов Python, которые проходят отдельный жизненный цикл. Сведения о жизненном цикле ядра ноутбука Python см. в разделе Среда выполнения и жизненный цикл ядра ноутбука Python в Fabric.

Ритмичность выпуска

Apache Spark обычно выпускает минорные версии каждые шесть-девять месяцев. Команда Fabric Spark стремится быстро выпускать новые версии runtime, обеспечивая при этом высочайшее качество, интеграцию и непрерывную поддержку. Каждая версия состоит из около 110 компонентов. По мере расширения времени выполнения за пределы Apache Spark команда обеспечивает бесшовную интеграцию в экосистему Azure.

Стремясь к совершенству, команда с осторожностью подходит к новым предварительным выпускам среды выполнения. Они планируют провести экспериментальный превью примерно через три месяца, но в итоге устанавливают сроки индивидуально. Этот подход включает оценку критически важных компонентов каждой версии Spark, включая Java, Scala, Python, R и Delta Lake. После тщательной оценки команда создаёт подробную хронологию, описывающую доступность и развитие времени выполнения на различных этапах. В целом, цель — установить стандартный жизненный цикл для Fabric runtime для Apache Spark.

Совет

Всегда используйте самую свежую, GA runtime версию для вашей производственной нагрузки, которая сейчас называется Runtime 2.0.

В следующей таблице приведены имя среды выполнения и даты выпуска поддерживаемых релизов среды выполнения Azure Synapse.

Имя среды выполнения Этап выпуска Дата окончания поддержки:
Среда выполнения 2.0 на основе Apache Spark 4.1 Общедоступная версия 31 августа 2028 года
Среда выполнения 1.3 на основе Apache Spark 3.5 Общедоступная версия 30 сентября 2026**

** Runtime 1.3 входит в режим долгосрочной поддержки (LTS) 1 октября 2026 года на шесть месяцев, продлевая поддержку до марта 2027 года.

Схема жизненного цикла среды выполнения в Fabric.

Схема описывает жизненный цикл версии среды выполнения из экспериментальной общедоступной предварительной версии до ее отмены и удаления.

Этап Описание Типичный жизненный цикл
Экспериментальная общедоступная предварительная версия Этап экспериментальной общедоступной предварительной версии обозначает начальный выпуск новой версии среды выполнения. На этом этапе пользователям рекомендуется экспериментировать с последними версиями Apache Spark и Delta Lake и предоставлять отзывы, несмотря на наличие задокументированных ограничений. Применяются условия предварительной версии Microsoft Azure. См. Условия использования – предварительный просмотр. 2-3 месяца*
Общедоступная предварительная версия После дальнейших улучшений и сведения ограничений к минимуму среда выполнения переходит на этап предварительной версии. Применяются условия предварительной версии Microsoft Azure. См. Условия использования – предварительный просмотр. 3 месяца*
Общая доступность (GA) После того как версия среды выполнения соответствует критериям общедоступной доступности, она будет выпущена для общественности и подходит для рабочих нагрузок. Чтобы достичь этого этапа, среда выполнения должна соответствовать строгим требованиям с точки зрения производительности, интеграции с платформой, оценкой надежности и ее способностью соответствовать потребностям пользователей. 24 месяца
Долгосрочная поддержка (LTS) После выпуска в общую доступность (GA) среда выполнения может перейти на этап долгосрочной поддержки (LTS) в зависимости от конкретных требований версии Spark. Этот этап LTS может быть анонсирован, подробно описывающий ожидаемую продолжительность поддержки для клиентов, которая обычно составляет дополнительный год полной поддержки. 12 месяцев*
Дата окончания поддержки объявлена Когда runtime достигает конца своей поддержки, он не получает никаких дополнительных обновлений или поддержки. Как правило, перед прекращением использования среды выполнения будет дано уведомление за шесть месяцев. Эта дата окончания поддержки задокументирована путем обновления определенной таблицы с датой окончания срока действия, которая отмечает прекращение поддержки. 6 месяцев до дня устаревания
Дата окончания поддержки. Неподдерживаемые и устаревшие среды выполнения После наступления ранее объявленной даты окончания поддержки исполняемая среда становится официально неподдерживаемой. Это изменение означает, что система не получает никаких обновлений или исправлений ошибок, а команда не предоставляет официальной поддержки. Система автоматически закрывает все обращения в службу поддержки. Использование неподдерживаемого runtime — это на ваш страх и риск. Среда выполнения удалена из настроек рабочей области Fabric и элемента «Среда», из-за чего её нельзя использовать на уровне рабочей области. Кроме того, эта среда выполнения также удалена из окружений, и возможность создать новое окружение для этой версии среды выполнения отсутствует. Существующие задания Spark, работающие на существующих средах, не могут запускаться. Н/П
Удалена среда выполнения Когда среда выполнения достигнет неподдерживаемого этапа, все среды, использующие эту среду выполнения, удаляются. Все компоненты, связанные с серверной частью, связанные с этой средой выполнения, также удаляются. Через несколько дней после окончания срока поддержки

* Ожидаемая длительность выполнения для каждого этапа. Эти временные шкалы предоставляются в качестве примера и могут отличаться в зависимости от различных факторов. Временные шкалы жизненного цикла могут изменяться по усмотрению Майкрософт.

Управление версиями

Нумерация версий среды выполнения, тесно связанная с семантическим версионированием, исследует несколько иной подход. Основная версия среды выполнения соответствует основной версии Apache Spark. Поэтому среда выполнения 1 соответствует Spark версии 3. Аналогично Runtime 2 совместима со Spark 4.1. Важно отметить, что между текущими временами выполнения могут происходить изменения, включая добавление или удаление различных библиотек. Кроме того, наша платформа предлагает функцию управления библиотеками , которая позволяет пользователям устанавливать все нужные библиотеки.

Связанный контент

  • Last updated on