Tempo de execução do Fabric 1.1 (EOSA)
O Microsoft Fabric Runtime é uma plataforma integrada ao Azure baseada no Apache Spark que permite a execução e o gerenciamento de experiências de Engenharia de Dados e Ciência de Dados no Fabric. Este documento aborda os componentes e versões do Fabric Runtime 1.1.
Aviso
A data de fim do suporte para o Runtime 1.1 foi anunciada como 12 de julho de 2024. O Runtime 1.1, baseado no Apache Spark 3.3, será preterido e desabilitado a partir de 31 de março de 2025. Atualize seu espaço de trabalho e ambientes para o Runtime 1.2 ou Runtime 1.3. Para o ciclo de vida completo e as políticas de suporte dos runtimes no Fabric, consulte Ciclo de vida dos runtimes do Apache Spark no Fabric.
O Microsoft Fabric Runtime 1.1 é um dos runtimes oferecidos na plataforma Microsoft Fabric. Os principais componentes do Runtime 1.1 são:
- Apache Spark 3.3
- Atualização do Sistema Operacional: Ubuntu 18.04
- Java: 1.8.0_282
- Scala: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Dica
Sempre use a versão de tempo de execução GA mais recente para sua carga de trabalho de produção, que atualmente é o Tempo de execução 1.3.
O Microsoft Fabric Runtime 1.1 vem com uma coleção de pacotes de nível padrão, incluindo uma instalação completa do Anaconda e bibliotecas comumente usadas para Java/Scala, Python e R. Essas bibliotecas são incluídas automaticamente ao usar notebooks ou trabalhos na plataforma do Microsoft Fabric. Consulte a documentação para obter uma lista completa de bibliotecas.
O Microsoft Fabric lança periodicamente atualizações de manutenção para o Runtime 1.1, fornecendo correções de bugs, aprimoramentos de desempenho e patches de segurança. Manter-se atualizado com essas atualizações garante desempenho e confiabilidade ideais para suas tarefas de processamento de dados. Se você estiver usando o Runtime 1.1, poderá atualizar para o Runtime 1.3 ou para o Runtime 1.2 navegando até Configurações > do espaço de trabalho Engenharia de dados/Ambiente de configurações > do Science > Spark.
Novos recursos e melhorias – Apache Spark 3.3.1
Leia a versão completa das notas sobre a versão de uma versão específica do Apache Spark visitando Spark 3.3.0 e Spark 3.3.1.
Novos recursos e melhorias – Delta Lake 2.2
Verifique o código fonte e as notas sobre a versão completas em Delta Lake 2.2.0.
Pacotes de nível padrão para Java/Scala
Para obter uma lista de todos os pacotes de nível padrão para Java, Scala, Python e suas respectivas versões, confira as notas sobre a versão.
Migração entre diferentes versões do Apache Spark
Migrar suas cargas de trabalho para o Fabric Runtime 1.1 (Apache Spark 3.3) de uma versão mais antiga do Apache Spark envolve uma série de etapas para garantir uma migração tranquila. Esse guia descreve as etapas necessárias para ajudá-lo a migrar de forma eficiente e eficaz.
Examine as notas de versão do Fabric Runtime 1.1, incluindo a verificação dos componentes e pacotes de nível padrão incluídos no runtime, para entender os novos recursos e melhorias.
Verifique a compatibilidade da configuração atual e de todas as bibliotecas relacionadas, incluindo dependências e integrações. Examine os guias de migração para identificar possíveis alterações interruptivas:
- Revise o Guia de migração do Spark Core.
- Revise o Guia de migração de SQL, Conjuntos de Dados e DataFrame.
- Se sua solução estiver relacionada ao Streaming de Estrutura do Apache Spark, revise o Guia de migração de Streaming Estruturado.
- Se você usar o PySpark, revise o Guia de migração do PySpark.
- Se você migrar o código do Koalas para o PySpark, revise o Guia de migração do Koalas para a API do Pandas no Spark.
Mova suas cargas de trabalho para o Fabric e verifique se você tem backups de seus dados e arquivos de configuração caso precise reverter para a versão anterior.
Atualize as dependências que a nova versão do Apache Spark ou de outros componentes relacionados ao Fabric Runtime 1.1 possa afetar, incluindo bibliotecas ou conectores de terceiros. Certifique-se de testar as dependências atualizadas em um ambiente de preparo antes de implantar na produção.
Atualize a Configuração do Apache Spark em sua carga de trabalho, incluindo a atualização das definições de configuração, o ajuste das alocações de memória e a modificação de configurações preteridas.
Modifique seus aplicativos Apache Spark (notebooks e definições de trabalhos do Apache Spark) para usar as novas APIs e recursos introduzidos no Fabric Runtime 1.1 e no Apache Spark 3.3. Você pode precisar da atualização do código para acomodar as APIs preteridas ou removidas e a refatoração de seus aplicativos para aproveitar as melhorias de desempenho e as novas funcionalidades.
Teste minuciosamente seus aplicativos atualizados em um ambiente de preparo para garantir a compatibilidade e a estabilidade com o Apache Spark 3.3. Execute testes de desempenho, testes funcionais e testes de regressão para identificar e resolver quaisquer problemas que possam surgir durante o processo de migração.
Depois de validar seus aplicativos em um ambiente de preparo, implante os aplicativos atualizados em seu ambiente de produção. Monitore o desempenho e a estabilidade de seus aplicativos após a migração para identificar quaisquer problemas que precisem ser resolvidos.
Atualize a documentação interna e os materiais de treinamento para refletir as alterações introduzidas no Fabric Runtime 1.1. Verifique se os membros da equipe estão familiarizados com os novos recursos e melhorias para maximizar os benefícios da migração.