Compartilhar via

Runtime 1.3 do Fabric

  • Artigo

O runtime do Fabric integra-se perfeitamente com o Azure. Ele fornece um ambiente sofisticado para projetos de engenharia de dados e de ciência de dados que usam o Apache Spark. Este artigo fornece uma visão geral dos recursos e componentes essenciais do Runtime 1.3 do Fabric, o mais novo runtime para cálculos de big data.

O Runtime 1.3 do Fabric incorpora os seguintes componentes e atualizações projetados para aprimorar seus recursos de processamento de dados:

  • Apache Spark 3.5
  • Sistema operacional: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.1
  • R: 4.3.3

Observação

O Runtime 1.3 do Fabric está atualmente em um estágio de versão prévia pública. Não há suporte para integrações com VSCode e mesclagem em ordem aleatória baixa na versão prévia pública.

Use as instruções a seguir para integrar o Runtime 1.3 no seu espaço de trabalho e usar seus novos recursos:

  1. Navegue até a guia Configurações do espaço de trabalho dentro do espaço de trabalho do Fabric.
  2. Acesse Engenharia/Ciência de Dados e selecione Configurações do Spark.
  3. Selecione a guia Ambiente.
  4. Na lista suspensa Versões do Runtime, selecione 1.3 Visualização pública (Spark 3.5, Delta 3.1) e salve suas alterações. Esta ação define o 1.3 como runtime padrão para seu espaço de trabalho.

Captura de tela mostrando onde selecionar a versão do runtime.

Agora você pode começar a trabalhar com as mais recentes melhorias e funcionalidades introduzidas no Runtime 1.3 do Fabric (Spark 3.5 e Delta Lake 3.1).

Dica

Para obter informações atualizadas, uma lista detalhada de alterações e as notas de versão específicas dos runtimes do Fabric, verifique e assine Versões e Atualizações de Runtimes do Spark.

Principais destaques

Apache Spark 3.5

Apache Spark 3.5.0 é a sexta versão da série 3.x. Esta versão é um produto de ampla colaboração dentro da comunidade de código aberto, tratando de mais de 1.300 problemas conforme registrados no Jira.

Nesta versão, há uma atualização na compatibilidade para streaming estruturado. Além disso, esta versão amplia a funcionalidade dentro do PySpark e SQL. Ele adiciona recursos como a cláusula de identificador SQL, argumentos nomeados em chamadas de função SQL e a inclusão de funções SQL para agregações aproximadas HyperLogLog. Outros recursos novos também incluem as funções de tabela definidas pelo usuário do Python, a simplificação do treinamento distribuído via DeepSpeed e novos recursos de streaming estruturado, como propagação de marca d'água e a operação dropDuplicatesWithinWatermark.

Você pode conferir a lista completa e as mudanças detalhadas aqui: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

O Delta Lake 3.1 marca um compromisso coletivo para tornar o Delta Lake interoperável em todos os formatos, mais fácil de trabalhar e mais eficiente. O Delta Spark 3.1.0 foi desenvolvido em cima do Apache Spark™ 3.5. O artefato maven do Delta Spark foi renomeado de delta-core para delta-spark.

Você pode conferir a lista completa e as mudanças detalhadas aqui: https://docs.delta.io/3.1.0/index.html.

Observação

Compartilhe seu feedback sobre o Runtime do Fabric na Plataforma de Ideias. Não deixe de mencionar a versão e o estágio do lançamento a que você está se referindo. Valorizamos o feedback da comunidade e priorizamos as melhorias com base em votos, para garantir que atendamos às necessidades dos usuários.

Conteúdo relacionado