Compartir a través de

Fabric Runtime 1.3 (versión preliminar pública)

  • Artículo

El entorno de ejecución de Fabric ofrece una integración completa con Azure. Proporciona un entorno sofisticado para proyectos de ingeniería de datos y ciencia de datos que usan Apache Spark. En este artículo se proporciona información general sobre las características y componentes esenciales Fabric Runtime 1.3, el entorno de ejecución más reciente para los cálculos de macrodatos.

Fabric Runtime 1.3 incorpora los siguientes componentes y actualizaciones diseñados para mejorar las funcionalidades de procesamiento de datos:

  • Apache Spark 3.5
  • Sistema operativo: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.1
  • R: 4.3.3

Nota:

Fabric Runtime 1.3 se encuentra actualmente en una versión preliminar pública. Las integraciones con VSCode y Combinación de orden aleatorio bajo no se admiten en la versión preliminar pública.

Sigue estas instrucciones para integrar tiempo de ejecución 1.3 en el área de trabajo y usa sus nuevas características:

  1. Ve a la pestaña Configuración del área de trabajo dentro de tu espacio de trabajo de Fabric.
  2. Ve a la pestaña Ingeniería de datos/ciencia y selecciona Configuración de Spark.
  3. Seleccione la pestaña Entorno.
  4. En la lista desplegable Versiones en tiempo de ejecución, selecciona 1.3 Public Preview (Spark 3.5, Delta 3.1) y guarda los cambios. Esta acción establece la versión 1.3 como tiempo de ejecución predeterminado para el área de trabajo.

Captura de pantalla que muestra dónde seleccionar la versión de runtime.

Ahora puede empezar a trabajar con las mejoras y funcionalidades más recientes introducidas en Fabric Runtime 1.3 (Spark 3.5 y Delta Lake 3.1).

Sugerencia

Para obtener información actualizada, una lista detallada de cambios y notas de la versión específicas de los entornos de ejecución de Fabric, comprueba y suscríbete a Versiones y actualizaciones de Spark Runtimes.

Aspectos destacados

Apache Spark 3.5

Apache Spark 3.5.0 es la sexta versión de la serie 3.x. Esta versión es un producto de una amplia colaboración dentro de la comunidad de código abierto, que aborda más de 1300 problemas, tal como se registra en Jira.

En esta versión, hay una actualización en compatibilidad para el flujo estructurado. Además, esta versión amplía la funcionalidad en PySpark y SQL. Agrega características como la cláusula de identificador SQL, los argumentos con nombre en las llamadas a funciones SQL y la inclusión de funciones SQL para agregaciones aproximadas de HyperLogLog. Otras nuevas funcionalidades también incluyen funciones de tabla definidas por el usuario de Python, la simplificación del entrenamiento distribuido a través de DeepSpeed y nuevas funcionalidades de flujo estructurado, como la propagación de marcas de agua y la operación dropDuplicatesWithinWatermark.

Puedes consultar la lista completa y los cambios detallados aquí: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.1 marca un compromiso colectivo de hacer que Delta Lake sea interoperable entre formatos, más fácil de usar y más eficaz. Delta Spark 3.1.0 se basa en Apache Spark™ 3.5. Se ha cambiado el nombre del artefacto maven de Delta Spark de delta-core a delta-spark.

Puedes consultar la lista completa y los cambios detallados aquí: https://docs.delta.io/3.1.0/index.html.

Nota:

Comparte tus comentarios sobre Fabric Runtime en la plataforma Ideas. Asegúrate de mencionar la versión y la fase de lanzamiento a la que haces referencia. Valoramos los comentarios de la comunidad y priorizamos las mejoras en función de los votos, para asegurarnos de satisfacer las necesidades del usuario.

Contenido relacionado