Noviembre de 2018

  • Artículo

Estas características y mejoras de la plataforma de Azure Databricks se publicaron en noviembre de 2018.

Nota:

Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana después de la fecha de lanzamiento inicial.

UI de la biblioteca

Importante

Esta actualización se revirtió el 7 de diciembre de 2018.

Del 27 de noviembre al 4 de diciembre de 2018: versión 2.85

En esta versión, la UI de la biblioteca se ha mejorado significativamente.

La UI de Azure Databricks ahora admite bibliotecas de área de trabajo y bibliotecas con clúster asociado. Existe una biblioteca de áreas de trabajo en el área de trabajo, y se puede asociar a uno o varios clústeres. Una biblioteca asociada al clúster es una biblioteca que solo existe en el contexto del clúster al que está asociada. Además:

  • Ahora puede crear una biblioteca a partir de un archivo cargado en el almacenamiento de objetos.
  • Ahora puede asociar y desasociar bibliotecas desde la página de detalles de la biblioteca y la pestaña Bibliotecas de un clúster.
  • Las bibliotecas instaladas mediante la API ahora se muestran en la pestaña Bibliotecas de un clúster.

Habilitación de la configuración personalizada de memoria del montón de Spark

Del 27 de noviembre al 4 de diciembre de 2018: versión 2.85

La siguiente configuración de memoria de Spark ahora tiene efecto:

  • spark.executor.memory
  • spark.driver.memory

Importante

  • Azure Databricks tiene servicios que se ejecutan en cada nodo, por lo que la memoria máxima permitida para Spark es menor que la capacidad de memoria de la VM notificada por el proveedor de nube. Si desea proporcionar a Spark la cantidad máxima de memoria del montón para el ejecutor o el controlador, no especifique spark.executor.memory ni spark.driver.memory respectivamente.
  • Algunas configuraciones de clúster que antes no eran válidas, pero se omitían, pueden producir errores en el clúster.

Expulsión de trabajos y contextos en ejecución inactiva

Del 27 de noviembre al 4 de diciembre de 2018: versión 2.85

Los trabajos ahora expulsan automáticamente los contextos de ejecución inactivos. Consulte Contextos de ejecución de los cuadernos de Databricks. Para minimizar la expulsión automática, Azure Databricks recomienda usar clústeres diferentes para trabajos y cargas de trabajo interactivas.

Lanzamiento de Databricks Runtime 5.0 para Machine Learning (versión beta)

19 de noviembre de 2018

Databricks Runtime 5.0 ML (beta) proporciona un entorno listo para usar, para el aprendizaje automático y la ciencia de datos. Contiene varias bibliotecas populares, como TensorFlow, Keras y XGBoost. También admite el entrenamiento distribuido de TensorFlow mediante Horovod. Databricks Runtime 5.0 ML se basa en Databricks Runtime 5.0. Databricks Runtime 5.0 ML incluye las siguientes características nuevas:

Consulte las notas completas de la versión para Databricks Runtime 5.0 ML (sin soporte técnico).

Lanzamiento de Databricks Runtime 5.0

8 de noviembre de 2018

Databricks Runtime 5.0 ya está disponible. Databricks Runtime 5.0 incluye Apache Spark 2.4.0, nuevas características y actualizaciones de Delta Lake y Structured Streaming, y bibliotecas actualizadas de Python, R, Java y Scala. Para más información, consulte Databricks Runtime 5.0 (sin soporte técnico).

En Databricks Runtime 5.0, Azure Databricks ahora expulsa los contextos de ejecución inactivos, una vez que un clúster ha alcanzado el límite máximo de contexto (145). Consulte Contextos de ejecución de los cuadernos de Databricks.

Compatibilidad con displayHTML para carga sin restricciones de contenido de terceros

Del 6 al 13 de noviembre de 2018: versión 2.84

Anteriormente, al espacio aislado de iframe displayHTML le faltaba el atributo allow-same-origin. Esto significaba que el iframe tenía un origen nulo, que no era descriptivo para las solicitudes XHR entre orígenes, las cookies o el acceso a iframes insertados. Con esta versión, el iframe displayHTML se sirve desde un nuevo dominio, databricksusercontent.com, y el espacio aislado de iframe ahora incluye el atributo allow-same-origin.

No es necesario cambiar el uso de displayHTML si ya funciona.

Tiene que ser capaz de acceder a la dirección databricksusercontent.com desde el explorador. Si actualmente está bloqueada por la red corporativa, el equipo de informática deberá incluirla en la lista de permitidos.