Junio de 2020
Estas características y mejoras de la plataforma de Azure Databricks se publicaron en junio de 2020.
Nota:
Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana después de la fecha de lanzamiento inicial.
Databricks Connect admite Databricks Runtime 6.6
26 de junio de 2020
Databricks Connect admite Databricks Runtime 6.6
Disponibilidad general de Databricks Runtime 7.0 ML
22 de junio de 2020
Databricks Runtime 7.0 ML se basa en Databricks Runtime 7.0, e incluye las siguientes características nuevas:
- Bibliotecas de Python con ámbito de cuaderno y entornos personalizados administrados por los comandos conda y pip.
- Actualizaciones para los paquetes principales de Python, como tensorflow, tensorboard, pytorch, xgboost, sparkdl e hyperopt.
- Paquetes de Python recién agregados: lightgbm, nltk, petastorm y plotly.
- RStudio Server Open Source v1.2.
Para más información, consulte las notas completas de la versión de Databricks Runtime 7.0 ML (sin soporte técnico).
Disponibilidad general de Databricks Runtime 7.0, con tecnología Apache Spark 3.0
18 de junio de 2020
Databricks Runtime 7.0 funciona con Apache Spark 3.0 y ahora es compatible con Scala 2.12.
Spark 3.0 ofrece muchas características y mejoras adicionales, entre las que se incluyen:
- Ejecución de consultas adaptable, un marco flexible para realizar la ejecución adaptable en Spark SQL admite el cambio del número de reductores en tiempo de ejecución.
- UDF de Pandas rediseñadas con sugerencias de tipo.
- Interfaz de usuario web de flujo estructurado.
- Mejor compatibilidad con los estándares de SQL ANSI.
- Sugerencias de combinación.
Databricks Runtime 7.0 agrega:
- Se ha mejorado el cargador automático para procesar nuevos archivos de datos de forma incremental a medida que llegan a un almacén de blobs en la nube durante ETL.
- Se ha mejorado el comando COPY INTO para cargar datos en Delta Lake con reintentos idempotentes.
- Muchas mejoras, adiciones y actualizaciones de bibliotecas y correcciones de errores.
Para más información, vea las notas completas de la versión de Databricks Runtime 7.0 (sin soporte técnico).
Disponibilidad general de Databricks Runtime 7.0 para Genomics
18 de junio de 2020
Databricks Runtime 7.0 para Genomics se basa en Databricks Runtime 7.0, e incluye los siguientes cambios en las librerías:
- La biblioteca ADAM se ha actualizado de la versión 0.30.0 a la 0.32.0.
- La biblioteca Hail no se incluye en Databricks Runtime 7.0 para Genomics, porque no hay ninguna versión basada en Apache Spark 3.0.
Controles de acceso dependientes de la fase para modelos de MLflow
16-23 de junio de 2020: versión 3.22
Ahora puede asignar controles de acceso dependientes de la fase a usuarios o grupos, lo que les permite administrar los Modelos de MLflow registrados en el Registro de modelos de MLflow en la fase de ensayo o producción. Hemos introducido dos nuevos niveles de permisos, CAN MANAGE STAGING VERSIONS y CAN MANAGE PRODUCTION VERSIONS. Los usuarios con estos permisos pueden realizar transiciones entre las fases permitidas para el nivel.
Para obtener más información, consulte ACL de modelo de MLFlow.
Ya se puede deshabilitar el desplazamiento automático en los cuadernos
16-23 de junio de 2020: versión 3.22
Al ejecutar una celda de cuaderno mediante mayús+entrar, el comportamiento predeterminado del cuaderno es desplazarse automáticamente a la celda siguiente si la celda no está visible. Ahora puede deshabilitar el desplazamiento automático en el 
> Configuración de usuario > Configuración del editor. Si deshabilita el desplazamiento automático, con mayús+entrar, el foco se mueve a la celda siguiente, pero el cuaderno no se desplaza a esa celda.
Las direcciones IP de Metastore cambiarán el 30 de junio de 2020
11 de junio de 2020
El metastore predeterminado para Azure Databricks usa Azure Database for MySQL. Todas las direcciones IP de Azure Database for MySQL para metastores de Azure Databricks cambian el 30 de junio de 2020. Si tiene un área de trabajo de Azure Databricks implementada en su propia red virtual, la tabla de rutas para esa implementación puede incluir una dirección IP de metastore de Azure Databricks o una ruta a un firewall o un dispositivo proxy con una lista de acceso que incluya esa dirección. Si este es el caso, actualice las tablas de enrutamiento o los firewalls de Azure Databricks con las nuevas direcciones IP de MySQL antes del 30 de junio de 2020 para evitar interrupciones.
El soporte de Internet Explorer 11 finaliza el 15 de agosto
9 de junio de 2020
De acuerdo con las tendencias del sector y para garantizar una experiencia de usuario estable y coherente para nuestros clientes, Azure Databricks finalizará el soporte técnico para Internet Explorer 11 el 15 de agosto de 2020.
Finaliza la compatibilidad con la serie Databricks Runtime 6.2
3 de junio de 2020
La compatibilidad con Databricks Runtime 6.2, Databricks Runtime 6.6.22 para Machine Learning y Databricks Runtime 6.2 para Genomics finalizó el 3 de junio. Consulte Ciclo de vida del soporte técnico de Databricks Runtime.
Simplificación y control de la creación de clústeres mediante directivas de clúster (versión preliminar pública)
2-9 de junio de 2020: versión 3.21
Las directivas de clúster son plantillas de clúster reutilizables y definidas por el administrador que aplican reglas en los atributos del clúster y, por tanto, garantizan que los usuarios creen clústeres que se ajusten a esas reglas. Como administrador de Azure Databricks, ahora puede crear directivas de clúster y conceder permisos de directiva a los usuarios. Al hacerlo, tiene más control sobre los recursos creados, proporciona a los usuarios el nivel de flexibilidad que necesitan para realizar su trabajo y simplifica considerablemente la experiencia de creación del clúster.
Para más información, consulte Creación y administración de directivas de proceso.
El punto de conexión de SCIM Me ahora devuelve una respuesta compatible con SCIM
2-9 de junio de 2020: versión 3.21
El punto de conexión SCIM Me ahora devuelve la misma información que el punto de conexión /users/{id}, incluida información como grupos y derechos.
Consulte CurrentUser API.
Restricción del acceso a Azure Databricks mediante listas de acceso por IP (vista previa pública)
1 de junio de 2020
Las área de trabajo de Azure Databricks se pueden configurar ahora para que los usuarios se conecten al servicio a través únicamente de redes corporativas existentes con un perímetro seguro. Los administradores de Azure Databricks pueden usar la API de lista de acceso de IP para definir un conjunto de direcciones IP aprobadas, incluidas las listas de permitidas y bloqueadas. Todo el acceso entrante a la aplicación web y a las API de REST requiere que el usuario se conecte desde una dirección IP autorizada, lo que garantiza que no se puede acceder a las áreas de trabajo desde una red pública, como una cafetería o un aeropuerto, a menos que los usuarios usen VPN.
Esta característica requiere el plan Premium.
Para más información, consulte Configurar listas de acceso de IP para áreas de trabajo.