Agosto de 2022

Estas características y las mejoras de la plataforma Azure Databricks se publicaron en agosto de 2022.

Nota:

Las versiones se lanzan en fases. Es posible que su cuenta de Azure Databricks no se actualice hasta después de una semana o más de la fecha de lanzamiento inicial.

Los usuarios de la cuenta pueden acceder a la consola de la cuenta

Del 1 al 31 de agosto de 2022

Los usuarios de la cuenta pueden acceder a la consola de la cuenta de Azure Databricks para ver una lista de sus áreas de trabajo. Los usuarios de la cuenta solo pueden ver las áreas de trabajo a las que se les ha concedido acceso. Vea Administración de la cuenta de Azure Databricks.

Los usuarios de áreas de trabajo se sincronizan automáticamente con su cuenta como usuarios de la cuenta. Consulte ¿Cómo asignan los administradores usuarios a la cuenta?.

Controlador ODBC 2.6.26 de Databricks

29 de agosto de 2022

Se ha publicado la versión 2.6.26 del controlador ODBC de Databricks (descargar). Esta versión actualiza la compatibilidad con las consultas. Ahora puede cancelar las consultas de manera asincrónica en conexiones HTTP tras la solicitud de la API.

En esta versión también se resuelve el siguiente problemas:

• Cuando se usan consultas personalizadas en Spotfire, el conector deja de responder.

Controlador JDBC 2.6.29 de Databricks

29 de agosto de 2022

Hemos publicado la versión 2.6.29 del controlador JDBC de Databricks (descargar). En esta versión se resuelven los siguientes problemas:

• Cuando se usa un proxy HTTP con Cloud Fetch habilitado, el conector no devuelve resultados de grandes conjuntos de datos.
• Problemas de texto secundarios en el texto de licencia de Databricks. Faltaban vínculos de documentación.
• Los nombres de archivos JAR eran incorrectos. En lugar de SparkJDBC41.jar, debe haber sido DatabricksJDBC41.jar. En lugar de SparkJDBC42.jar, debe haber sido DatabricksJDBC42.jar.

El cliente del Almacén de características de Databricks ya está disponible en PyPI

26 de agosto de 2022

El cliente del Almacén de características ya está disponible en PyPI. El cliente requiere Databricks Runtime 9.1 LTS, o cualquier versión superior, y se puede instalar mediante:

%pip install databricks-feature-store

El cliente ya está empaquetado con Databricks Runtime para Machine Learning 9.1 LTS, y las versiones superiores.

El cliente no se puede ejecutar fuera de Databricks; sin embargo, puede instalarlo localmente no solo para que sirva de ayuda en las pruebas unitarias, sino también para obtener compatibilidad adicional con IDE (por ejemplo, autocompletar). Para más información, consulte Cliente Python para el Almacén de características de Databricks.

Unity Catalog está en disponibilidad general

25 de agosto de 2022

Unity Catalog está disponible con carácter general. Para obtener anuncios y limitaciones detallados de las características, consulte Disponibilidad general de Unity Catalog.

Delta Sharing está en disponibilidad general

25 de agosto de 2022

A partir de Databricks Runtime 11.1, Delta Sharing ya está disponible con carácter general. Para más información, consulte Uso compartido seguro de recursos de datos e inteligencia artificial mediante Delta Sharing.

• Databricks-to-Databricks Delta Sharing se administra completamente sin necesidad de intercambiar tokens.
• Cree y administre proveedores, destinatarios y recursos compartidos con una interfaz de usuario fácil de usar.
• Cree y administre proveedores, destinatarios y recursos compartidos con REST API y SQL API con compatibilidad completa con la CLI y Terraform.
• Consulte los cambios en los datos o comparta versiones incrementales con fuentes de distribución de datos modificados.
• Restrinja el acceso de los destinatarios a la descarga de archivos de credenciales o a la consulta de datos mediante listas de acceso IP y restricciones por región.
• El uso de Delta Sharing para compartir datos en la misma cuenta de Azure Databricks está habilitado de forma predeterminada.
• Aplique la separación de obligaciones mediante la delegación de la administración de Delta Sharing a no administradores.

Databricks Runtime 11.2 (versión beta)

23 de agosto de 2022

Ya están disponibles las versiones beta de Databricks Runtime 11.2, 11.2 Photon y 11.2 ML.

Consulte las notas completas de la versión en Databricks Runtime 11.2 (sin soporte técnico) y Databricks Runtime 11.2 para Machine Learning (sin soporte técnico).

Volumen de mensajes reducido en la interfaz de usuario de Delta Live Tables para canalizaciones continuas

22-29 de agosto de 2022: versión 3.79

Con esta versión, las transiciones de estado de las tablas dinámicas de una canalización continua de Delta Live Tables solo se muestran en la interfaz de usuario, hasta que las tablas entran en estado de ejecución. Las transiciones relacionadas con el recálculo correcto de las tablas no se muestran en la interfaz de usuario, pero están disponibles en el registro de eventos de Delta Live Tables en el nivel METRICS. Las transiciones a los estados de error se siguen mostrando en la interfaz de usuario. Anteriormente, todas las transiciones de estado se mostraban en la interfaz de usuario para las tablas dinámicas. Este cambio reduce el volumen de eventos de las canalizaciones que se muestran en la interfaz de usuario y facilita la búsqueda de mensajes importantes para las canalizaciones. Para más información sobre cómo consultar el registro de eventos, consulte ¿Qué es el registro de eventos de Delta Live Tables.

Configuración de clúster más sencilla para las canalizaciones de Delta Live Tables

22-29 de agosto de 2022: versión 3.79

Ahora puede seleccionar un modo de clúster, ya sea el escalado automático o el tamaño fijo, directamente en la interfaz de usuario de Delta Live Tables al crear una canalización. Anteriormente, la configuración de un clúster de escalado automático requería cambios en la configuración JSON de la canalización. Para obtener más información sobre cómo crear una canalización y la nueva configuración del modo de clúster, consulte Ejecución de una actualización en una canalización de Delta Live Tables.

Orquestación de tareas de dbt en flujos de trabajo de Databricks (versión preliminar pública)

22-29 de agosto de 2022: versión 3.79

Puede ejecutar el proyecto principal de dbt como una tarea en un trabajo de Azure Databricks con la nueva tarea de dbt, lo que le permite incluir las transformaciones de dbt en un flujo de trabajo de procesamiento de datos. Por ejemplo, el flujo de trabajo puede ingerir datos con Auto Loader, transformar los datos con dbt y analizar los datos con una tarea de cuaderno. Para más información sobre la tarea de dbt, incluido un ejemplo, consulte Uso de transformaciones de dbt en un trabajo de Azure Databricks. Para más información sobre cómo crear, ejecutar y programar un flujo de trabajo que incluya una tarea de dbt, consulte Creación y ejecución de trabajos de Azure Databricks.

La federación de identidades está en disponibilidad general

25 de agosto de 2022

La federación de identidades simplifica la administración de Azure Databricks, ya que permitir asignar usuarios de nivel de cuenta, entidades de servicio y grupos a áreas de trabajo federadas por identidades. Ahora puede configurar y administrar todos los usuarios, entidades de servicio y grupos una vez en la consola de la cuenta, en lugar de repetir la configuración por separado en cada área de trabajo. Para más información sobre la federación de identidades, consulte ¿Cómo asignan los administradores usuarios a áreas de trabajo? Para empezar, consulte ¿Cómo habilitan los administradores la federación de identidades en un área de trabajo?

Partner Connect admite la conexión a Stardog

24 de agosto de 2022

Ahora puede crear fácilmente una conexión entre Stardog y el área de trabajo de Azure Databricks mediante Partner Connect. Stardog proporciona una plataforma de grafos de conocimiento para responder a consultas complejas en los silos de datos.

Integración del Almacén de características de Databricks con Inferencia en tiempo real sin servidor

22-29 de agosto de 2022: versión 3.79

El Almacén de características de Databricks ahora admite la búsqueda automática de características para la inferencia en tiempo real sin servidor. Para obtener más información, consulte Búsqueda automática de características con modelos de MLflow en Databricks.

Compatibilidad con tipos de datos adicionales para la búsqueda automática de características de Databricks Feature Store

22-29 de agosto de 2022: versión 3.79

El Almacén de características de Databricks ahora admite BooleanType para la búsqueda automática de características. Consulte Búsqueda automática de características con modelos de MLflow en Databricks.

Traiga su propia clave: cifrado de credenciales de Git

Del 23 al 29 de agosto de 2022

Puede usar una clave de cifrado para las credenciales de Git para los repositorios de Databricks.

Consulte Traiga su propia clave: cifrado de credenciales de Git.

La vista previa y el modo de acceso de la interfaz de usuario del clúster reemplazan al modo de seguridad

19 de agosto de 2022

La nueva interfaz de usuario de creación de clústeres está en versión preliminar. Consulte Referencia de configuración de proceso.

Limitaciones de Unity Catalog (versión preliminar pública)

16 de agosto de 2022

• Scala, R y cargas de trabajo que usan Machine Learning Runtime solo se admiten en clústeres mediante el modo de acceso de usuario único. Las cargas de trabajo de estos lenguajes no admiten el uso de vistas dinámicas para la seguridad en el nivel de fila o de columna.
• No se admiten clones poco profundos al usar Unity Catalog como origen o destino del clon.
• No se admite la creación de cubos para las tablas Unity Catalog. Los comandos que intenten crear una tabla en cubos en Unity Catalog producirán una excepción.
• El modo de sobrescritura para las operaciones de escritura de DataFrame en Unity Catalog solo es compatible con las tablas Delta, no con otros formatos de archivo. Además, el usuario debe tener el privilegio CREATE en el esquema primario y debe ser el propietario del objeto existente.
• Actualmente, el streaming tiene las siguientes limitaciones:
  • No se admite en clústeres mediante el modo de acceso compartido. En el caso de las cargas de trabajo de streaming, debes usar el modo de acceso de usuario único.
  • Todavía no se admite la creación de puntos de control asincrónicos.
  • Las consultas de streaming que duren más de 30 días en todos los propósitos o los clústeres de trabajos producirán una excepción. Para las consultas de streaming de larga duración, configura los reintentos de trabajo automáticos.
• Actualmente no se admite la referencia a tablas de Unity Catalog desde canalizaciones de Delta Live Tables.
• Los grupos creados anteriormente en un área de trabajo no se pueden usar en instrucciones GRANT del catálogo de Unity. Esto es para garantizar una vista coherente de los grupos que pueden abarcar áreas de trabajo. Para usar grupos en instrucciones GRANT, cree los grupos en la consola de la cuenta y actualice cualquier automatización para la administración de entidades de seguridad o grupos (como los conectores SCIM, Okta y Microsoft Entra ID y Terraform) para hacer referencia a los puntos de conexión de cuenta en lugar de a los puntos de conexión del área de trabajo.

Unity Catalog está disponible en las regiones siguientes:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Para usar Unity Catalog en otra región, ponte en contacto con el equipo de la cuenta.

Inferencia en tiempo real sin servidor en versión preliminar pública

16 de agosto de 2022

La inferencia en tiempo real sin servidor procesa los modelos de Machine Learning mediante MLflow y los expone como puntos de conexión de la API REST. Esta funcionalidad usa el proceso sin servidor, lo que significa que los puntos de conexión y los recursos de proceso asociados se administran y se ejecutan en la cuenta en la nube de Azure Databricks. Los costos de uso y almacenamiento en los que se incurra actualmente son gratuitos, pero Azure Databricks avisará cuando se empiece a cobrar.

Los administradores del área de trabajo deben habilitar la inferencia en tiempo real sin servidor en el área de trabajo para usar esta característica.

Para obtener más información, vea Model serving with Serverless Real-Time Inference (Servicio de modelos con inferencia de Real-Time sin servidor). Para participar en la vista previa pública de Serverless Real-Time Inference, póngase en contacto con su equipo de cuenta de Azure Databricks.

La búsqueda mejorada del área de trabajo ahora tiene disponibilidad general

9 de agosto de 2022

Ahora puede buscar cuadernos, bibliotecas, carpetas, archivos y repositorios por nombre. También puede buscar contenido en un cuaderno y obtener una vista previa del contenido coincidente. Los resultados de la búsqueda se pueden filtrar por tipo. Consulte Búsqueda de objetos del área de trabajo.

Uso de columnas generadas al crear conjuntos de datos de Delta Live Tables

Del 8 al 15 de agosto de 2022: versión 3.78

Ahora puede usar columnas generadas al definir tablas en las canalizaciones de Delta Live Tables. Las columnas generadas son compatibles con las interfaces de Python y SQL de Delta Live Tables.

Edición mejorada para cuadernos con editor basado en Mónaco (Experimental)

Del 8 al 15 de agosto de 2022

Hay disponible un nuevo editor de código basado en Monaco para cuadernos de Python. Para habilitarlo, active la opción Activar el nuevo editor de cuadernos en la pestaña Configuración del editor de la página Configuración de usuario.

El nuevo editor incluye sugerencias de tipos de parámetros, inspección de objetos al pasar el ratón por encima, plegado de código, compatibilidad con varios cursores, selección de columnas (cuadros) y diferencias en paralelo en el historial de versiones de cuadernos.

Fin del soporte técnico de la serie 10.3 de Databricks Runtime

2 de agosto de 2022

El soporte para Databricks Runtime 10.3 y Databricks Runtime 10.3 para Machine Learning finalizó el 2 de agosto. Consulte Ciclo de vida del soporte técnico de Databricks Runtime.

Habilitación de la conectividad privada con Azure Private Link (Versión preliminar pública)

2 de agosto de 2022

Azure Databricks ya permite habilitar las conexiones de conectividad privada de Azure Private Link entre los usuarios y sus áreas de trabajo de Azure Databricks, así como entre clústeres en el plano de proceso y los servicios principales del plano de control dentro de la infraestructura del área de trabajo de Databricks. Azure Private Link se conecta directamente a los servicios sin exponer el tráfico en la red pública. Esta característica está disponible como Versión preliminar pública. Consulte Habilitar conexiones de back-end y front-end de Azure Private Link.

Habilitación de almacenes de SQL sin servidor para el área de trabajo (versión preliminar pública)

2 de agosto de 2022

Los almacenes de SQL sin servidor ya están disponibles para cuentas y áreas de trabajo en Azure Databricks como Versión preliminar pública. Esta característica requiere el plan de tarifa Premium. Antes de crear almacenes de SQL sin servidor, un administrador debe habilitarlos para el área de trabajo.

Delta Live Tables ahora admite actualizar solo las tablas seleccionadas en las actualizaciones de canalización

2-24 de agosto de 2022

Ya puede iniciar una actualización solo para las tablas seleccionadas en una canalización de Delta Live Tables. Esta característica acelera las pruebas de las canalizaciones y la resolución de errores al permitirle iniciar una actualización de canalización que actualiza solo las tablas seleccionadas. Para obtener información sobre cómo iniciar una actualización de solo las tablas seleccionadas, consulte Ejecución de una actualización en una canalización de Delta Live Tables.

La ejecución del trabajo espera ahora a que las bibliotecas de clúster terminen de instalarse

1 de agosto de 2022

Cuando se inicia un clúster, los trabajos de Databricks ahora esperan a que las bibliotecas de clúster finalicen la instalación antes de ejecutarse. Anteriormente, las ejecuciones de trabajos esperarían a que las bibliotecas se instalaran en clústeres de uso completo solo si se especificaran como una biblioteca dependiente para el trabajo. Para obtener más información sobre cómo configurar bibliotecas dependientes para trabajos, vea Configuración de bibliotecas dependientes.