Agosto de 2023
Estas características y las mejoras de la plataforma Azure Databricks se publicaron en agosto de 2023.
Nota:
Las versiones se publican por fases. Es posible que su área de trabajo de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.
Las tablas ahora aparecen en la búsqueda de navegación
31 de agosto de 2023
Las tablas registradas en Unity Catalog ahora aparecen en la búsqueda de navegación en la barra superior. Consulte Búsqueda de objetos del área de trabajo.
CLI de Databricks actualizada a la versión 0.203.3 (versión preliminar pública)
30 de agosto de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.203.3. Para obtener información más detallada, consulte los registros de cambios para la versión 0.203.3.
Controlador JDBC 2.6.34 de Databricks
30 de agosto de 2023
S ha publicado la versión 2.6.34 del controlador JDBC de Databricks (descargar). Esta versión soluciona una serie de problemas de vulnerabilidad mediante la actualización de bibliotecas de terceros. Además, en esta versión se resuelven los siguientes problemas:
- Pérdida de subprocesos cuando una consulta no se puede conectar al servidor.
- Faltan comentarios en la columna
REMARKSde los metadatos de la tabla. - Cuando una operación de cierre del conjunto de resultados devuelve un error, el conector no limpia las entradas del manipulador de operación del subproceso de latido.
La versión también mejora el control de mensajes de error al respetar SQLState y los códigos de error del servidor. Además comprueba la versión del protocolo de servidor correctamente.
SDK de Databricks para Go actualizado a la versión 0.18.0 (beta)
29 de agosto de 2023
El SDK de Databricks para Go, versión 0.18.0, presenta 17 cambios importantes en la API, agrega 30 API y añade alrededor de una docena de campos. Para obtener información más detallada, consulte los registros de cambios para la versión 0.18.0.
SDK de Databricks para Python actualizado a la versión 0.7.0 (beta)
29 de agosto de 2023
El SDK de Databricks para Python versión 0.7.0 presenta un cambio importante para la API de archivos, así como 17 cambios importantes adicionales. Esta versión también agrega 14 campos y 27 clases de datos. Para obtener información más detallada, consulte los registros de cambios para la versión 0.7.0.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.24.1
29 de agosto de 2023
La versión 1.24.1 del proveedor de Terraform de Databricks incluye una corrección para comprobar la accesibilidad del área de trabajo. Para obtener información más detallada, consulte los registros de cambios para la versión 1.24.1.
Scripts de inicialización en DBFS de fin de ciclo de vida extendido al 1 de dic de 2023
29 de agosto de 2023
Databricks anunció anteriormente que los scripts de inicialización en DBFS llegarían al final del ciclo de vida el 1 de septiembre de 2023. La fecha de finalización de la vida se ha ampliado al 1 de diciembre de 2023.
Databricks Runtime 14.0 (versión beta)
29 de agosto de 2023
Databricks Runtime 14.0 y Databricks Runtime 14.0 ML ahora están disponibles como versiones Beta.
Consulte Databricks Runtime 14.0 y Databricks Runtime 14.0 para Machine Learning.
La experiencia de navegación unificada está disponible de forma general
28 de agosto de 2023
La experiencia de navegación unificada de Azure Databricks ahora está disponible con carácter general. Los usuarios ya no pueden revertir a la experiencia de navegación clásica. Para más información, vea Exploración del área de trabajo.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.24.0
25 de agosto de 2023
La versión 1.24.0 del proveedor de Terraform de Databricks agrega compatibilidad con la API de nivel de cuenta para objetos de Unity Catalog, agrega acl_principal_id a varios orígenes de datos, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 1.24.0.
La configuración de Databricks Runtime para Genomics se ha quitado de la página de configuración del administrador del área de trabajo
25 de agosto de 2023
Los administradores del área de trabajo ya no pueden habilitar o deshabilitar Databricks Runtime para Genomics desde la página de configuración del área de trabajo o la API de configuración del área de trabajo. Databricks Genomics Runtime está en desuso y Databricks Runtime for Genomics dejó de ser compatible el 24 de septiembre de 2022.
El entorno de ejecución de Genomics de Databricks está en desuso. Para obtener equivalentes de código abierto, vea repositorios para genomics-pipelines y Glow. Las bibliotecas de bioinformática que formaban parte del entorno de ejecución se han publicado como un contenedor Docker, que puede extraer de la página de ProjectGlow en Dockerhub.
Para obtener más información sobre la directiva y el calendario de depreciación de Databricks Runtime, consulte Versiones admitidas de Databricks Runtime LTS.
Configuración de los servicios de contenedor eliminada de la página de configuración del administrador del área de trabajo
25 de agosto de 2023
Los administradores del área de trabajo ya no pueden habilitar ni deshabilitar Container Services desde la página de configuración del administrador del área de trabajo. Container Services permite usar contenedores de clientes en los clústeres. Está habilitado de forma predeterminada en todas las áreas de trabajo nuevas. Container Services todavía se puede habilitar o deshabilitar mediante la API de configuración del área de trabajo. Para obtener más información, consulte Habilitación de instancias de Container Services.
CLI de Databricks actualizada a la versión 0.203.2 (versión preliminar pública)
24 de agosto de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.203.2. Para obtener información más detallada, consulte los registros de cambios para la versión 0.203.2.
Ir a definición de funciones y variables en cuadernos de Python
24 de agosto de 2023
En Databricks Runtime 12.2 LTS y versiones posteriores, cuando un cuaderno de Python está asociado a un clúster, puede navegar automáticamente a la definición de una variable o función definida en ese cuaderno. Consulte Ir a la definición para obtener más información.
El explorador de esquema unificado está disponible de forma general
24 de agosto de 2023
El explorador de esquema unificado ahora está disponible con carácter general en Explorador de catálogo, el editor de SQL y los cuadernos. Consulte ¿Qué es el Explorador de catálogos?.
Databricks Runtime 13.3 LTS está disponible de forma general
22 de agosto de 2023
Databricks Runtime 13.3 LTS y Databricks Runtime 13.3 LTS ML ahora están disponibles con carácter general.
Consulte Databricks Runtime 13.3 LTS y Databricks Runtime 13.3 LTS para Machine Learning.
Presentación de etiquetas con Unity Catalog
22 de agosto de 2023
Ahora puede aplicar etiquetas a los objetos protegibles en Unity Catalog. Las etiquetas le ayudan a organizar objetos protegibles y a simplificar la búsqueda y la detección de los recursos de datos. Consulte Aplicar etiquetas.
La lista de permitidos para scripts de inicialización, JAR y coordenadas de Maven en clústeres compartidos de Unity Catalog se encuentra en versión preliminar pública
23 de agosto de 2023
Ahora se puede utilizar Unity Catalog allowlist para controlar la instalación de scripts de inicialización, JAR y coordenadas de Maven en proceso con el modo de acceso compartido que ejecuta Databricks Runtime 13.3 y versiones posteriores. Consulte Agregar a la lista de permitidos bibliotecas y scripts de inicialización en proceso compartido.
La compatibilidad de volúmenes con scripts de inicialización y JAR está en versión preliminar pública
23 de agosto de 2023
Ahora se pueden utilizar volúmenes de Unity Catalog para almacenar scripts de inicialización y JAR en proceso con modos de acceso compartido o asignados que ejecutan Databricks Runtime 13.3 y versiones posteriores. Consulte bibliotecas con ámbito de clúster y Instalación de bibliotecas desde un volumen.
Confirmaciones de salida de archivo .ipynb de repositorios de Databricks más fáciles
21 de agosto de 2023
Databricks Repos ha agregado características para que la salida del archivo .ipynb sea más fácil de controlar y ver:
- Repos puede crear un archivo de configuración commit_output para ti.
- Las notificaciones de la interfaz de usuario le permiten conocer el estado de las confirmaciones de salida.
- En el menú Archivo, puede controlar si se confirman las salidas del bloc de notas.
Consulte Controlar conformaciones de salida del cuaderno .ipynb.
La compatibilidad con cuadernos de IPYNB en repositorios de Databricks está disponible de forma general
21 de agosto de 2023
La compatibilidad con cuadernos de IPYNB en Databricks Repos está disponible de forma general. Para más información sobre Repos, consulte:
Se actualizó el SDK de Databricks para Go a la versión 0.17.0 (beta)
18 de agosto de 2023
El SDK de Databricks para Go, versión 0.17.0, agrega más de 30 API y cambia el nombre de alrededor de 10 API. Para obtener información más detallada, consulte los registros de cambios para la versión 0.17.0.
SDK de Databricks para Python actualizado a la versión 0.6.0 (beta)
18 de agosto de 2023
El SDK de Databricks para Python versión 0.6.0 agrega aproximadamente 20 clases de datos, agrega aproximadamente 10 API e incluye aproximadamente 20 cambios de nombre. Para obtener información más detallada, consulte los registros de cambios para la versión 0.6.0.
CLI de Databricks actualizada a la versión 0.203.1 (versión preliminar pública)
16 de agosto de 2023
La Interfaz de la línea de comandos de Databricks (CLI de Databricks) se ha actualizado a la versión 0.203.1. Para obtener información más detallada, consulte los registros de cambios para la versión 0.203.1.
El explorador de esquema unificado está disponible de forma general
16 de agosto de 2023
Una manera unificada de navegar por los datos ahora está disponible para cuadernos, el Editor de SQL y Explorador de catálogo, incluidas las siguientes funcionalidades nuevas:
- Versión condensada del árbol.
- Mostrar el recuento de objetos de Unity Catalog en el nivel de esquema al filtrar.
- Haga clic con el botón derecho en el menú para ver las acciones.
Los cambios de subred sin servidor pueden afectarle si codifica identificadores en un script o plantilla
15 de agosto de 2023
Si usa un firewall de Azure Storage, hasta finales de agosto, algunos identificadores de subred cambian. Esto no afecta a la mayoría de los clientes porque Azure migra automáticamente los identificadores de subred en las reglas de firewall de almacenamiento existentes. Esta migración no afecta a las cargas de trabajo existentes.
Si codifica la lista de subredes sin servidor en una plantilla o script que actualiza las reglas de firewall de Azure Storage, debe obtener la lista más reciente de identificadores de subred antes de intentar actualizar las reglas. Para obtener los identificadores más recientes de cada región, consulte Seguridad de red de SQL Warehouse sin servidor.
Se actualizó el SDK de Databricks para Go a la versión 0.16.0 (beta)
14 de agosto de 2023
El SDK de Databricks para Go, versión 0.16.0, agrega aproximadamente una docena de campos, quita alrededor de media docena de campos y cambia las firmas de, aproximadamente, media docena de API. Para obtener información más detallada, consulte los registros de cambios para la versión 0.16.0.
Partner Connect admite Census
14 de agosto de 2023
Ahora puede conectar el área de trabajo de Azure Databricks a Census mediante Partner Connect. Para obtener más información, consulte Conexión a Census.
Las claves HSM administradas de Azure Key Vault ahora se admiten para las claves administradas por el cliente
14 de agosto de 2023
Algunos servicios y datos de Azure Databricks admiten la adición de una clave administrada por el cliente para ayudar a proteger y controlar el acceso a los datos cifrados. Azure Databricks posee tres características de clave administrada por el cliente que se aplican a diferentes tipos de datos y ubicaciones. Las tres características ahora admiten claves administradas por el cliente desde Azure Key Vault HSM administrado (módulos de seguridad de hardware) junto con almacenes de Azure Key Vault. Consulte Claves administradas por el cliente para procesos de cifrado.
SDK de Databricks para Python actualizado a la versión 0.5.0 (beta)
11 de agosto de 2023
El SDK de Databricks para Python versión 0.5.0 cambia las firmas de media docena de API, agrega una docena de campos, quita media docena de campos y agrega algunas clases de datos. Para obtener información más detallada, consulte los registros de cambios para la versión 0.5.0.
Compatibilidad de escritura mediante programación para archivos del área de trabajo
11 de agosto de 2023
Los clústeres que usan Databricks Runtime 11.2 y versiones posteriores admiten la escritura en archivos del área de trabajo. Puede crear, actualizar y eliminar archivos y directorios mediante programación en el área de trabajo.
CLI de Databricks actualizada a la versión 0.203.0 (versión preliminar pública)
10 de agosto de 2023
La interfaz de línea de comandos de Databricks (CLI de Databricks) versión 0.203.0 mejora el comando auth login, entre otras cosas. Para obtener información más detallada, consulte los registros de cambios para la versión 0.203.0.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.23.0
9 de agosto de 2023
La versión 1.23.0 del proveedor de Terraform de Databricks extiende RunJobTask con campos admitidos adicionales en databricks_job, agrega compatibilidad con exportadores para databricks_model_serving y mucho más. Para obtener información más detallada, consulte los registros de cambios para la versión 1.23.0.
Ahora se puede cambiar el nombre de los grupos
8 de agosto de 2023
Ahora puede cambiar el nombre de los grupos de cuentas existentes y los grupos locales del área de trabajo. Consulte Cambio del nombre de un grupo.
SDK de Databricks para Go actualizado a la versión 0.15.0 (beta)
7 de agosto de 2023
El SDK de Databricks para Go versión 0.15.0 refactoriza las API relacionadas con permisos para que sean más comprensibles y fáciles de usar. Para obtener información más detallada, consulte los registros de cambios para la versión 0.15.0.
SDK de Databricks para Python actualizado a la versión 0.4.0 (beta)
7 de agosto de 2023
El SDK de Databricks para Python versión 0.4.0 refactoriza las API relacionadas con permisos para que sean más comprensibles y fáciles de usar. Para obtener información más detallada, consulte los registros de cambios para la versión 0.4.0.
Se quitó la opción de configuración de prevención de iFraming de terceros
7 de agosto de 2023
Azure Databricks reduce el riesgo de dominios de terceros de iFraming de Azure Databricks mediante la adición de encabezados HTTP adecuados. La prevención de iFraming de terceros todavía está habilitada de forma predeterminada, pero Azure Databricks quitó la configuración de administrador del área de trabajo para deshabilitarla. Si ha deshabilitado anteriormente iFraming de terceros para un área de trabajo, la característica continúa deshabilitada para esa área de trabajo. Para volver a habilitar iFraming de terceros, póngase en contacto con el equipo de la cuenta de Azure Databricks.
Extensión de Databricks para Visual Studio Code actualizada a la versión 1.1.1
4 de agosto de 2023
La extensión de Databricks para Visual Studio Code versión 1.1.1 proporciona varias correcciones secundarias, por ejemplo, el control correcto de la variable del entorno HOME en Windows, etc. Para obtener información más detallada, consulte los registros de cambios para la versión 1.1.1.
LangChain disponible en la versión 13.1 y posteriores
4 de agosto de 2023
LangChain está disponible como un sabor experimental de MLflow que permite a los clientes de LangChain aprovechar las sólidas herramientas y funcionalidades de seguimiento de experimentos de MLflow directamente desde el entorno de Azure Databricks.
LangChain es un marco de software diseñado para ayudar a crear aplicaciones que usen modelos de lenguaje grandes (LLM) y combinarlas con datos externos para aportar más contexto de entrenamiento para los LLM.
Databricks Runtime para Machine Learning incluye langchain en Databricks Runtime 13.1 ML y versiones posteriores.
La ingeniería de características en Unity Catalog está en versión preliminar pública
3 de agosto de 2023
Con la ingeniería de características en Unity Catalog, Unity Catalog se convierte en su almacén de características. Puede usar cualquier tabla Delta con una clave principal como tabla de características para el entrenamiento o la inferencia del modelo. Unity Catalog proporciona detección y gobernanza de características.
Control de errores mejorado para errores continuos repetidos
3 de agosto de 2023
Los trabajos continuos que superan un umbral para errores consecutivos ahora usan un esquema de retroceso exponencial para reintentar de forma eficaz las ejecuciones de trabajos y permitir que los trabajos se recuperen de problemas transitorios. Anteriormente, los trabajos continuos que superan el umbral de error se pausaron y no se reintentaron.
Los almacenes de SQL sin servidor ya están disponibles en regiones adicionales
3 de agosto de 2023
Los almacenes SQL sin servidor disponibles en regiones adicionales: Este de Australia, Centro de Canadá, Oeste de EE. UU. 2, Centro-sur de EE. UU. y Sudeste de Asia. Consultar Regiones de Azure Databricks.
Si tiene previsto usar un firewall de Azure Storage, configure el firewall para permitir el acceso desde subredes de SQL Warehouse sin servidor. Consulte Seguridad de red de SQL Warehouse sin servidor.
Compartir esquemas mediante Delta Sharing (versión preliminar pública)
2 de agosto de 2023
Ahora puede usar Delta Sharing para compartir un esquema completo, lo que proporciona al destinatario acceso a todas las tablas y vistas del esquema en el momento en que lo comparte, junto con las tablas y vistas que se agreguen al esquema en el futuro. La adición de esquemas a un recurso compartido mediante comandos SQL requiere una instancia de SQL Warehouse en la versión de proceso de SQL 2023.35 o posterior, o un clúster que ejecute Databricks Runtime 13.2 o superior. Hacer lo mismo con Explorador de catálogo no tiene requisitos de proceso. Consulte Añadir esquemas a una acción.
Ejecutar tareas condicionalmente en los trabajos de Azure Databricks
2 de agosto de 2023
Puede usar la nueva condición Run if para ejecutar una tarea de trabajo en función del estado de las dependencias de la tarea, lo que proporciona más flexibilidad al implementar un flujo de trabajo con un trabajo de Azure Databricks. Por ejemplo, puede usar la condición Run if para ejecutar una tarea cuando se han producido errores en algunas o todas las dependencias de la tarea. Consulte Ejecutar tareas condicionalmente en un trabajo de Azure Databricks.
El proveedor de Terraform de Databricks se ha actualizado a la versión 1.22.0
1 de agosto de 2023
La versión 1.22.0 del proveedor de Terraform de Databricks agrega un recurso databricks_access_control_rule_set, agrega orígenes de datos databricks_metastore y databricks_metastore, y mucho más. Para obtener información más detallada, consulte los registros de cambios para la versión 1.22.0.
Características mejoradas de seguridad y cumplimiento
1 de agosto de 2023
Puede habilitar el perfil de seguridad de cumplimiento, que proporciona supervisión adicional, una imagen de proceso protegida y otras características, en las áreas de trabajo. El perfil de seguridad de cumplimiento es necesario para usar Azure Databricks para procesar los datos regulados por PCI-DSS, pero puede optar por habilitar el perfil si no está procesando dichos datos. Usted es el único responsable de garantizar su propio cumplimiento con todas las leyes y reglamentos aplicables.
Como alternativa, puede habilitar por separado la supervisión de seguridad mejorada, que proporciona supervisión adicional y una imagen de proceso protegida.
Ambas características están disponibles como parte del nuevo complemento Seguridad y cumplimientos mejorados. Si habilita cualquiera de estas características en un área de trabajo, se le cobrará por el nuevo complemento, tal y como se describe en la página de precios. Ambas características requieren el plan de tarifa Premium.
La supervisión de Lakehouse está disponible en versión preliminar pública
1 de agosto de 2023
Databricks Lakehouse Monitoring integra la supervisión de calidad de los datos y del modelo en la plataforma de Databricks. Proporciona métricas de calidad listas para usar, como estadísticas de resumen, cambios en la distribución a lo largo del tiempo y rendimiento del modelo, incluida la equidad y el sesgo. Lakehouse Monitoring genera automáticamente un panel de resumen para ayudarle a visualizar la calidad de los datos a lo largo del tiempo. También puede configurar alertas basadas en los datos.
Databricks Runtime 13.3 LTS (Beta)
1 de agosto de 2023
Databricks Runtime 13.3 y Databricks Runtime 13.3 LTS ML ahora están disponibles como versiones beta.
Consulte Databricks Runtime 13.3 LTS y Databricks Runtime 13.3 LTS para Machine Learning.
Las nuevas operaciones de Git están disponible de forma general: combinación de ramas, fusión mediante cambio de base y extracción con resolución de conflictos
1 de agosto de 2023
Las siguientes operaciones de Git ahora están disponibles con carácter general en Databricks Repos:
- Combinar y fusionar mediante cambio de base: ahora puede combinar Git o fusionar mediante cambio de base dos ramas directamente en Azure Databricks. Esto simplifica el proceso de combinación de ramas y proporciona la capacidad de resolver conflictos que surgen durante la operación.
- Extracción con resolución de conflictos: ahora puede usar Databricks Repos para administrar y resolver conflictos que se producen al hacer extracciones de un repositorio de Git remoto mediante Azure Databricks.
Con estas eficaces herramientas de resolución de conflictos, la colaboración en el código mediante Databricks Repos se vuelve aún más simplificada y eficiente.