Compartir a través de

Agosto de 2024

Estas características y las mejoras de la plataforma Azure Databricks se publicaron en agosto de 2024.

Nota:

Las versiones se almacenan provisionalmente. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana o más después de la fecha de lanzamiento inicial.

Supervisión del uso de objetos de Unity Catalog con cuotas mediante las nuevas API de cuotas de recursos

30 de agosto de 2024

Las nuevas API de cuotas de recursos permiten supervisar el uso de objetos protegibles de Unity Catalog en comparación con las cuotas de recursos. Pronto, también podrá recibir notificaciones por correo electrónico al aproximarse a los límites de cuota. Vea Supervisión del uso de cuotas de recursos de Unity Catalog. y la Referencia de API de cuotas de recursos.

Retirada de los modelos MPT 7B Instruct y MPT 30B Instruct

30 de agosto de 2024

Los modelos MPT 7B Instruct y MPT 30B Instruct ya se han retirado. Vea Modelos retirados para ver los modelos sustitutos recomendados.

AskSupport reemplazado por el asistente de Azure Databricks

29 de agosto de 2024

AskSupport, el canal de soporte técnico basado en Slack de Databricks, se ha reemplazado por Databricks Assistant, que está disponible en el área de trabajo de Databricks. Usa Databricks Assistant para buscar documentación técnica, crear tickets y obtener asistencia con conocimiento de contexto.

Para usar AI Assistant, debe estar habilitado en la consola de la cuenta.

Panel de administración de costos importable agregado a la consola de la cuenta (versión preliminar pública)

28 de agosto de 2024

Ahora los administradores de cuentas pueden importar un panel de administración de costos personalizable desde la consola de la cuenta en cualquier área de trabajo de Unity Catalog de su cuenta. Hay dos versiones del panel: una que supervisa el uso de toda la cuenta y otra para el uso de una única área de trabajo.

Las tablas del sistema de Lakeflow se extienden con columnas adicionales

23 de agosto de 2024

Las tablas del esquema system.lakeflow se extienden con columnas adicionales. Se han realizado los cambios siguientes:

  • jobs se extiende con la columna description.
  • job_run_timeline se extiende con las columnas run_type, run_name, compute_ids, termination_code y job_parameters.
  • job_task_run_timeline se extiende con las columnas job_run_id, parent_run_id, y termination_code.

El cambio de esquema no es importante y no interrumpirá los flujos de trabajo existentes. Las nuevas columnas no se rellenarán para las filas ya emitidas. Para más información, consulta Tabla de referencia del sistema de trabajos.

Resaltados de errores de formato en el código de Python

23 de agosto de 2024

El código de Python en cuadernos y editores de archivos puede resaltar errores de formato y advertencias como sangría inesperada, longitud de línea larga y mucho más. Consulte Resaltado de errores de Python.

Delta Sharing: ahora hay más características de Delta Lake compatibles con los conectores de Python y Power BI

21 de agosto de 2024

A partir de ahora, los conectores Python 1.1.0+ y Power BI v2.132.908.0+ de Delta Sharing admiten:

  • Modo de asignación de nombres de columnas
  • Vectores de eliminación
  • Formato uniforme

Estas características de Delta Lake ya se admiten en Databricks Runtime 14.1+ y en el conector Apache Spark 3.1+ de código abierto.

Consulte Matriz de compatibilidad de características de Delta Lake.

Delta Sharing agrega compatibilidad con TimestampNTZ

21 de agosto de 2024

Delta Sharing agrega compatibilidad con TimestampNTZ en Databricks Runtime 14.1 y versiones posteriores, y con el conector de código abierto Apache Spark 3.3 de Delta Sharing y versiones posteriores.

Consulte Matriz de compatibilidad de características de Delta Lake.

La tarea de trabajos de Azure Databricks For each es de disponibilidad general

21 de agosto de 2024

La tarea For each ya está disponible con carácter general. Puede usar la tarea For each para ejecutar otra tarea en bucle, pasando un conjunto diferente de parámetros a cada iteración de la tarea. La tarea For each puede iterarse sobre cualquiera de las tareas estándar de trabajo, como un cuaderno, un JAR, una secuencia de comandos de Python o una tarea de SQL. Consulte Uso de una For each tarea para ejecutar otra tarea en un bucle.

Permiso RBAC de Azure para administradores del área de trabajo

20 de agosto de 2024

Anteriormente, el rol de colaborador o propietario integrado de Azure RBAC (control de acceso basado en roles) era necesario para conceder a un usuario el rol de administrador del área de trabajo de Azure Databricks desde Azure. Ahora puedes crear un rol RBAC de Azure personalizado que tenga permiso Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action para conceder a un usuario el rol de administrador del área de trabajo de Azure Databricks. Estos usuarios pueden administrar tu servicio Azure Databricks y configurar el registro de diagnóstico. Para más información, consulte los permisos de administrador de Azure necesarios.

Databricks Runtime 15.4 LTS está disponible de forma general

19 de agosto de 2024

Databricks Runtime 15.4 LTS y Databricks Runtime 15.4 LTS ML ahora están disponibles con carácter general.

Consulte Databricks Runtime 15.4 LTS y Databricks Runtime 15.4 LTS para Machine Learning.

Autocompletar de cuadernos personalizados

19 de agosto de 2024

El autocompletado de cuadernos ahora prioriza las sugerencias en función de tus metadatos individuales de Unity Catalog y su uso, proporcionando clasificaciones de sugerencias personalizadas para cada usuario. Consulte Autocompletado personalizado

18 de agosto de 2024

Los usuarios ahora pueden crear vínculos simbólicos en las celdas del terminal web y del cuaderno. Si mantiene el puntero sobre un vínculo simbólico, aparece un tooltip con su ruta subyacente y la opción de copiar la ruta. Todos los objetivos deben estar dentro del directorio /Workspace.

Configura el modo de acceso predeterminado de tu área de trabajo para el cálculo de trabajos

16 de agosto de 2024

Los administradores del área de trabajo ahora pueden configurar el modo de acceso predeterminado para el proceso de trabajos en su área de trabajo. Este modo de acceso predeterminado se aplica a los recursos de proceso sin un modo de acceso definido. Para obtener más información, consulte Modo de acceso predeterminado para computación de trabajos.

Nuevos comandos de barra diagonal para Databricks Assistant

14 de agosto de 2024

Databricks Assistant ha agregado los siguientes comandos de barra inclinada como accesos directos para tareas comunes:

  • /findTables: busca tablas pertinentes basadas en los metadatos de Unity Catalog.
  • /findQueries: busca consultas pertinentes basadas en metadatos de Unity Catalog.
  • /prettify: da formato al código para facilitar la lectura.
  • /rename: sugiere nombres actualizados para las celdas del cuaderno y otros elementos, en función del contexto.
  • /settings: ajusta la configuración del cuaderno directamente desde el Asistente.

Para obtener más información, consulte Uso de comandos de barra inclinada para las solicitudes.

La búsqueda del área de trabajo de ahora admite volúmenes

14 de agosto de 2024

Los volúmenes ahora se incluyen en los resultados de la búsqueda. Consulte Búsqueda de objetos del área de trabajo.

Modelos de Meta Llama 3.1 405B admitidos con el ajuste fino del modelo Foundation

14 de agosto de 2024

Los modelos Meta Llama 3.1 405B ahora son compatibles con la optimización de modelos fundamentales. Consulte Modelos admitidos.

Controlador JDBC de Databricks 2.6.40

13 de agosto de 2024

La versión 2.6.40 del controlador JDBC de Databricks ya está disponible en la descarga de controladores JDBC. Esta versión quita los mensajes de registro redundantes WARNING para aumentar la facilidad de uso y la seguridad del registro.

Esta versión incluye las siguientes mejoras y características nuevas:

  • Compatibilidad con el punto de conexión de detección de OIDC. El controlador ahora puede establecer un punto de conexión de detección de OIDC para capturar un token y recuperar un punto de conexión de autorización.
  • Se ha actualizado la compatibilidad con Arrow. El controlador ahora usa la versión 14.0.2 de Apache Arrow. Las versiones anteriores del controlador usaban la versión 9.0.0 de Apache Arrow.
  • Compatibilidad con ProxyIgnoreList. El controlador ahora admite la propiedad ProxyIgnoreList cuando UseProxy se establece en 1.
  • Compatibilidad con tokens de actualización. El controlador ahora admite un token de actualización opcional. Guarda el token de acceso y lo reutiliza para las nuevas conexiones siempre que sea válida. Si el controlador no puede renovar el token de acceso mediante el token de actualización, iniciará sesión de nuevo.
  • Se ha actualizado la compatibilidad con la autenticación. El controlador ahora admite la autenticación basada en explorador (U2M) y credenciales de cliente (M2M) en Google Cloud.
  • Se agregaron opciones de OAuth predeterminadas unificadas.
  • Ahora puede configurar el puerto de redirección de OAuth. Para ello, establezca la propiedad OAuth2RedirectUrlPort en su puerto.

Para obtener información completa sobre la configuración, consulte la Guía del controlador JDBC de Databricks instalada con el paquete de descarga de controladores.

Los tokens de acceso personal de Databricks se revocan si no se usan después de 90 días

13 de agosto de 2024

Databricks ahora revoca automáticamente los tokens de acceso personal (PAT) que no se han usado en 90 días o más. Para más detalles, consulte Supervisar y revocar tokens de acceso personal.

La API de clústeres ahora admite actualizaciones de configuración parciales

13 de agosto de 2024

Una nueva llamada API le permite actualizar parcialmente una configuración de clúster, lo que requiere especificar solo los atributos que desea actualizar. Consulte Actualización de la configuración del clúster (parcial) en la referencia de la API de REST.

Ajustar líneas en las celdas del cuaderno

12 de agosto de 2024

Ahora puede habilitar o deshabilitar el ajuste de línea en las celdas del cuaderno, permitiendo que el texto se divida en varias líneas o se mantenga en una sola línea con desplazamiento horizontal. Consulte Ajuste de líneas.

12 de agosto de 2024

Ahora puede especificar un subconjunto de columnas de una tabla que se usará en un índice de búsqueda vectorial. La columna de clave principal y la columna de inserción siempre se sincronizan. Consulte Procedimiento para crear y consultar un índice de vector de búsqueda.

Los archivos ya no pueden tener nombres idénticos en carpetas del área de trabajo

9 de agosto de 2024

Databricks ahora impide crear o cambiar el nombre de los recursos en las carpetas del área de trabajo cuando el nombre de un recurso coincide exactamente con el nombre de otro archivo, teniendo en cuenta la extensión de archivo del recurso. Por ejemplo, ya no puede crear un archivo denominado test.py si ya hay un cuaderno con un nombre base de test con una extensión de .py en la misma carpeta del área de trabajo.

Para obtener más información, consulte Nomenclatura de recursos en carpetas del área de trabajo.

Aplicación de directivas de proceso ahora disponible

8 de agosto de 2024

La aplicación de cumplimiento de directivas permite a los administradores del área de trabajo actualizar los recursos de proceso de su área de trabajo para cumplir con la versión más reciente de una directiva. Esta característica se puede usar en la interfaz de usuario o a través de la API de directivas de clúster.

Consulte Aplicación del cumplimiento de directivas o API de directivas de clúster.

Las API de pago por token de Foundation Model ahora están en disponibilidad general

7 de agosto de 2024

Las API de Foundation Model de pago por token ahora están disponibles con carácter general. Vea API de modelos de base de pago por token.

Colaborar en proyectos de datos de forma segura y privada mediante Databricks Clean Rooms (versión preliminar pública)

6 de agosto de 2024

Databricks Clean Rooms usa Delta Sharing y computación sin servidor para proporcionar un entorno seguro que protege la privacidad en el que varias partes pueden compartir datos empresariales confidenciales y colaborar sin acceder directamente a los datos de los demás.

Con Clean Rooms, los usuarios de otras cuentas de Databricks pueden colaborar para generar información única sobre proyectos compartidos, como campañas publicitarias, decisiones de inversión o investigación y desarrollo, sin mover ni exponer datos confidenciales. Ejecute cargas de trabajo complejas en un entorno efímero mediante cualquier lenguaje compatible con cuadernos de Databricks, incluido Python, que proporciona compatibilidad nativa con cargas de trabajo de aprendizaje automático.

Para probarlo, póngase en contacto con su representante de Azure Databricks.

Consulte ¿Qué es Azure Databricks Clean Rooms?

Los vectores de búsqueda de Mosaic AI ahora cumplen con la ley HIPAA

6 de agosto de 2024

Los vectores de búsqueda de Mosaic AI ahora cumplen con la ley HIPAA en todas las regiones.

Formato de columnas en tablas de resultados de cuadernos y consultas

6 de agosto de 2024

Personalice las tablas de resultados para que sean más legibles con opciones de formato de columna como Moneda, Porcentaje, Dirección URL, control sobre posiciones decimales, etc. Consulte Formato de columnas.

Ahora, los filtros de fila y las máscaras de columna están disponibles con carácter general y mejoras

6 de agosto de 2024

La capacidad de aplicar filtros de fila y máscaras de columna a tablas ahora está disponible con carácter general en Databricks Runtime 12.2 y versiones posteriores. Los filtros de filas y las máscaras de columna impiden el acceso de determinados usuarios a datos confidenciales. Estos filtros y máscaras se implementan como funciones definidas por el usuario (UDF) de SQL. La GA ofrece compatibilidad con la siguiente funcionalidad que no estaba disponible en la versión preliminar pública:

  • Expresiones constantes en parámetros de directiva (cadenas, números, intervalos, booleanos, valores nulos).
  • Vistas materializadas y tablas de streaming (versión preliminar pública).
  • Instrucciones MERGE.
  • Muestreo de tabla.

La versión independiente de compatibilidad con el control de acceso detallado en cómputo dedicado también amplía las opciones de cómputo para trabajar en tablas con filtros de fila y máscaras de columna aplicados.

Consulte Filtros de fila y máscaras de columna.

La federación de Lakehouse está disponible con carácter general (GA)

1 de agosto de 2024

En Azure Databricks Runtime 15.2 y versiones posteriores y Databricks SQL versión 2024.30 y posteriores, los conectores de Federación de almacén de lago en los siguientes tipos de base de datos están disponibles con carácter general (GA):

  • MySQL (en inglés)
  • PostgreSQL
  • Amazon Redshift
  • Copo de nieve
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Ladrillos de datos

Esta versión también presenta las siguientes mejoras:

  • Soporte con inserciones adicionales (cadenas, matemáticas y funciones varias).
  • Se ha mejorado la tasa de éxito de la aplicación en diferentes formas de consulta.
  • Funcionalidades adicionales de depuración de instrucciones:
    • La salida EXPLAIN FORMATTED muestra el texto de consulta insertado.
    • La interfaz de usuario del perfil de consulta muestra el texto de consulta insertado, los identificadores de nodo federado y los tiempos de ejecución de consultas JDBC (en modo detallado). Consulte Visualización de consultas federadas generadas por el sistema.