Requisitos de uso de Databricks Connect

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se proporcionan los requisitos de uso de Databricks Connect. Para obtener información sobre Databricks Connect, consulte ¿Qué es Databricks Connect?.

Requisitos del área de trabajo

Para usar Databricks Connect para conectarse al área de trabajo:

• La cuenta y el área de trabajo de Azure Databricks deben tener habilitado el catálogo de Unity. Consulte Introducción al catálogo de Unity y Habilitación de un área de trabajo para el catálogo de Unity.

• La versión de Databricks Runtime de su entorno de computación debe ser mayor o igual que la versión del paquete de Databricks Connect. Databricks recomienda usar el paquete de Databricks Connect más reciente que coincida con la versión de Databricks Runtime.

  Para usar características que están disponibles en versiones posteriores del entorno de ejecución de Databricks, debe actualizar el paquete de Databricks Connect. Vea las notas de lanzamiento de Databricks Connect para obtener una lista de los lanzamientos disponibles de Databricks Connect. Para consultar las notas de la versión de Databricks Runtime, vea Notas de la versión y compatibilidad de Databricks Runtime.

• Si se conecta al proceso sin servidor, el área de trabajo debe cumplir los requisitos de procesos sin servidor.

  Nota:

  La computación sin servidor es compatible a partir de la versión 15.1 de Databricks Connect. Las versiones de Databricks Connect que son inferiores o iguales a la versión de Databricks Runtime en sin servidor son totalmente compatibles. Consulte las notas de la versión. Para comprobar si la versión de Databricks Connect es compatible con el proceso sin servidor, consulte Validación de la conexión a Databricks.

• Si se conecta a un clúster, el clúster de destino debe usar un modo de acceso de clúster asignado o compartido. Consulte Modos de acceso.

Requisitos del entorno local

Para instalar Databricks Connect, el entorno de desarrollo local debe cumplir los siguientes requisitos:

Pitón

• La autenticación en Databricks está configurada. Según el tipo de autenticación de Databricks , puede haber requisitos:

  • Para la autenticación de usuario a máquina (U2M) de OAuth, debe usar la CLI de Databricks para autenticarse antes de ejecutar el código. Consulte el tutorial de Databricks Connect para Python.

  • La autenticación de usuario a máquina (U2M) de OAuth y la autenticación de máquina a máquina (M2M) de OAuth se admiten en el SDK de Databricks para Python 0.19.0 y versiones posteriores. Para actualizar la versión instalada del proyecto del SDK de Databricks para Python, consulte Introducción al SDK de Databricks para Python.

• Python 3 está instalado y la versión secundaria de Python instalada cumple los requisitos de versión en la tabla de compatibilidad de versiones siguiente.

• Si utiliza funciones definidas por el usuario (UDFs), la versión secundaria local de Python coincide con la versión secundaria de Python de la versión de tiempo de ejecución de Databricks del clúster o del proceso informático sin servidor. Para conocer la versión secundaria de Python de la versión de Databricks Runtime del clúster, consulte la sección Entorno del sistema de las notas de la versión de Databricks Runtime para esa versión. Consulte Notas de la versión de Databricks Runtime y compatibilidad y Notas de la versión del proceso sin servidor.

Scala

• La autenticación en Databricks está configurada. Según el tipo de autenticación de Databricks , puede haber requisitos:

  • Para la autenticación de usuario a máquina (U2M) de OAuth, debe usar la CLI de Databricks para autenticarse antes de ejecutar el código. Consulte el tutorial de Databricks Connect para Scala.

  • La autenticación de usuario a máquina (U2M) de OAuth y la autenticación de máquina a máquina (M2M) de OAuth se admiten en el SDK de Databricks para Java 0.18.0 y versiones posteriores. Para actualizar la versión instalada del proyecto del SDK de Databricks para Java, consulte Introducción al SDK de Databricks para Java.

  • Para Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores, para Scala, Databricks Connect incluye el SDK de Databricks para Java. Este SDK implementa el estándar de autenticación unificada de Databricks .

• El Kit de desarrollo de Java (JDK) está instalado. Databricks recomienda que la versión de la instalación de JDK coincida con la versión de JDK en el clúster de Azure Databricks. Para encontrar la versión de JDK del Databricks Runtime en su clúster, consulte la sección Entorno del sistema de las notas de la versión de Databricks Runtime o la tabla de compatibilidad de versiones.

  Nota:

  El uso de una versión de JDK que no coincida con la versión de JDK del clúster podría provocar un comportamiento inesperado o impedir que el código se ejecute.

• Scala está instalado. Databricks recomienda que la versión de la instalación de Scala coincida con la versión de Scala en el clúster de Azure Databricks. Para encontrar la versión de Scala del Databricks Runtime de su clúster, consulte la sección Entorno del sistema de las notas de la versión del Databricks Runtime o la tabla de compatibilidad de versiones.

• Si usa funciones definidas por el usuario (UDF), las versiones locales de Scala y Java coinciden con las versiones de Scala y Java de la versión de Databricks Runtime del clúster. Para encontrar las versiones de Scala y Java del Databricks Runtime de su clúster, consulte la sección Entorno del sistema en las notas de la release de Databricks Runtime o en la tabla de compatibilidad de versiones que se encuentra a continuación.

• Se instala una herramienta de compilación de Scala, como sbt.

Versiones de Databricks Connect

En la tabla siguiente se muestran Databricks Connect y las versiones de lenguaje compatibles. Los números de versión de Databricks Connect corresponden a los números de versión de Databricks Runtime. Vea las notas de lanzamiento de Databricks Connect para obtener una lista de los lanzamientos disponibles de Databricks Connect. Para consultar las notas de la versión de Databricks Runtime, vea Notas de la versión y compatibilidad de Databricks Runtime.

Pitón

Para obtener compatibilidad con UDF, consulte Entorno base de Python.

Versión de Databricks Connect	Tipo de proceso	Versión compatible de Python
De 18.0 a 18.1	Clúster	3,12
18.0	Sin servidor, versión 5	3,12
De 17.2 a 17.3	Sin servidor, versión 4	3,12
De 17.2 a 17.3	Clúster	3,12
16.4.1 a menos de 17	Sin servidor, versión 3	3,12
16.4	Clúster	3,12
15.4.10 a menos de 16	Sin servidor, versión 2	3,11
15.4	Clúster	3,11
14.3	Clúster	3.10
13.3	Clúster	3.10

Scala

Versión de Databricks Connect	Tipo de proceso	Versión de JDK	Versión de Scala
De 18.0 a 18.1	Clúster	JDK 21	2.13.16
De 17.2 a 17.3	Sin servidor, versión 4	JDK 17	2.13.16
De 17.2 a 17.3	Clúster	JDK 17	2.13.16
16.4	Clúster	JDK 17	2.12.18
15.4	Clúster	JDK 8	2.12.18
14.3	Clúster	JDK 8	2.12.15
13.3	Clúster	JDK 8	2.12.15

Versiones de fin de soporte técnico

Databricks Connect sigue los ciclos de vida de soporte técnico de Databricks Runtime. Las versiones siguientes han llegado al final del soporte técnico. Si usa una versión de Databricks Connect que ha llegado al final del soporte técnico, actualice a una versión compatible.

Pitón

Versión de Databricks Connect	Tipo de proceso	Versión compatible de Python
De 17.0 a 17.1	Sin servidor, versión 4	3,12
De 16.0 a 16.4.0	Serverless	No hay ninguna versión de Python compatible. Actualice a Databricks Connect 16.4.1 o superior.
De 16.0 a 16.3	Clúster	3,12
De 15.1 a 15.4.9	Serverless	No hay ninguna versión de Python compatible. Actualice a Databricks Connect 15.4.10 o superior.
De 15.1 a 15.3	Clúster	3,11
De 14.0 a 14.2	Clúster	3.10
De 13.0 a 13.2	Clúster	3.10

Scala

Versión de Databricks Connect	Tipo de proceso	Versión de JDK	Versión de Scala
De 16.0 a 16.3	Clúster	JDK 17	2.12.18
De 15.1 a 15.3	Clúster	JDK 8	2.12.18
De 14.0 a 14.2	Clúster	JDK 8	2.12.15