Requisitos de uso de Databricks Connect

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se proporcionan los requisitos de uso de Databricks Connect. Para obtener información sobre Databricks Connect, consulte ¿Qué es Databricks Connect?.

Requisitos del área de trabajo

Para usar Databricks Connect para conectarse al área de trabajo:

• La cuenta y el área de trabajo de Azure Databricks deben tener habilitado el catálogo de Unity. Consulte Introducción al catálogo de Unity y Habilitación de un área de trabajo para el catálogo de Unity.

• La versión de Databricks Runtime del proceso debe ser mayor o igual que la versión del paquete de Databricks Connect. Databricks recomienda usar el paquete de Databricks Connect más reciente que coincida con la versión de Databricks Runtime.

  Para usar características que están disponibles en versiones posteriores del entorno de ejecución de Databricks, debe actualizar el paquete de Databricks Connect. Vea las notas de la versión de Databricks Connect para obtener una lista de las versiones disponibles de Databricks Connect. Para obtener las notas de la versión de Databricks Runtime, vea Versiones de las notas de la versión y compatibilidad de Databricks Runtime.

• Si se conecta al proceso sin servidor, el área de trabajo debe cumplir los requisitos de procesos sin servidor.

  Nota:

  El proceso sin servidor se admite a partir de la versión 15.1 de Databricks Connect. Las versiones de Databricks Connect que son inferiores o iguales a la versión de Databricks Runtime en sin servidor son totalmente compatibles. Consulte las notas de la versión. Para comprobar si la versión de Databricks Connect es compatible con el proceso sin servidor, consulte Validación de la conexión a Databricks.

• Si se conecta a un clúster, el clúster de destino debe usar un modo de acceso de clúster asignado o compartido. Consulte Modos de acceso.

Requisitos del entorno local

Para instalar Databricks Connect, el entorno de desarrollo local debe cumplir los siguientes requisitos:

Pitón

• La autenticación en Databricks está configurada. Según el tipo de autenticación de Databricks , puede haber requisitos:

  • Para la autenticación de usuario a máquina (U2M) de OAuth, debe usar la CLI de Databricks para autenticarse antes de ejecutar el código. Consulte el tutorial de Databricks Connect para Python.

  • La autenticación de usuario a máquina (U2M) de OAuth y la autenticación de máquina a máquina (M2M) de OAuth se admiten en el SDK de Databricks para Python 0.19.0 y versiones posteriores. Para actualizar la versión instalada del proyecto del SDK de Databricks para Python, consulte Introducción al SDK de Databricks para Python.

• Python 3 está instalado y la versión secundaria de Python instalada cumple los requisitos de versión en la tabla de compatibilidad de versiones siguiente.

• Si usa funciones definidas por el usuario (UDF), la versión secundaria local de Python coincide con la versión secundaria de Python de la versión de Databricks Runtime del clúster o el proceso sin servidor. Para conocer la versión secundaria de Python de la versión de Databricks Runtime del clúster, consulte la sección Entorno del sistema de las notas de la versión de Databricks Runtime para esa versión. Consulte Notas de la versión de Databricks Runtime y compatibilidad y Notas de la versión del proceso sin servidor.

Scala

• La autenticación en Databricks está configurada. Según el tipo de autenticación de Databricks , puede haber requisitos:

  • Para la autenticación de usuario a máquina (U2M) de OAuth, debe usar la CLI de Databricks para autenticarse antes de ejecutar el código. Consulte el tutorial de Databricks Connect para Scala.

  • La autenticación de usuario a máquina (U2M) de OAuth y la autenticación de máquina a máquina (M2M) de OAuth se admiten en el SDK de Databricks para Java 0.18.0 y versiones posteriores. Para actualizar la versión instalada del proyecto del SDK de Databricks para Java, consulte Introducción al SDK de Databricks para Java.

  • Para Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores, para Scala, Databricks Connect incluye el SDK de Databricks para Java. Este SDK implementa el estándar de autenticación unificada de Databricks .

• El Kit de desarrollo de Java (JDK) está instalado. Databricks recomienda que la versión de la instalación de JDK coincida con la versión de JDK en el clúster de Azure Databricks. Para buscar la versión de JDK de Databricks Runtime en el clúster, consulte la sección Entorno del sistema de las notas de la versión de Databricks Runtime o la tabla de compatibilidad de versiones.

  Nota:

  El uso de una versión de JDK que no coincida con la versión de JDK del clúster podría provocar un comportamiento inesperado o impedir que el código se ejecute.

• Scala está instalado. Databricks recomienda que la versión de la instalación de Scala coincida con la versión de Scala en el clúster de Azure Databricks. Para buscar la versión de Scala de la versión de Databricks Runtime del clúster, consulte la sección Entorno del sistema de las notas de la versión de Databricks Runtime o la tabla de compatibilidad de versiones.

• Si usa funciones definidas por el usuario (UDF), las versiones locales de Scala y Java coinciden con las versiones de Scala y Java de la versión de Databricks Runtime del clúster. Para buscar las versiones de Scala y Java de la versión de Databricks Runtime del clúster, consulte la sección Entorno del sistema de las notas de la versión de Databricks Runtime o la tabla de compatibilidad de versiones siguiente.

• Se instala una herramienta de compilación de Scala, como sbt.

Versiones de Databricks Connect

En la tabla siguiente se muestran las versiones de lenguaje compatibles y Databricks Connect compatibles. Los números de versión de Databricks Connect corresponden a los números de versión de Databricks Runtime. Vea las notas de la versión de Databricks Connect para obtener una lista de las versiones disponibles de Databricks Connect. Para obtener las notas de la versión de Databricks Runtime, vea Versiones de las notas de la versión y compatibilidad de Databricks Runtime.

Pitón

Para obtener compatibilidad con UDF, consulte Entorno base de Python.

Versión de Databricks Connect	Tipo de proceso	Versión compatible de Python
17.0.x a 17.3.x	Sin servidor, versión 4	3,12
16.4.1 a 17.0.x	Sin servidor, versión 3	3,12
16.4.x y versiones posteriores	Clúster	3,12
15.4.10 a menos de 16.0.x	Sin servidor, versión 2	3,11
15.4.x	Clúster	3,11
13.3.x y 14.3.x	Clúster	3.10

Scala

Versión de Databricks Connect	Tipo de proceso	Versión de JDK	Versión de Scala
17.0.x a 17.3.x	Sin servidor, versión 4	JDK 17	2.13.16
16.4.x y versiones posteriores	Clúster	JDK 17	2.12.18
15.4.x	Clúster	JDK 8	2.12.18
13.3.x y 14.3.x	Clúster	JDK 8	2.12.15

Versiones de fin de soporte técnico

Databricks Connect sigue los ciclos de vida de soporte técnico de Databricks Runtime. Las versiones siguientes han llegado al final del soporte técnico. Si usa una versión de Databricks Connect que ha llegado al final del soporte técnico, actualice a una versión compatible.

Pitón

Versión de Databricks Connect	Tipo de proceso	Versión compatible de Python
De 16.0.0 a 16.4.0	Serverless	No hay ninguna versión de Python compatible. Actualice a Databricks Connect 16.4.1 o superior.
16.0.x a 16.3.x	Clúster	3,12
De 15.1.0 a 15.4.9	Serverless	No hay ninguna versión de Python compatible. Actualice a Databricks Connect 15.4.10 o superior.
15.1.x a 15.3.x	Clúster	3,11
14.0.x a 14.2.x	Clúster	3.10
13.0.x a 13.2.x	Clúster	3.10

Scala

Versión de Databricks Connect	Tipo de proceso	Versión de JDK	Versión de Scala
16.0.x a 16.3.x	Clúster	JDK 17	2.12.18
15.1.x a 15.3.x	Clúster	JDK 8	2.12.18
14.0.x a 14.2.x	Clúster	JDK 8	2.12.15