Limitaciones de proceso sin servidor

Antes de mover portátiles o trabajos a computación sin servidor, compruebe los idiomas y APIs soportados, los requisitos de acceso a datos, los límites de funciones definidas por el usuario, las reglas de red y los requisitos de almacenamiento en caché.

Compatibilidad con lenguajes y API

  • No se admite R.
  • Solo se admiten las API de Spark Connect. No se admiten las API de RDD de Spark.
  • Spark Connect, que usa el proceso sin servidor, aplaza el análisis y la resolución de nombres al tiempo de ejecución, lo que puede cambiar el comportamiento del código. Consulte Comparación de Spark Connect con Spark clásico.
  • El modo ANSI está activado por defecto. Las conversiones de tipo no válidas, el desbordamiento aritmético y la entrada mal formada generan errores en tiempo de ejecución en lugar de devolver NULL silenciosamente o un resultado incorrecto. Para obtener información sobre cómo manejar operaciones que cambian el comportamiento y los límites para desactivar esta opción, consulta la sección sobre las diferencias de comportamiento de SQL de la guía de migración.
  • La zona horaria predeterminada de la sesión es Etc/UTC (Tiempo Universal Coordinado). Para usar una zona horaria diferente, configura spark.sql.session.timeZone. Consulte Configuración de las propiedades de Spark para cuadernos y trabajos sin servidor.
  • Al crear un dataframe a partir de datos locales mediante spark.createDataFrame, los tamaños de fila no pueden superar los 128 MB.

Acceso a datos y almacenamiento

  • Debe usar Unity Catalog para conectarse a orígenes de datos externos. Use ubicaciones externas para acceder al almacenamiento en la nube.
  • El acceso a DBFS está limitado. Utilice volúmenes del Catálogo de Unity o archivos del espacio de trabajo en su lugar.
  • El directorio de trabajo para cuadernos y tareas de trabajo no está garantizado, por lo que las rutas relativas de archivos y las importaciones relativas de Python pueden fallar. Usa rutas absolutas para referenciar archivos e importa código Python compartido como archivos de espacio de trabajo en lugar de módulos relativos. Consulta Trabajar con los módulos de Python y R.
  • No se admiten las coordenadas de Maven.
  • No se admiten vistas temporales globales. Utiliza vistas temporales de sesión para los resultados utilizados dentro de una sesión. Para compartir resultados calculados entre sesiones, escríbelos en una tabla del Catálogo de Unity.

Funciones definidas por el usuario (UDF)

  • Los UDF de Python de Unity Catalog en cuadernos y trabajos sin servidor admiten acceso saliente a la red, sujeto a las políticas de red del espacio de trabajo y a las restricciones de red para UDF. El CREATE FUNCTION comando (Externo) no es compatible. Databricks recomienda usar CREATE FUNCTION (SQL y Python) para crear UDFs compatibles.
  • Los UDF PySpark en computación sin servidor se ejecutan en sandboxes aislados con un límite de memoria predeterminado de 1 GiB (1024 MiB) por sandbox. Databricks gestiona este límite. Los usuarios no pueden configurarlo.
  • Las UDF de Scala no se pueden usar dentro de funciones de orden superior.

Interfaz de usuario y registro

  • La interfaz de usuario de Spark no está disponible. En su lugar, use el perfil de consulta para ver información sobre las consultas de Spark. Consulte Perfil de consulta.
  • Los registros de Spark no están disponibles. Los usuarios solo tienen acceso a los registros de aplicaciones del lado cliente.

Acceso a redes y áreas de trabajo

  • El acceso entre espacios de trabajo depende de las reglas de salida del espacio de trabajo de origen y de las reglas de entrada del espacio de trabajo de destino. La versión Beta de acceso entre espacios de trabajo permite configurar los pares de espacios de trabajo permitidos. Los espacios de trabajo que usan el modo de compatibilidad mantienen sus restricciones de red preexistentes. Consulte Acceso entre espacios de trabajo para requisitos y limitaciones específicas del servicio.
  • Databricks Container Services no se admite.
  • El computo serverless no puede conectarse a recursos que solo son accesibles por IPv6. Los recursos deben estar disponibles a través de IPv4.

Limitaciones de streaming

La computación serverless para cuadernos y trabajos soporta los siguientes disparadores de Structured Streaming:

  • Trigger.AvailableNow(). Databricks recomienda este modo de desencadenador para el proceso sin servidor.
  • Trigger.Once(). Este modo en desuso se admite, pero no se recomienda.

Los siguientes disparadores no son compatibles en notebooks serverless ni en jobs:

  • Trigger.Continuous(interval).
  • Trigger.ProcessingTime(interval).
    • De forma predeterminada, si no especifica un modo de desencadenador, Apache Spark establece el desencadenador en Trigger.ProcessingTime("0 seconds"). Debe establecer un desencadenador compatible en el proceso sin servidor.

Si intenta usar un desencadenador no admitido, la consulta genera un error INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED.

Estas restricciones de activación no se aplican a los modos de procesamiento de los pipelines de Lakeflow. Para cargas de trabajo de transmisión continua, utiliza un pipeline sin servidor en modo continuo, o utiliza Trigger.AvailableNow() en un trabajo continuo. El modo en tiempo real en las canaletaciones Lakeflow soporta cargas de trabajo operativas de menos de un segundo, con requisitos específicos de tiempo de ejecución, fuente, sumidero y operador.

Para obtener una guía de decisión que asigne casos de uso de streaming al producto sin servidor adecuado, consulte Streaming en proceso sin servidor.

También se aplican todas las limitaciones de streaming en modo de acceso estándar. Consulte Limitaciones de streaming.

Limitaciones de los cuadernos

  • Scala y R no son compatibles con cuadernos.
  • Las bibliotecas JAR no se admiten en notebooks. Para obtener soluciones alternativas, consulte Procedimientos recomendados para el proceso sin servidor. Se admiten tareas JAR en trabajos. Consulte Tarea JAR para trabajos.
  • Las bibliotecas instaladas con %pip en una sesión de notebook deben reinstalarse en una sesión nueva. Las dependencias configuradas en el panel Entorno utilizan la caché de entorno sin servidor. Consulte Adición de dependencias al cuaderno.
  • No se admite el uso compartido de tablas y vistas TEMP cuando se comparte un cuaderno entre usuarios.
  • No se admiten el Autocompletado ni el Explorador de variables para fotogramas de datos en blocs de notas.
  • De forma predeterminada, los nuevos cuadernos se guardan en .ipynb formato. Si el cuaderno se guarda en formato de origen, es posible que los metadatos sin servidor no se capturen correctamente y es posible que algunas características no funcionen según lo previsto.
  • No se admiten etiquetas de cuaderno. Use directivas de uso sin servidor para etiquetar el uso sin servidor.

Limitaciones del trabajo

  • Los registros de tareas que se muestran en la página de ejecución de trabajos no están aislados por cada ejecución de tarea y contienen la salida de varias tareas. Para enviar los registros de la aplicación a un volumen en directorios organizados por ejecución de tarea, consulte Enviar registros sin servidor a volúmenes de Unity Catalog.
  • Las bibliotecas de tareas no se admiten para las tareas de cuaderno. En su lugar, use bibliotecas con ámbito de cuaderno. Consulte Bibliotecas de Python cuyo ámbito es Notebook.
  • De forma predeterminada, los trabajos sin servidor no tienen tiempo de espera de ejecución de consultas. Puede establecer un tiempo de espera de ejecución para las consultas de trabajo mediante la spark.databricks.execution.timeout propiedad . Para más información, consulte Configuración de las propiedades de Spark para cuadernos y trabajos sin servidor.
  • El proceso sin servidor tiene un tiempo de ejecución máximo de 7 días. Las ejecuciones que superan 7 días son finalizadas por la plataforma y no se reintentan. Para ejecutar cargas de trabajo de más de 7 días, dividalas en ejecuciones más pequeñas o use el proceso clásico.

Limitaciones específicas de cómputo

No se admiten las siguientes características específicas de la computación.

Limitaciones de almacenamiento en caché

  • Los metadatos se almacenan en caché en sesiones de proceso sin servidor. Debido a esto, es posible que el contexto de sesión no se restablezca completamente al cambiar de catálogo. Para borrar el contexto de sesión, restablezca el recurso de proceso sin servidor o inicie una nueva sesión.
  • df.cache(), df.persist(), y df.unpersist() son compatibles en entornos serverless versión 5 y superiores cuando la memoria en caché de DataFrame en computación sin servidor esté habilitada en la Vista previa pública. La vista previa no está disponible en áreas de trabajo con el perfil de seguridad de cumplimiento normativo habilitado. Consulte Requisitos para la habilitación y los requisitos del cliente.
  • Las siguientes APIs de caché y comandos SQL no son compatibles en computación serverless. El uso de cualquiera de estas API o comandos SQL produce una excepción.
  • La caché del modelo Spark ML está limitada a 1 GB (1073741824 bytes) por sesión, y un solo modelo está limitado a 100 MB. Ambos límites son menores en computación serverless que en computación clásica, y ninguno puede cambiarse. Superar el límite de sesiones provoca ML_CACHE_SIZE_OVERFLOW_EXCEPTION. Superar el límite por modelo provoca MODEL_SIZE_OVERFLOW_EXCEPTION. Para liberar espacio en la caché, elimina las referencias en Python a modelos que ya no usas. Los modelos que quedan sin usar durante 15 minutos pasan al disco local y aún cuentan para el límite de sesión.

Limitaciones de Hive

  • No se admiten tablas Hive SerDe. Además, no se admite el comando LOAD DATA correspondiente que carga datos en una tabla serDe de Hive. El uso del comando producirá una excepción.

  • No se admiten las variables de Hive (por ejemplo ${env:var}, ${configName}, ${system:var} y spark.sql.variable) ni las referencias a variables de configuración que utilizan la sintaxis ${var}. El uso de variables de Hive producirá una excepción.

    En su lugar, use DECLARE VARIABLElas SET VARIABLE de SQL y los marcadores de parámetros ("?") o ":var" para declarar, modificar y hacer referencia al estado de sesión. También puede usar la cláusula IDENTIFIER para parametrizar nombres de objeto en muchos casos.

Orígenes de datos compatibles

Para operaciones de lenguaje de manipulación de datos (DML), el cálculo sin servidor permite los siguientes proveedores de fuentes de datos. Cada proveedor también debe dar soporte a la operación solicitada. La inclusión en esta lista no implica soporte para cada operación de escritura, actualización o eliminación. Por ejemplo, la fuente del archivo binario es de solo lectura.

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

El proceso sin servidor admite los siguientes orígenes de datos para las operaciones de lectura:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW(Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB