Compartir a través de

Limitaciones del modo de acceso de proceso para Unity Catalog

Nota

Se ha cambiado el nombre de los modos de acceso. El modo de acceso compartido ahora es Estándar. El modo de acceso de usuario único ahora es Dedicado y se puede asignar a un solo usuario o grupo. El acceso de grupo está en versión preliminar pública.

Databricks recomienda usar el modo de acceso estándar (anteriormente modo de acceso compartido) para la mayoría de las cargas de trabajo. En este artículo se describen las limitaciones y los requisitos de cada modo de acceso con Unity Catalog. Para obtener más información sobre los modos de acceso, consulte Modos de acceso.

Databricks recomienda usar directivas de proceso para simplificar las opciones de configuración de la mayoría de los usuarios. Consulte Crear y administrar directivas de proceso.

Nota

El modo de acceso compartido sin aislamiento y el modo de paso de credenciales son modos de acceso heredados que no admiten el catálogo de Unity.

Importante

Los scripts y bibliotecas de inicialización tienen una compatibilidad diferente en los modos de acceso y las versiones de Databricks Runtime. Consulte ¿Dónde se pueden instalar los scripts de inicialización? y Bibliotecas con ámbito de proceso.

Limitaciones del modo de acceso dedicado en el catálogo de Unity

El modo de acceso dedicado en el catálogo de Unity tiene las siguientes limitaciones. Estas son además de las limitaciones generales para todos los modos de acceso a Unity Catalog. Consulte Limitaciones generales para Unity Catalog.

Soporte para el control de acceso detallado con un modo de acceso específico

Nota

Para aprovechar el filtrado de datos disponible en Databricks Runtime 15.4 LTS y versiones posteriores, el área de trabajo debe estar habilitada para el proceso sin servidor.

  • Databricks Runtime 15.4 LTS y versiones posteriores admiten el control de acceso específico para las operaciones de lectura.

  • Databricks Runtime 16.3 y versiones posteriores admite escrituras en tablas con filtros de fila y columna mediante MERGE INTO y la DataFrame.write.mode("append") API. Consulte Compatibilidad con operaciones de escritura.

  • En Databricks Runtime 15.3 y versiones anteriores, no se admite el control de acceso específico en el cómputo dedicado. Concretamente:

Limitaciones de la tabla de streaming y de la vista materializada para el modo de acceso dedicado de Unity Catalog

En Databricks Runtime 15.3 y versiones posteriores, no puede usar el proceso dedicado para consultar tablas creadas mediante canalizaciones declarativas de Lakeflow, incluidas tablas de streaming y vistas materializadas, si esas tablas son propiedad de otros usuarios. El usuario que crea una tabla es el propietario.

Para consultar las tablas de flujo continuo y las vistas materializadas creadas por las canalizaciones declarativas de Lakeflow y que son propiedad de otros usuarios, use una de las siguientes opciones:

  • Un almacén de SQL.
  • Ejecute cálculos con modo de acceso estándar en Databricks Runtime 13.3 LTS o superior.
  • Compute con modo de acceso dedicado en Databricks Runtime 15.4 LTS, o cualquier versión posterior.

El área de trabajo también debe estar habilitada para el proceso sin servidor. Para obtener más información, consulte Control de acceso granular en la computación dedicada.

Limitaciones de streaming para el modo de acceso dedicado del catálogo de Unity

  • El punto de control asíncrono no es compatible con Databricks Runtime 11.3 LTS y versiones inferiores.
  • StreamingQueryListener requiere Databricks Runtime 15.1 o posterior para usar credenciales o interactuar con objetos administrados por Unity Catalog en proceso dedicado.

Requisitos de red para el modo de acceso dedicado

  • Si el espacio de trabajo se implementó con un firewall o tiene restricciones de red salientes, debe abrir los puertos 8443 y 8444 para habilitar el control de acceso detallado en recursos computacionales dedicados. Consulte Reglas de grupo de seguridad de red.

Limitaciones del modo de acceso estándar en el catálogo de Unity

El modo de acceso estándar en el Catálogo de Unity tiene las siguientes limitaciones. Estas son además de las limitaciones generales para todos los modos de acceso a Unity Catalog. Consulte Limitaciones generales para Unity Catalog.

  • Databricks Runtime ML no es compatible.
  • Spark ML no se admite en Databricks Runtime 16.4 y versiones posteriores. Databricks Runtime 17.0 ha agregado compatibilidad con Spark ML.
  • No se admiten tareas de trabajo de envío de Spark. En su lugar, use una tarea JAR.
  • DBUtils y otros clientes que leen directamente los datos del almacenamiento en la nube solo se admiten cuando se usa una ubicación externa para acceder a la ubicación de almacenamiento. Vea Creación de una ubicación externa para conectar el almacenamiento en la nube a Azure Databricks.
  • En Databricks Runtime 13.3 y versiones posteriores, las filas individuales no deben superar los 128MB.
  • La raíz y los montajes de DBFS no admiten FUSE.
  • Los contenedores personalizados no se admiten.

Compatibilidad con idiomas para el modo de acceso estándar del catálogo de Unity

  • No se admite R.
  • Scala se admite en Databricks Runtime 13.3 y versiones posteriores.
    • En Databricks Runtime 15.4 LTS y versiones posteriores, todas las bibliotecas java o Scala (archivos JAR) agrupadas con Databricks Runtime están disponibles en el proceso en los modos de acceso a Unity Catalog.
    • En Databricks Runtime 15.3, o en cualquier versión inferior, en el proceso que usa el modo de acceso estándar, establezca la configuración spark.databricks.scala.kernel.fullClasspath.enabled de Spark en true.

Limitaciones y requisitos de la API de Spark para el modo de acceso estándar del catálogo de Unity

  • No se admiten las API de RDD.
  • Spark Context (sc),spark.sparkContext y sqlContext no se admiten para Scala en Databricks Runtime y no se admiten para Python en Databricks Runtime 14.0 y versiones posteriores.
    • Databricks recomienda usar la variable spark para interactuar con la instancia SparkSession.
    • Tampoco se admiten las siguientes funciones sc: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
  • Las siguientes operaciones de API de conjunto de datos de Scala requieren Databricks Runtime 15.4 LTS o superior: map, mapPartitions, foreachPartition, flatMap, reduce y filter.
  • La configuración de Spark no admite la propiedad spark.executor.extraJavaOptions.

Limitaciones y requisitos de UDF para el modo de acceso estándar del catálogo de Unity

Las funciones definidas por el usuario (UDF) tienen las siguientes limitaciones con el modo de acceso estándar:

  • No se admiten las UDF de Hive.
  • applyInPandas y mapInPandas requieren Databricks Runtime 14.3 o superior.
  • Las UDF de PySpark no pueden acceder a carpetas de Git, archivos de área de trabajo ni volúmenes para importar módulos en Databricks Runtime 14.2 y versiones posteriores.
  • Las UDF escalares de Scala y las UDAF de Scala requieren Databricks Runtime 14.2 LTS o superior.
  • En Databricks Runtime 14.2 y versiones posteriores, no se admite el uso de una versión personalizada de grpc, pyarrow o protobuf en una UDF de PySpark a través de bibliotecas con ámbito de cuaderno o de clúster porque siempre se prefiere la versión instalada. Para buscar la versión de las bibliotecas instaladas, consulte la sección Entorno del sistema de las notas de la versión específicas de Databricks Runtime.
  • Las UDF escalares de Python y las UDF de Pandas requieren Databricks Runtime 13.3 LTS o superior.
  • Las UDF de Python y de Pandas no escalares, incluidas las UDAF, UDTF y Pandas en Spark, requieren Databricks Runtime 14.3 LTS, o cualquier versión superior.

Consulte Funciones definidas por el usuario (UDF) en Unity Catalog.

Limitaciones y requisitos de streaming para el modo de acceso estándar de Unity Catalog

Nota

Algunas de las opciones de Kafka enumeradas tienen compatibilidad limitada cuando se usan para configuraciones admitidas en Azure Databricks. Todas las limitaciones de Kafka enumeradas son válidas tanto para el procesamiento por lotes como para el procesamiento de flujos. Consulte Procesamiento de flujos con Apache Kafka y Azure Databricks.

  • No puede usar los formatos statestore y state-metadata para consultar la información de estado en las consultas de streaming con estado.
  • no se admitentransformWithState ni las API asociadas.
  • transformWithStateInPandas requiere Databricks Runtime 16.3 y versiones posteriores.
  • Para Scala, foreach requiere Databricks Runtime 16.1 o versiones posteriores. foreachBatchy flatMapGroupsWithState requieren Databricks Runtime 16.2 o superior.
  • Para Python, foreachBatch tiene los siguientes cambios de comportamiento en Databricks Runtime 14.0 y versiones posteriores:
    • Los comandos print() escriben la salida en los registros del controlador.
    • No se puede acceder al submódulo dbutils.widgets dentro de la función.
    • Cualquier archivo, módulo u objeto referenciado en la función debe ser serializable y estar disponible en Spark.
  • Para Scala, from_avro requiere Databricks Runtime 14.2 o superior.
  • applyInPandasWithState requiere Databricks Runtime 14.3 LTS o superior.
  • No se admite el uso de fuentes de socket.
  • El sourceArchiveDir debe estar en la misma ubicación externa que la fuente cuando se utiliza option("cleanSource", "archive") con una fuente de datos administrada por Unity Catalog.
  • En el caso de los orígenes y receptores de Kafka, no se admiten las siguientes opciones:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Las siguientes opciones de Kafka se admiten en Databricks Runtime 13.3 LTS y versiones posteriores, pero no en Databricks Runtime 12.2 LTS. Solo puede especificar ubicaciones externas administradas por Unity Catalog para estas opciones:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • Para Scala, StreamingQueryListener requiere Databricks Runtime 16.1 y versiones posteriores.
  • Para Python, StreamingQueryListener requiere Databricks Runtime 14.3 LTS o versiones posteriores para usar credenciales o interactuar con objetos gestionados por Unity Catalog en computación con el modo de acceso estándar.

Limitaciones del kernel de Scala para el modo de acceso estándar del catálogo de Unity

Se aplican las siguientes limitaciones al usar el kernel de scala en el modo de acceso estándar de computación.

  • Algunas clases no se pueden usar en el código si entran en conflicto con la biblioteca interna del kernel de almendras, en particular Input. Para obtener una lista de las importaciones definidas de almendras, consulte importaciones de almendras.
  • No se admite el registro directamente en log4j.
  • En la interfaz de usuario, no se admite la lista desplegable de esquema de DataFrame.
  • Si el controlador alcanza OOM, REPL de Scala no finalizará.
  • //connector/sql-aws-connectors:sql-aws-connectors no está en el destino de bazel de REPL de Scala, utilice los resultados en ClassNotFoundException.
  • No se admite el streaming de Scala.
  • El kernel de Scala no es compatible con SQLImplicits.

Limitaciones y requisitos de acceso del sistema de archivos y de red para el modo de acceso estándar de Unity Catalog

  • Debe ejecutar comandos en nodos de proceso como un usuario con pocos privilegios prohibido acceder a partes confidenciales del sistema de archivos.
  • No se admiten rutas de acceso de estilo POSIX (/) para DBFS.
  • Solo los administradores de áreas de trabajo y los usuarios con permisos ANY FILE pueden interactuar directamente con archivos mediante DBFS.
  • En Databricks Runtime 11.3 LTS y versiones posteriores, solo puede crear conexiones de red a los puertos 80 y 443.
  • No se puede conectar al servicio de metadatos de instancia ni a Azure WireServer.

Limitaciones generales para Unity Catalog

Las siguientes limitaciones se aplican a todos los modos de acceso habilitados para Unity Catalog.

Limitaciones de streaming para Unity Catalog

  • No se admite el modo de procesamiento continuo de Apache Spark. Consulte Procesamiento continuo en la Guía de programación de Streaming estructurado de Spark.

Consulte también Limitaciones de streaming para el modo de acceso dedicado del catálogo de Unity y limitaciones y requisitos de streaming para el modo de acceso estándar del catálogo de Unity.

Para obtener más información sobre Unity Catalog, consulte Uso de Unity Catalog con Structured Streaming.

Limitaciones de la API de Spark para unity Catalog

No se admiten las API de RDD.