Compartilhar via

Limitações do modo de acesso à computação para o Catálogo do Unity

Observação

Os modos de acesso foram renomeados. O modo de acesso compartilhado agora é Standard. O modo de acesso de usuário único agora é Dedicado e pode ser atribuído a um único usuário ou grupo. O acesso ao grupo está em Visualização Pública.

O Databricks recomenda o uso do modo de acesso padrão (antigo modo de acesso compartilhado) para a maioria das cargas de trabalho. Este artigo descreve as limitações e os requisitos de cada modo de acesso com o Catálogo do Unity. Para obter detalhes sobre os modos de acesso, confira Modos de acesso.

O Databricks recomenda o uso de políticas de computação para simplificar as opções de configuração para a maioria dos usuários. Confira Criar e gerenciar políticas de computação.

Observação

Modos de acesso compartilhado sem isolamento e passagem de credenciais são modos herdados que não dão suporte ao Unity Catalog.

Importante

Os scripts de inicialização e as bibliotecas têm suporte diferente nos modos de acesso e nas versões do Databricks Runtime. Consulte Onde os scripts de inicialização podem ser instalados? e Bibliotecas com escopo de computação.

Limitações do modo de acesso dedicado no Catálogo do Unity

O modo de acesso dedicado no Catálogo do Unity tem as seguintes limitações. Essas limitações são adicionais às limitações gerais de todos os modos de acesso do Catálogo do Unity. Consulte Limitações gerais do Catálogo do Unity.

Suporte a controle de acesso refinado com modo de acesso dedicado

Observação

Para aproveitar a filtragem de dados disponível no Databricks Runtime 15.4 LTS e posteriores, seu workspace deve estar habilitado para computação sem servidor.

  • O Databricks Runtime 15.4 LTS e versões posteriores oferece suporte a controle de acesso granular para operações de leitura.

  • O Databricks Runtime 16.3 e superior dá suporte a gravações em tabelas com filtros de linha e coluna usando MERGE INTO e a DataFrame.write.mode("append") API. Consulte Suporte para operações de gravação.

  • No Databricks Runtime 15.3 e abaixo, não há suporte para controle de acesso refinado na computação dedicada. Especificamente:

Limitações de tabelas de streaming e exibições materializadas para o modo de acesso dedicado do Catálogo do Unity

No Databricks Runtime 15.3 e abaixo, você não pode usar computação dedicada para consultar tabelas criadas usando o Lakeflow Declarative Pipelines, incluindo tabelas de streaming e exibições materializadas, se essas tabelas forem de propriedade de outros usuários. O usuário que cria uma tabela é o proprietário.

Para consultar tabelas de streaming e exibições materializadas criadas pelo Lakeflow Declarative Pipelines e pertencentes a outros usuários, use um dos seguintes:

  • Um SQL warehouse.
  • Compute com o modo de acesso padrão no Databricks Runtime 13.3 LTS ou superior.
  • Computação com modo de acesso dedicado no Databricks Runtime 15.4 LTS ou superior.

Seu workspace também precisa estar habilitado para computação sem servidor. Para obter mais informações, consulte o controle de acesso refinado na computação dedicada.

Limitações de streaming para o modo de acesso dedicado do Unity Catalog

  • Não há suporte para ponto de verificação assíncrono no Databricks Runtime 11.3 LTS e inferior.
  • StreamingQueryListener requer o Databricks Runtime 15.1 ou superior para usar credenciais ou interagir com objetos gerenciados pelo Catálogo do Unity na computação dedicada.

Requisitos de rede para o modo de acesso dedicado

  • Se o workspace tiver sido implantado com um firewall ou tiver restrições de rede de saída, você deverá abrir as portas 8443 e 8444 para habilitar o controle de acesso refinado na computação dedicada. Consulte as regras do grupo de segurança de rede .

Limitações do modo de acesso padrão no Catálogo do Unity

O modo de acesso padrão no Catálogo do Unity tem as seguintes limitações. Essas limitações são adicionais às limitações gerais de todos os modos de acesso do Catálogo do Unity. Consulte Limitações gerais do Catálogo do Unity.

  • Não há suporte para a ML do Databricks Runtime.
  • Não há suporte para o Spark ML no Databricks Runtime 16.4 e abaixo. O Databricks Runtime 17.0 adicionou suporte ao Spark ML.
  • Não há suporte para tarefas de trabalho de envio do Spark. Em vez disso, use uma tarefa JAR.
  • Só há suporte para o DBUtils e outros clientes que leem diretamente os dados do armazenamento em nuvem quando você usa um local externo para acessar o local de armazenamento. Confira Crie um local externo para conectar o armazenamento em nuvem ao Azure Databricks.
  • No Databricks Runtime 13.3 e superior, as linhas individuais não podem exceder 128 MB.
  • A raiz e as montagens do DBFS dão suporte a FUSE.
  • Não há suporte para os contêineres personalizados.

Suporte à linguagem para o modo de acesso padrão do Catálogo do Unity

  • Não há suporte para o R.
  • Esse recurso é compatível com o Databricks Runtime 13.3 e versões posteriores.
    • No Databricks Runtime 15.4 LTS e posterior, todas as bibliotecas Java ou Scala (arquivos JAR) agrupadas com o Databricks Runtime estão disponíveis na computação nos modos de acesso do Catálogo do Unity.
    • Para o Databricks Runtime 15.3 ou anteriores na computação que usa o modo de acesso padrão, defina a configuração spark.databricks.scala.kernel.fullClasspath.enabled do Spark como true.

Limitações e requisitos da API do Spark para o modo de acesso padrão do Catálogo do Unity

  • As APIs RDD não têm suporte.
  • O Spark Context (sc), spark.sparkContext e sqlContext não tem suporte para o Scala em nenhum Databricks Runtime nem para o Python no Databricks Runtime 14.0 e superior.
    • O Databricks recomenda usar a variável spark para interagir com a instância SparkSession.
    • Também não há suporte para as seguintes funções sc: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty e getConf.
  • As seguintes operações de API do Conjunto de Dados do Scala exigem o Databricks Runtime 15.4 LTS ou superior: map, mapPartitions, foreachPartition, flatMap, reduce e filter.
  • A propriedade spark.executor.extraJavaOptions de configuração do Spark não é suportada.

Limitações e requisitos da UDF para o modo de acesso padrão do Catálogo do Unity

As UDFs (funções definidas pelo usuário) têm as seguintes limitações com o modo de acesso padrão:

  • UDFs do Hive não têm suporte.
  • applyInPandas e mapInPandas requerem Databricks Runtime 14.3 ou superior.
  • As UDFs do PySpark não podem acessar pastas Git, arquivos de workspace ou volumes para importar módulos no Databricks Runtime 14.2 e inferior.
  • UDFs escalares em Scala e UDAFs em Scala exigem Databricks Runtime 14.2 LTS ou superior.
  • No Databricks Runtime 14.2 e inferior, não há suporte para o uso de uma versão personalizada de grpc, pyarrow ou protobuf em uma UDF PySpark por meio de bibliotecas com escopo de notebook ou cluster, pois a versão instalada é sempre preferencial. Para encontrar a versão das bibliotecas instaladas, consulte a seção Ambiente do Sistema das notas da versão específica do Databricks Runtime.
  • As UDFs escalares do Python e as UDFs do Pandas exigem o Databricks Runtime 13.3 LTS ou superior.
  • UDFs Python e Pandas não escalares, incluindo UDAFs, UDTFs e Pandas no Spark, requerem o Databricks Runtime 14.3 LTS ou superior.

Consulte UDFs (funções definidas pelo usuário) no Catálogo do Unity.

Limitações e requisitos de streaming para o modo de acesso padrão do Catálogo do Unity

Observação

Algumas das opções listadas do Kafka têm suporte limitado quando usadas para configurações com suporte no Azure Databricks. Todas as limitações listadas do Kafka são válidas para processamento em lote e de fluxos. Confira Processamento de fluxos com o Apache Kafka e o Azure Databricks.

  • Você não pode usar os formatos statestore e state-metadata para consultar informações de estado das consultas de streaming com estado.
  • Não há suporte para transformWithState e APIs associadas.
  • transformWithStateInPandas requer a versão Databricks Runtime 16.3 e superior.
  • Para Scala, foreach requer o Databricks Runtime 16.1 ou superior. foreachBatch e flatMapGroupsWithState requerem o Databricks Runtime 16.2 ou superior.
  • Para Python, foreachBatch tem as seguintes alterações de comportamento no Databricks Runtime 14.0 e superior:
    • Os comandos print() gravam a saída nos logs do driver.
    • Você não pode acessar o submódulo dbutils.widgets dentro da função.
    • Quaisquer arquivos, módulos ou objetos referenciados na função devem ser serializáveis e disponíveis no Spark.
  • Para o Scala, from_avro requer o Databricks Runtime 14.2 ou superior.
  • applyInPandasWithState requer o Databricks Runtime 14.3 LTS ou superior.
  • Não há suporte para trabalhar com fontes de soquete.
  • O sourceArchiveDir precisa estar no mesmo local externo que a origem quando você usa option("cleanSource", "archive") com uma fonte de dados gerenciada pelo Catálogo do Unity.
  • Para fontes e coletores do Kafka, não há suporte para as seguintes opções:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • As seguintes opções do Kafka têm suporte no Databricks Runtime 13.3 LTS e superior, mas sem suporte no Databricks Runtime 12.2 LTS. Você só pode especificar locais externos gerenciados pelo Unity Catalog para estas opções:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • Para Scala, StreamingQueryListener requer o Databricks Runtime 16.1 ou versões superiores.
  • Para Python, StreamingQueryListener requer o Databricks Runtime 14.3 LTS ou superior para usar credenciais ou interagir com objetos gerenciados pelo Catálogo do Unity na computação com o modo de acesso padrão.

Limitações do Kernel Scala para o modo de acesso padrão do Catálogo do Unity

As limitações a seguir se aplicam ao usar o kernel scala na computação do modo de acesso padrão.

  • Determinadas classes não poderão ser usadas em seu código se entrarem em conflito com a biblioteca interna do kernel de amêndoa, principalmente Input. Para obter uma lista das importações definidas da amêndoa, consulte as importações de amêndoas.
  • Não há suporte para fazer logon diretamente no log4j.
  • Na interface do usuário, não há suporte para a lista suspensa de esquema do dataframe.
  • Se o driver atingir o OOM, o Scala REPL não será encerrado.
  • //connector/sql-aws-connectors:sql-aws-connectors não está no destino de bazel do Scala REPL, use os resultados em ClassNotFoundException.
  • Não há suporte para streaming do Scala.
  • O kernel Scala é incompatível com SQLImplicits.

Limitações e requisitos de acesso à rede e ao sistema de arquivos para o modo de acesso padrão do Catálogo Unity

  • Você precisa executar comandos em nós de computação como um usuário de baixo privilégio proibido de acessar partes confidenciais do sistema de arquivos.
  • Não há suporte para caminhos no estilo POSIX (/) para DBFS.
  • Somente administradores de workspace e usuários com permissões ANY FILE podem interagir diretamente com arquivos usando DBFS.
  • No Databricks Runtime 11.3 LTS e versões anteriores, você só pode criar conexões de rede para as portas 80 e 443.
  • Não é possível se conectar ao serviço de metadados de instância ou ao Azure WireServer.

Limitações gerais do Catálogo do Unity

As limitações a seguir se aplicam a todos os modos de acesso habilitados para o Catálogo do Unity.

Limitações de streaming para o Catálogo do Unity

  • Não há suporte para o modo de processamento contínuo do Apache Spark. Consulte Processamento contínuo no Guia de programação de streaming estruturado do Spark.

Veja também as limitações de streaming para o modo de acesso dedicado do Catálogo do Unity e limitações de streaming e requisitos para o modo de acesso padrão do Catálogo do Unity.

Para saber mais sobre streaming com o Catálogo do Unity, confira Usando o Catálogo do Unity com o Streaming Estruturado.

Limitações da API do Spark para o Catálogo do Unity

As APIs RDD não têm suporte.