Limitações do modo de acesso à computação para o Catálogo do Unity

  • Artigo

O Databricks recomenda o uso do Catálogo do Unity e do modo de acesso compartilhado para a maioria das cargas de trabalho. Este artigo descreve várias limitações para cada modo de acesso com o Catálogo do Unity. Para obter detalhes sobre os modos de acesso, confira Modos de acesso.

O Databricks recomenda o uso de políticas de computação para simplificar as opções de configuração para a maioria dos usuários. Confira Criar e gerenciar políticas de computação.

Observação

O não isolamento compartilhado é um modo de acesso herdado que não dá suporte ao Catálogo do Unity.

Importante

Os scripts de inicialização e as bibliotecas têm suporte diferente nos modos de acesso e nas versões do Databricks Runtime. Veja Onde os scripts de inicialização podem ser instalados? e Bibliotecas com escopo de cluster.

Limitações do modo de acesso de usuário único no Catálogo do Unity

O modo de acesso de usuário único no Catálogo do Unity tem as seguintes limitações. Essas limitações são adicionais às limitações gerais de todos os modos de acesso do Catálogo do Unity. Consulte Limitações gerais do Catálogo do Unity.

Limitações de controle de acesso refinadas para o modo de acesso de usuário único do Catálogo do Unity

  • Não há suporte para exibições dinâmicas.

  • Para ler em uma exibição você deve ter SELECT em todas as tabelas e exibições referenciadas.

  • Não é possível acessar uma tabela que tenha um filtro de linha ou máscara de coluna.

  • Não é possível usar a computação de um único usuário para consultar as tabelas criadas por um pipeline do Delta Live Tables ativado pelo Catálogo do Unity, incluindo tabelas de streaming e visualizações materializadas criadas no Databricks SQL. Para consultar as tabelas criadas por um pipeline do Delta Live Tables, você deve usar uma computação compartilhada usando o Databricks Runtime 13.1 e superior.

Limitações de streaming para o modo de acesso de usuário único do Catálogo do Unity

  • Não há suporte para o ponto de verificação assíncrono no Databricks Runtime 11.3 e inferior.

Limitações do modo de acesso compartilhado no Catálogo do Unity

O modo de acesso compartilhado no Catálogo do Unity tem as seguintes limitações. Essas limitações são adicionais às limitações gerais de todos os modos de acesso do Catálogo do Unity. Consulte Limitações gerais do Catálogo do Unity.

  • Não há suporte para ML do Databricks Runtime e a Biblioteca do Microsoft Machine Learning para Apache Spark (MLlib).

  • Não há suporte para trabalhos spark-submit.

  • Quando usados com passagem de credencial, os recursos do Catálogo do Unity são desabilitados.

  • Não há suporte para os contêineres personalizados.

Suporte à linguagem para o modo de acesso compartilhado do Catálogo do Unity

  • Não há suporte para o R.
  • O Scala tem suporte no Databricks Runtime 13.3 e superior.

Limitações da API do Spark para o modo de acesso compartilhado do Catálogo do Unity

  • As APIs RDD não têm suporte.
  • DBUtils e outros clientes que leem os dados diretamente do armazenamento em nuvem não têm suporte.
  • O Spark Context (sc), spark.sparkContext e sqlContext não tem suporte para o Scala em nenhum Databricks Runtime nem para o Python no Databricks Runtime 14.0 e superior.
    • O Databricks recomenda usar a variável spark para interagir com a instância SparkSession.
    • Também não há suporte para as seguintes funções sc: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty e getConf.

Limitações de UDF para o modo de acesso compartilhado do Catálogo do Unity

Importante

O suporte para UDFs do Scala em computação habilitada para o Catálogo Unity com modo de acesso compartilhado está em Visualização Pública.

As funções definidas pelo usuário (UDFs) têm as seguintes limitações no modo de acesso compartilhado:

  • UDFs do Hive não têm suporte.

  • applyInPandas e mapInPandas não tem suporte.

  • As UDFs escalares do Python têm suporte no Databricks Runtime 14.2 e superior. Não há suporte para outras UDFs e UDAFs do Scala.

  • No Databricks Runtime 13.2 e superior, há suporte para UDFs escalares do Python e UDFs do Pandas. Outras UDFs do Python, incluindo UDAFs, UDTFs e Pandas no Spark, não têm suporte.

Consulte UDFs (funções definidas pelo usuário) no Catálogo do Unity.

Limitações de streaming para o modo de acesso compartilhado do Catálogo do Unity

Observação

Algumas das opções listadas do Kafka têm suporte limitado quando usadas para configurações com suporte no Azure Databricks. Confira Processamento de fluxos com o Apache Kafka e o Azure Databricks.

  • Para o Scala, não há suporte para foreach e foreachBatch.
  • Para o Scala, from_avro requer o Databricks Runtime 14.2 ou superior.
  • Não há suporte para applyInPandasWithState.
  • Não há suporte para trabalhar com fontes de soquete.
  • A sourceArchiveDir deve estar no mesmo local externo que a origem quando você usa option("cleanSource", "archive") com uma fonte de dados gerenciada pelo Catálogo do Unity.
  • Para fontes e coletores kafka, as seguintes opções não têm suporte:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • As seguintes opções do Kafka têm suporte no Databricks Runtime 13.0, mas não têm suporte no Databricks Runtime 12.2 LTS. Você só pode especificar locais externos gerenciados pelo Unity Catalog para estas opções:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Limitações de acesso à rede e ao sistema de arquivos para o modo de acesso compartilhado do Catálogo do Unity

  • Deve executar comandos em nós de computação como um usuário de baixo privilégio proibido de acessar partes confidenciais do sistema de arquivos.

  • No Databricks Runtime 11.3 LTS e versões anteriores, você só pode criar conexões de rede para as portas 80 e 443.

  • Não é possível se conectar ao serviço de metadados da instância ou ao Azure WireServer.

Limitações gerais do Catálogo do Unity

As limitações a seguir se aplicam a todos os modos de acesso habilitados para o Catálogo do Unity.

Limitações de streaming para o Catálogo do Unity

  • Não há suporte para o modo de processamento contínuo do Apache Spark. Consulte Processamento contínuo no Guia de programação de streaming estruturado do Spark.
  • StreamingQueryListener não pode usar credenciais nem interagir com objetos gerenciados pelo Unity Catalog.

Consulte também Limitações de streaming para o modo de acesso de usuário único do Catálogo do Unity e Limitações de streaming para o modo de acesso compartilhado do Catálogo do Unity.

Para saber mais sobre streaming com o Catálogo do Unity, confira Usando o Catálogo do Unity com o Streaming Estruturado.