Limitações de computação sem servidor

Antes de mover notebooks ou tarefas para computação serverless, verifique os idiomas e APIs suportados, requisitos de acesso a dados, limites de funções definidas pelo usuário, regras de rede e requisitos de cache.

Suporte à linguagem e à API

  • Não há suporte para o R.
  • Há suporte apenas para APIs do Spark Connect. Não há suporte para as APIs RDD do Spark.
  • O Spark Connect, que é usado pela computação sem servidor, adia a análise e a resolução de nomes para o tempo de execução, o que pode alterar o comportamento do código. Consulte Comparar o Spark Connect com o Spark Classic.
  • O modo ANSI está ativado por padrão. Casts inválidos, transbordamento aritmético e entrada mal formada geram erros de runtime em vez de retornarem NULL silenciosamente ou um resultado incorreto. Para informações sobre como lidar com operações que alteram o comportamento e os limites para desativação, veja a seção de diferenças de comportamento do SQL no guia de migração.
  • O fuso horário padrão da sessão é Etc/UTC (Tempo Universal Coordenado). Para usar um fuso horário diferente, defina spark.sql.session.timeZone. Consulte Configurar propriedades do Spark para notebooks e trabalhos sem servidor.
  • Ao criar um DataFrame usando dados spark.createDataFramelocais, os tamanhos de linha não podem exceder 128 MB.

Acesso e armazenamento de dados

  • Você deve usar o Catálogo do Unity para se conectar a fontes de dados externas. Use locais externos para acessar o armazenamento em nuvem.
  • O acesso ao DBFS é limitado. Em vez disso, use volumes do Catálogo do Unity ou arquivos de espaço de trabalho.
  • O diretório de trabalho para notebooks e tarefas de trabalho não é garantido, então caminhos relativos de arquivos e importações relativas de Python podem falhar. Use caminhos absolutos para referenciar arquivos e importe código Python compartilhado como arquivos de workspace em vez de módulos relativos. Veja Trabalho com Python e módulos R.
  • Não há suporte para coordenadas maven.
  • Não há suporte para exibições temporárias globais. Use visualizações temporárias de sessão para resultados usados dentro de uma sessão. Para compartilhar resultados calculados entre sessões, escreva-os em uma tabela do Unity Catalog.

Funções definidas pelo usuário (UDFs)

  • As UDFs Python do Catálogo Unity em notebooks e tarefas serverless suportam acesso à rede de saída, sujeitas às políticas de rede do workspace e às restrições de rede das UDFs. O comando CREATE FUNCTION (External) não é suportado. O Databricks recomenda usar CREATE FUNCTION (SQL e Python) para criar UDFs suportados.
  • UDFs PySpark em computação serverless rodam em sandboxes isolados com limite padrão de memória de 1 GiB (1024 MiB) por sandbox. O Databricks gerencia esse limite. Os usuários não podem configurá-lo.
  • UDFs scala não podem ser usados dentro de funções de ordem superior.

Interface e registro em log

  • A interface do usuário do Spark não está disponível. Em vez disso, use o perfil de consulta para exibir informações sobre suas consultas do Spark. Confira Perfil de consulta.
  • Os logs do Spark não estão disponíveis. Os usuários só têm acesso aos logs do aplicativo do lado do cliente.

Acesso à rede e ao workspace

  • O acesso entre espaços de trabalho depende das regras de saída do espaço de trabalho de origem e das regras de entrada do espaço de trabalho de destino. O Beta de acesso entre espaços de trabalho suporta a configuração de pares de espaços de trabalho permitidos. Espaços de trabalho que usam o modo de compatibilidade mantêm suas restrições de rede pré-existentes. Consulte Acesso entre workspaces para requisitos e limitações específicas do serviço.
  • O Databricks Container Services não é suportado.
  • Computação serverless não consegue se conectar a recursos que só são acessíveis via IPv6. Os recursos devem estar acessíveis via IPv4.

Limitações de streaming

Computação serverless para notebooks e jobs suporta os seguintes gatilhos de Structured Streaming:

  • Trigger.AvailableNow(). O Databricks recomenda esse modo de gatilho para computação sem servidor.
  • Trigger.Once(). Esse modo preterido tem suporte, mas não é recomendado.

Os seguintes gatilhos não são suportados em notebooks serverless ou jobs:

  • Trigger.Continuous(interval).
  • Trigger.ProcessingTime(interval).
    • Por padrão, se você não especificar um modo de gatilho, o Apache Spark definirá o gatilho como Trigger.ProcessingTime("0 seconds"). Você deve definir um gatilho com suporte na computação sem servidor.

Se você tentar usar um gatilho sem suporte, a consulta gerará um erro INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED.

Essas restrições de acionamento não se aplicam aos modos de processamento de pipelines do Lakeflow. Para cargas de trabalho de streaming contínuo, use um pipeline serverless em modo contínuo ou use Trigger.AvailableNow() em um trabalho contínuo. O modo em tempo real em pipelines Lakeflow suporta cargas de trabalho operacionais em menos de um segundo, com requisitos específicos de tempo de execução, fonte, destino e operador.

Para obter um guia de decisão que mapeia casos de uso de streaming para o produto sem servidor correto, consulte Streaming na computação sem servidor.

Todas as limitações para streaming no modo de acesso padrão também se aplicam. Consulte Limitações de streaming.

Limitações de notebooks

  • Não há suporte para Scala e R em notebooks.
  • Não há suporte para bibliotecas JAR em notebooks. Para obter soluções alternativas, consulte Melhores práticas para computação sem servidor. Há suporte para tarefas JAR em trabalhos. Consulte Tarefa JAR para trabalhos.
  • Bibliotecas instaladas com %pip em uma sessão de notebook devem ser reinstaladas em uma nova sessão. Dependências configuradas no painel Ambiente utilizam o cache de ambiente sem servidor. Consulte Adicionar dependências ao notebook.
  • Não há suporte para o compartilhamento de tabelas temporárias e exibições ao compartilhar um notebook entre os usuários.
  • Autocomplete e Explorador de Variáveis para dataframes em cadernos não são suportados.
  • Por padrão, novos notebooks são salvos no formato .ipynb. Se o notebook for salvo no formato de origem, os metadados sem servidor poderão não ser capturados corretamente e alguns recursos poderão não funcionar conforme o esperado.
  • Não há suporte para tags de notebook. Use políticas de uso sem servidor para marcar o uso sem servidor.

Limitações de trabalho

  • Os logs de tarefas exibidos na página de execução de tarefas não são isolados por execução de tarefa e contêm saídas de múltiplas tarefas. Para entregar logs de aplicação para um volume em diretórios organizados por execução de tarefa, veja Entregar logs serverless para volumes do Catálogo Unity.
  • Não há suporte para bibliotecas de tarefas para tarefas de notebook. Em vez disso, use bibliotecas com escopo de notebook. Confira as bibliotecas Python no escopo do notebook.
  • Por padrão, trabalhos sem servidor não têm tempo limite de execução de consulta. Você pode definir um tempo limite de execução para consultas de trabalho usando a spark.databricks.execution.timeout propriedade. Para obter mais detalhes, consulte Configurar propriedades do Spark para notebooks e trabalhos sem servidor.
  • A computação sem servidor tem um runtime máximo de 7 dias. As execuções que excedem 7 dias são encerradas pela plataforma e não são repetidas. Para executar cargas de trabalho com mais de 7 dias, divida-as em execuções menores ou use a computação clássica.

Limitações específicas da computação

Não há suporte para os seguintes recursos específicos de computação:

Limitações de cache

  • Os metadados são armazenados em cache em sessões de computação sem servidor. Por isso, o contexto da sessão pode não ser totalmente redefinido ao alternar catálogos. Para limpar o contexto da sessão, redefina o recurso de computação sem servidor ou inicie uma nova sessão.
  • df.cache(), df.persist(), e df.unpersist() são suportados em ambientes serverless versão 5 e superiores quando o cache de DataFrame na Prévia Pública de computação serverless está habilitado. A pré-visualização não está disponível em espaços de trabalho com o perfil de segurança de conformidade habilitado. Consulte Requisitos para habilitação e requisitos do cliente.
  • As seguintes APIs de cache e comandos SQL não são suportados em computação serverless. Usar qualquer uma dessas APIs ou comandos SQL resulta em uma exceção.
  • O cache do modelo Spark ML é limitado a 1 GB (1073741824 bytes) por sessão, e um único modelo é limitado a 100 MB. Ambos os limites são menores na computação serverless do que na computação clássica, e nenhum pode ser alterado. Exceder o limite da sessão gera a exceção ML_CACHE_SIZE_OVERFLOW_EXCEPTION. Ultrapassar o limite por modelo gera MODEL_SIZE_OVERFLOW_EXCEPTION. Para liberar espaço no cache, apague as referências em Python a modelos que você não usa mais. Modelos não utilizados por 15 minutos são movidos para o disco local e ainda contam para o limite de sessão.

Limitações do Hive

  • Tabelas Hive SerDe não são suportadas. Além disso, não há suporte para o comando correspondente LOAD DATA que carrega dados em uma tabela do SerDe do Hive. Usar o comando resultará em uma exceção.

  • Variáveis do Hive (por exemplo ${env:var}, ${system:var}, ${configName} e spark.sql.variable) ou referências a variáveis de configuração usando a sintaxe ${var} não são suportadas. O uso de variáveis do Hive resultará em uma exceção.

    Em vez disso, use DECLARE VARIABLESET VARIABLEreferências de variáveis de sessão SQL e marcadores de parâmetro ('?', ou ':var') para declarar, modificar e referenciar o estado da sessão. Você também pode usar a cláusula IDENTIFIER para parametrizar nomes de objeto em muitos casos.

Fontes de dados com suporte

Para operações de linguagem de manipulação de dados (DML), a computação serverless permite os seguintes provedores de fontes de dados. Cada provedor também deve dar suporte à operação solicitada. A inclusão nesta lista não implica suporte para todas as operações de escrita, atualização ou exclusão. Por exemplo, a fonte do arquivo binário é somente de leitura.

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

A computação sem servidor dá suporte às seguintes fontes de dados para operações de leitura:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW(Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB