Limitações de computação sem servidor

Este artigo explica as limitações atuais da computação sem servidor para notebooks e trabalhos. Começando com uma visão geral das considerações mais importantes, seguida por uma lista de referência abrangente de limitações.

Visão geral das limitações

Antes de criar novas cargas de trabalho ou migrar cargas de trabalho para computação sem servidor, primeiro considere as seguintes limitações:

• Python e SQL são as únicas linguagens suportadas.
• Apenas as APIs do Spark connect são suportadas. As APIs RDD do Spark não são suportadas.
• As bibliotecas JAR não são suportadas. Para obter soluções alternativas, consulte Práticas recomendadas para computação sem servidor.
• A computação sem servidor tem acesso irrestrito para todos os usuários do espaço de trabalho.
• Não há suporte para tags de bloco de anotações.
• Para streaming, apenas a lógica de lote incremental pode ser usada. Não há suporte para intervalos de gatilho padrão ou baseados em tempo. Consulte Limitações de streaming.

Lista de referências de limitações

As seções a seguir listam as limitações atuais da computação sem servidor.

A computação sem servidor é baseada na arquitetura de computação compartilhada. As limitações mais relevantes herdadas da computação compartilhada estão listadas abaixo, juntamente com limitações adicionais específicas sem servidor. Para obter uma lista completa das limitações de computação compartilhada, consulte Limitações do modo de acesso de computação para o Unity Catalog.

Limitações gerais

• Scala e R não são suportados.

• ANSI SQL é o padrão ao escrever SQL. Desative o modo ANSI definindo spark.sql.ansi.enabled como false.

• As APIs RDD do Spark não são suportadas.

• Spark Context (sc), spark.sparkContexte sqlContext não são suportados.

• Os Serviços de Contêiner Databricks não são suportados.

• O terminal web não é suportado.

• Nenhuma consulta pode ser executada por mais de 48 horas.

• Você deve usar o Unity Catalog para se conectar a fontes de dados externas. Use locais externos para acessar o armazenamento em nuvem.

• O suporte para fontes de dados é limitado a AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT e XML.

• As funções definidas pelo utilizador (UDFs) não podem aceder à Internet.

• As linhas individuais não devem exceder o tamanho máximo de 128MB.

• A interface do usuário do Spark não está disponível. Em vez disso, use o perfil de consulta para exibir informações sobre suas consultas do Spark. Consulte Perfil de consulta.

• Clientes Python que usam pontos de extremidade Databricks podem encontrar erros de verificação SSL, como "CERTIFICATE_VERIFY_FAILED". Para contornar esses erros, configure o cliente para confiar no arquivo CA localizado em /etc/ssl/certs/ca-certificates.crt. Por exemplo, execute o seguinte comando no início de um bloco de anotações ou trabalho sem servidor: import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

• Não há suporte para solicitações de API entre espaços de trabalho.

Limitações de streaming

• Não há suporte para intervalos de gatilho padrão ou baseados em tempo. Só o Trigger.AvailableNow é suportado. Consulte Configurar intervalos de gatilho de Streaming Estruturado.
• Todas as limitações para streaming no modo de acesso compartilhado também se aplicam. Consulte Limitações e requisitos de streaming para o modo de acesso compartilhado do Unity Catalog.

Limitações do aprendizado de máquina

• O Databricks Runtime for Machine Learning e o Apache Spark MLlib não são suportados.
• GPUs não são suportadas.

Limitações dos blocos de notas

• Os notebooks têm acesso a 8 GB de memória que não pode ser configurada.
• As bibliotecas com escopo de bloco de anotações não são armazenadas em cache nas sessões de desenvolvimento.
• Não há suporte para o compartilhamento de tabelas e exibições TEMP ao compartilhar um bloco de anotações entre usuários.
• O Preenchimento Automático e o Explorador de Variáveis para quadros de dados em blocos de notas não são suportados.

Limitações do fluxo de trabalho

• O tamanho do driver para computação sem servidor para trabalhos está atualmente fixo e não pode ser alterado.
• Os logs de tarefas não são isolados por tarefa executada. Os logs conterão a saída de várias tarefas.
• As bibliotecas de tarefas não são suportadas para tarefas do bloco de notas. Em vez disso, use bibliotecas com escopo de bloco de anotações. Veja Bibliotecas em Python com âmbito de bloco de notas.

Limitações específicas da computação

Não há suporte para os seguintes recursos específicos de computação:

• Políticas de computação
• Scripts de inicialização com escopo de computação
• Bibliotecas com escopo de computação, incluindo fontes de dados personalizadas e extensões do Spark. Em vez disso, use bibliotecas com escopo de bloco de anotações.
• Configurações de acesso a dados em nível de computação, incluindo perfis de instância. Como consequência, o acesso a tabelas e arquivos via HMS em caminhos de nuvem, ou com montagens DBFS que não têm credenciais incorporadas, não funcionará.
• Conjuntos de instâncias
• Computar logs de eventos
• Configurações de computação e variáveis de ambiente do Apache Spark