Limitações com Databricks Connect for Python

Nota

Este artigo aborda o Databricks Connect para o Databricks Runtime 13.3 LTS ou posterior.

Este artigo lista limitações do Databricks Connect para Python. O Databricks Connect permite-lhe ligar IDEs populares, servidores de cadernos e aplicações personalizadas a clusters do Azure Databricks. Consulte Databricks Connect. Para a versão Scala deste artigo, consulte Limitações com o Databricks Connect for Scala.

Importante

Dependendo da versão de Python, Databricks Runtime e Databricks Connect que está a usar, pode haver requisitos de versão para algumas funcionalidades. Consulte Requisitos de uso do Databricks Connect.

Disponibilidade de funcionalidades

Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:

• Transmissão foreachBatch
• Criação de DataFrames maiores que 128 MB
• Consultas com mais de 3600 segundos de duração

Não disponível no Databricks Connect for Databricks Runtime 15.3 e inferior:

• ApplyinPandas() e Cogroup() com cálculo em modo de acesso padrão

Não disponível no Databricks Connect for Databricks Runtime 16.3 e abaixo:

• Na computação sem servidor, as UDFs não podem incluir bibliotecas personalizadas.

Não disponível:

• dataframe.display() API (Interface de Programação de Aplicações)
• Utilitários Databricks: credentials, library, notebook workflow, widgets
• Spark Contexto
• Conjuntos de Dados Distribuídos Resilientes (RDDs)
• Bibliotecas que usam RDDs, Spark Context ou acessam a JVM subjacente do Spark, como Mosaic geospatial, GraphFrames ou GreatExpectations
• CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
• Alterar o log level do log4j através de SparkContext
• O treinamento distribuído de ML não é suportado.
• Sincronizando o ambiente de desenvolvimento local com o cluster remoto