Limitazioni della modalità di accesso di calcolo per il catalogo unity

  • Articolo

Databricks consiglia di usare Unity Catalog e la modalità di accesso condiviso per la maggior parte dei carichi di lavoro. Questo articolo illustra varie limitazioni per ogni modalità di accesso con Il catalogo unity. Per informazioni dettagliate sulle modalità di accesso, vedere Modalità di accesso.

Databricks consiglia di usare i criteri di calcolo per semplificare le opzioni di configurazione per la maggior parte degli utenti. Vedere Creare e gestire i criteri di calcolo.

Nota

Nessun isolamento condiviso è una modalità di accesso legacy che non supporta il catalogo Unity.

Importante

Gli script e le librerie Init hanno un supporto diverso tra le modalità di accesso e le versioni di Databricks Runtime. Vedere Dove è possibile installare gli script init ele librerie con ambito cluster.

Limitazioni della modalità di accesso utente singolo in Unity Catalog

La modalità di accesso utente singolo in Unity Catalog presenta le limitazioni seguenti. Oltre alle limitazioni generali per tutte le modalità di accesso al catalogo Unity. Vedere Limitazioni generali per il catalogo unity.

Limitazioni del controllo di accesso granulare per la modalità di accesso utente singolo di Unity Catalog

  • Le visualizzazioni dinamiche non sono supportate.

  • Per leggere da una vista, è necessario disporre SELECT di tutte le tabelle e le viste a cui si fa riferimento.

  • Non è possibile accedere a una tabella con un filtro di riga o una maschera di colonna.

  • Non è possibile usare un singolo calcolo utente per eseguire query sulle tabelle create da una pipeline delta live di Tabelle live abilitate per Il catalogo Unity, incluse le tabelle di streaming e le viste materializzate create in Databricks SQL. Per eseguire query sulle tabelle create da una pipeline di tabelle live Delta, è necessario usare un ambiente di calcolo condiviso usando Databricks Runtime 13.3 LTS e versioni successive.

Limitazioni di streaming per la modalità di accesso utente singolo di Unity Catalog

  • Il checkpoint asincrono non è supportato in Databricks Runtime 11.3 LTS e versioni successive.

Limitazioni della modalità di accesso condiviso nel catalogo unity

La modalità di accesso condiviso in Unity Catalog presenta le limitazioni seguenti. Oltre alle limitazioni generali per tutte le modalità di accesso al catalogo Unity. Vedere Limitazioni generali per il catalogo unity.

  • Databricks Runtime ML e Spark Machine Learning Library (MLlib) non sono supportati.

  • I processi di invio a Spark non sono supportati.

  • In Databricks Runtime 13.3 e versioni successive, le singole righe non devono superare le dimensioni massime di 128 MB.

  • Se usato con il pass-through delle credenziali, le funzionalità del catalogo Unity sono disabilitate.

  • I contenitori personalizzati non sono supportati.

Supporto del linguaggio per la modalità di accesso condiviso del catalogo Unity

  • R non è supportato.
  • Scala è supportato in Databricks Runtime 13.3 e versioni successive.

Limitazioni dell'API Spark per la modalità di accesso condiviso di Unity Catalog

  • Le API RDD non sono supportate.
  • DBUtils e altri client che leggono direttamente i dati dall'archiviazione cloud sono supportati solo quando si usa una posizione esterna per accedere alla posizione di archiviazione. Vedere Creare una posizione esterna per connettere l'archiviazione cloud ad Azure Databricks.
  • Contesto Spark (sc),spark.sparkContexte sqlContext non sono supportati per Scala in qualsiasi runtime di Databricks e non sono supportati per Python in Databricks Runtime 14.0 e versioni successive.
    • Databricks consiglia di usare la spark variabile per interagire con l'istanza SparkSession .
    • Le funzioni seguenti sc non sono supportate anche: emptyRDD, rangeinit_batched_serializer, , parallelize, pickleFile, textFilebinaryRecordswholeTextFilesnewAPIHadoopRDDsequenceFilebinaryFilesnewAPIHadoopFile, . getConfhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalProperty

Limitazioni della funzione definita dall'utente per la modalità di accesso condiviso del catalogo Unity

Importante

Il supporto per le funzioni definite dall'utente scala nelle risorse di calcolo abilitate per il catalogo Unity con modalità di accesso condiviso è disponibile in anteprima pubblica.

Le funzioni definite dall'utente presentano le limitazioni seguenti con la modalità di accesso condiviso:

  • Le funzioni definite dall'utente Hive non sono supportate.

  • applyInPandas e mapInPandas non sono supportati in Databricks Runtime 14.2 e versioni successive.

  • In Databricks Runtime 14.2 e versioni successive sono supportate funzioni definite dall'utente scalari. Altre funzioni definite dall'utente e funzioni definite dall'utente scala non sono supportate.

  • In Databricks Runtime 13.3 LTS e versioni successive sono supportate funzioni definite dall'utente scalari Python e funzioni definite dall'utente Pandas. Altre funzioni definite dall'utente Python, incluse le funzioni definite dall'utente, le funzioni definite dall'utente e Pandas in Spark, non sono supportate.

Vedere Funzioni definite dall'utente (UDF) nel catalogo unity.

Limitazioni di streaming per la modalità di accesso condiviso del catalogo Unity

Nota

Alcune delle opzioni Kafka elencate hanno un supporto limitato quando vengono usate per le configurazioni supportate in Azure Databricks. Vedere Elaborazione di flussi con Apache Kafka e Azure Databricks.

  • Per Scala foreach e foreachBatch non sono supportati.
  • Per Python, foreachBatch ha un nuovo comportamento in Databricks Runtime 14.0 e versioni successive. Vedere Modifiche al comportamento per foreachBatch in Databricks Runtime 14.0.
  • Per Scala, from_avro richiede Databricks Runtime 14.2 o versione successiva.
  • applyInPandasWithState non è supportata.
  • L'uso delle origini socket non è supportato.
  • Deve sourceArchiveDir trovarsi nella stessa posizione esterna dell'origine quando si usa option("cleanSource", "archive") con un'origine dati gestita da Unity Catalog.
  • Per le origini e i sink Kafka, le opzioni seguenti non sono supportate:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Le opzioni Kafka seguenti sono supportate in Databricks Runtime 13.3 LTS e versioni successive, ma non supportate in Databricks Runtime 12.2 LTS. È possibile specificare solo percorsi esterni gestiti dal catalogo unity per queste opzioni:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Limitazioni di accesso alla rete e al file system per la modalità di accesso condiviso di Unity Catalog

  • È necessario eseguire comandi nei nodi di calcolo come utente con privilegi limitati non consentito di accedere a parti sensibili del file system.

  • In Databricks Runtime 11.3 LTS e versioni successive è possibile creare connessioni di rete solo alle porte 80 e 443.

  • Impossibile connettersi al servizio metadati dell'istanza o ad Azure WireServer.

Limitazioni generali per il catalogo unity

Le limitazioni seguenti si applicano a tutte le modalità di accesso abilitate per il catalogo unity.

Limitazioni di streaming per il catalogo unity

  • La modalità di elaborazione continua di Apache Spark non è supportata. Vedere Elaborazione continua nella Guida alla programmazione di Spark Structured Streaming.
  • StreamingQueryListener non può usare le credenziali o interagire con gli oggetti gestiti dal catalogo unity.

Vedere anche Limitazioni di streaming per la modalità di accesso utente singolo di Unity Catalog e Limitazioni di streaming per la modalità di accesso condiviso di Unity Catalog.

Per altre informazioni sullo streaming con Unity Catalog, vedere Uso di Unity Catalog con Structured Streaming.