Che cosa sono i volumi del catalogo Unity?

I volumi sono oggetti del catalogo Unity che consentono la governance su set di dati non tabulari. I volumi rappresentano un volume logico di archiviazione in un percorso di archiviazione di oggetti cloud. I volumi offrono funzionalità per l'accesso, l'archiviazione, la governance e l'organizzazione dei file.

Mentre le tabelle forniscono la governance sui set di dati tabulari, i volumi aggiungono governance su set di dati non tabulari. È possibile usare volumi per archiviare e accedere ai file in qualsiasi formato, inclusi dati strutturati, semistrutturati e non strutturati.

Databricks consiglia di usare volumi per gestire l'accesso a tutti i dati non tabulari. Come le tabelle, i volumi possono essere gestiti o esterni.

Importante

Non è possibile usare i volumi come percorso per le tabelle. I volumi sono destinati solo all'accesso ai dati basato sul percorso. Usare le tabelle quando si vogliono usare dati tabulari in Unity Catalog.

Gli articoli seguenti forniscono altre informazioni sull'uso dei volumi:

• Creare e gestire volumi.
• Gestire i file nei volumi.
• Esplorare l'archiviazione e trovare i file di dati.
• Volumi gestiti e esterni.
• Quali sono i privilegi per i volumi?.

Nota

Quando si usano volumi, è necessario usare un'istanza di SQL Warehouse o un cluster che esegue Databricks Runtime 13.3 LTS o versione successiva, a meno che non si usino interfacce utente di Azure Databricks, ad esempio Esplora cataloghi.

Che cos'è un volume gestito?

Un volume gestito è un volume di archiviazione regolamentato dal catalogo unity creato all'interno del percorso di archiviazione gestito dello schema contenitore. Vedere Specificare un percorso di archiviazione gestito nel catalogo unity.

I volumi gestiti consentono la creazione di risorse di archiviazione regolamentate per lavorare con i file senza sovraccarico di percorsi esterni e credenziali di archiviazione. Non è necessario specificare un percorso durante la creazione di un volume gestito e l'accesso ai file per i dati nei volumi gestiti avvierà tramite percorsi gestiti da Unity Catalog.

Che cos'è un volume esterno?

Un volume esterno è un volume di archiviazione regolamentato dal catalogo Unity registrato in una directory all'interno di una posizione esterna usando le credenziali di archiviazione regolamentate dal catalogo unity.

Il catalogo unity non gestisce il ciclo di vita e il layout dei file nei volumi esterni. Quando si elimina un volume esterno, Unity Catalog non elimina i dati sottostanti.

Quale percorso viene usato per accedere ai file in un volume?

I volumi si trovano al terzo livello dello spazio dei nomi a tre livelli del catalogo Unity (catalog.schema.volume):

Il percorso per accedere ai volumi è lo stesso sia che si usi Apache Spark, SQL, Python o altri linguaggi e librerie. Questo comportamento differisce dai modelli di accesso legacy per i file nell'archiviazione oggetti associati a un'area di lavoro di Azure Databricks.

Il percorso per accedere ai file nei volumi usa il formato seguente:

/Volumes/<catalog>/<schema>/<volume>/<path>/<file-name>

Azure Databricks supporta anche uno schema facoltativo dbfs:/ quando si usa Apache Spark, quindi funziona anche il percorso seguente:

dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>/<file-name>

La sequenza /<catalog>/<schema>/<volume> nel percorso corrisponde ai tre nomi di oggetti del catalogo Unity associati al file. Questi elementi di percorso sono di sola lettura e non direttamente scrivibili dagli utenti, ovvero non è possibile creare o eliminare queste directory usando le operazioni del file system. Vengono gestiti e mantenuti automaticamente sincronizzati con le entità del catalogo Unity corrispondenti.

Nota

È anche possibile accedere ai dati in volumi esterni usando gli URI di archiviazione cloud.

Percorsi riservati per i volumi

I volumi introduce i percorsi riservati seguenti usati per l'accesso ai volumi:

• dbfs:/Volumes
• /Volumes

Nota

I percorsi sono riservati anche a potenziali errori di digitazioni per questi percorsi dalle API Apache Spark e dbutils, tra cui /volumes, /Volume, /volumeindipendentemente dal fatto che siano preceduti da dbfs:/. Il percorso /dbfs/Volumes è riservato, ma non può essere usato per accedere ai volumi.

I volumi sono supportati solo in Databricks Runtime 13.3 LTS e versioni successive. In Databricks Runtime 12.2 LTS e versioni successive le operazioni sui /Volumes percorsi potrebbero avere esito positivo, ma possono scrivere solo dati in dischi di archiviazione temporanei collegati ai cluster di calcolo anziché rendere persistenti i dati nei volumi di Unity Catalog come previsto.

Importante

Se si dispone di dati preesistenti archiviati in un percorso riservato nella radice DBFS, è possibile inviare un ticket di supporto per ottenere l'accesso temporaneo a questi dati per spostarli in un'altra posizione.

Limiti

È necessario usare il calcolo abilitato per Unity Catalog per interagire con i volumi del catalogo Unity. I volumi non supportano tutti i carichi di lavoro.

Nota

I volumi non supportano dbutils.fs i comandi distribuiti agli executor.

Si applicano le limitazioni seguenti:

In Databricks Runtime 14.3 LTS e versioni successive:

• Nei cluster utente singolo non è possibile accedere ai volumi dai thread e dai sottoprocessi in Scala.

In Databricks Runtime 14.2 e versioni successive:

• Nel calcolo configurato con la modalità di accesso condiviso non è possibile usare funzioni definite dall'utente per accedere ai volumi.
  • Sia Python che Scala hanno accesso a FUSE dal driver, ma non dagli executor.
  • Il codice Scala che esegue operazioni di I/O può essere eseguito sul driver, ma non sugli executor.
• Nel calcolo configurato con la modalità di accesso utente singolo non è disponibile alcun supporto per FUSE in Scala, il codice I/O scala che accede ai dati usando percorsi di volume o funzioni definite dall'utente Scala. Le funzioni definite dall'utente Python sono supportate in modalità accesso utente singolo.

In tutte le versioni di Databricks Runtime supportate:

• Le funzioni definite dall'utente del catalogo Unity non supportano l'accesso ai percorsi dei file del volume.

• Non è possibile accedere ai volumi da RDD.

• Non è possibile usare spark-submit con file JAR archiviati in un volume.

• Non è possibile definire le dipendenze ad altre librerie a cui si accede tramite percorsi di volume all'interno di un file WHEEL o JAR.

• Non è possibile elencare gli oggetti catalogo unity usando i /Volumes/<catalog-name> modelli o /Volumes/<catalog-name>/<schema-name> . È necessario usare un percorso completo che includa un nome di volume.

• L'endpoint DBFS per l'API REST non supporta i percorsi dei volumi.

• Non è possibile specificare volumi come destinazione per il recapito dei log del cluster.

• %sh mv non è supportato per lo spostamento di file tra volumi. In sostituzione utilizzare dbutils.fs.mv o %sh cp.

• Non è possibile creare un file system Hadoop personalizzato con volumi, ovvero non è supportato quanto segue:

  import org.apache.hadoop.fs.Path
  val path =  new Path("dbfs:/Volumes/main/default/test-volume/file.txt")
  val fs = path.getFileSystem(sc.hadoopConfiguration)
  fs.listStatus(path)
  

• I volumi non sono disponibili in aree o aree di lavoro Azure per enti pubblici con conformità FedRAMP.

• È necessario usare il formato del percorso con uno dbfs:/ schema nel pannello di configurazione della libreria di Azure Data Factory. Ad esempio: dbfs:/Volumes/<catalog-name>/<schema-name>/<volume-name>/file.