Condividi tramite

Accedere ai dati di Databricks usando sistemi esterni

Questa pagina offre una panoramica delle funzionalità e delle raccomandazioni per rendere i dati gestiti e regolamentati da Azure Databricks disponibili per altri sistemi.

Questi modelli riguardano scenari in cui l'organizzazione deve integrare strumenti o sistemi attendibili ai dati di Azure Databricks. Per indicazioni sulla condivisione dei dati all'esterno dell'organizzazione, vedere Condividere i dati e gli asset di intelligenza artificiale in modo sicuro con gli utenti di altre organizzazioni.

Quale accesso esterno supporta Azure Databricks?

Azure Databricks consiglia di usare Unity Catalog per gestire tutti gli asset di dati. Il catalogo unity offre integrazioni ai client Delta Lake usando l'API REST unity e i client Apache Iceberg usando il catalogo REST Iceberg. Per un elenco completo delle integrazioni supportate, vedere Integrazioni del catalogo Unity.

La tabella seguente offre una panoramica dei formati di supporto e dei modelli di accesso per gli oggetti del catalogo Unity.

Oggetto di Catalogo Unity Formati supportati Modelli di accesso
Tabelle gestite Delta Lake, Iceberg API REST Unity, catalogo Iceberg REST, Delta Sharing
Tabelle esterne Delta Lake Unity REST API, catalogo REST Iceberg, Delta Sharing, URI cloud
Tabelle esterne CSV, JSON, Avro, Parquet, ORC, testo Unity REST API, URI di cloud
Volumi esterni Tutti i tipi di dati URI Cloud
Tabelle esterne* Delta Lake, Iceberg API REST unity, catalogo REST Iceberg (anteprima), condivisione delta
Tabelle esterne* CSV, JSON, Avro, Parquet, ORC, testo Unity REST API, URI di cloud

* Sono supportate solo le tabelle esterne federate tramite la federazione del catalogo . Per garantire letture aggiornate da motori esterni su tabelle esterne, i clienti possono aggiornare periodicamente i metadati usando processi Lakeflow.

Nota

Il supporto Iceberg descrive le tabelle create da Azure Databricks utilizzando Delta Lake, ma con le letture Iceberg (UniForm) abilitate.

Per ulteriori dettagli su questi oggetti del Catalogo Unity, vedere quanto segue:

Distribuzione delle credenziali di Unity Catalog

Il distributore di credenziali di Unity Catalog consente agli utenti di configurare client esterni per ereditare privilegi sui dati regolati da Azure Databricks. Sia i client Iceberg che Delta possono supportare la distribuzione di credenziali. Consultare la distribuzione delle credenziali del catalogo Unity per l'accesso al sistema esterno .

Leggere le tabelle con i clienti Delta

Usare l'API REST di Unity per leggere le tabelle gestite ed esterne del Unity Catalog supportate dai client Delta e basate su Delta Lake. Vedi Leggi le tabelle Databricks dai client Delta.

Con i client Iceberg, leggere le tabelle

Azure Databricks offre ai client Iceberg il supporto di sola lettura per le tabelle registrate in Unity Catalog. I client supportati includono Apache Spark, Apache Flink, Trino e Snowflake. Vedere Accedere alle tabelle di Azure Databricks dai client Apache Iceberg.

Condividere tabelle di sola lettura tra domini

È possibile usare la condivisione Delta per concedere l'accesso in sola lettura alle tabelle Delta gestite o esterne tra domini e sistemi supportati. I sistemi software che supportano letture senza copia delle tabelle di condivisione delta includono SAP, Amperity e Oracle. Consulta Condividi i dati e gli asset di intelligenza artificiale in modo sicuro con gli utenti di altre organizzazioni.

Nota

È anche possibile usare la condivisione Delta per concedere l'accesso in sola lettura ai clienti o ai partner. Delta Sharing supporta anche i dati condivisi usando Databricks Marketplace.

Creare, leggere e scrivere tabelle Delta esterne

Importante

La creazione di tabelle esterne del catalogo Unity da client Delta Lake esterni è disponibile in anteprima pubblica.

È possibile creare, leggere e scrivere tabelle esterne del catalogo Unity supportate da Delta Lake da client Delta Lake esterni usando URI e credenziali di archiviazione di oggetti cloud. Per creare tabelle, vedere Creare tabelle Delta esterne da client esterni.

Unity Catalog non regola le letture e le scritture eseguite direttamente nell'archiviazione di oggetti cloud da sistemi esterni, pertanto è necessario configurare criteri e credenziali aggiuntivi nell'account cloud per garantire che i criteri di governance dei dati vengano rispettati all'esterno di Azure Databricks.

Nota

La documentazione di Azure Databricks elenca le limitazioni e le considerazioni sulla compatibilità in base alle versioni di Databricks Runtime e alle funzionalità della piattaforma. È necessario confermare quali protocolli lettore e writer e quali funzionalità di tabella sono supportati dal client. Vedere delta.io.

Accedere a dati tabulari non Delta Lake con tabelle esterne

Le tabelle esterne del catalogo unity supportano molti formati diversi da Delta Lake, tra cui Parquet, ORC, CSV e JSON. Le tabelle esterne archiviano tutti i file di dati nelle directory in un percorso di archiviazione di oggetti cloud specificato da un URI cloud fornito durante la creazione della tabella. Altri sistemi accedono a questi file di dati direttamente dall'archiviazione di oggetti cloud.

Unity Catalog non regola le letture e le scritture eseguite direttamente nell'archiviazione di oggetti cloud da sistemi esterni, pertanto è necessario configurare criteri e credenziali aggiuntivi nell'account cloud per garantire che i criteri di governance dei dati vengano rispettati all'esterno di Azure Databricks.

La lettura e la scrittura in tabelle esterne da più sistemi possono causare problemi di coerenza e danneggiamento dei dati perché non vengono fornite garanzie transazionali per formati diversi da Delta Lake.

Il Catalogo Unity potrebbe non rilevare nuove partizioni scritte in tabelle esterne supportate da formati diversi da Delta Lake. Databricks consiglia di eseguire regolarmente MSCK REPAIR TABLE table_name per assicurarsi che Unity Catalog abbia registrato tutti i file di dati scritti da sistemi esterni.

Accedere a dati non tabulari con volumi esterni

Databricks consiglia di usare volumi esterni per archiviare file di dati non tabulari letti o scritti da sistemi esterni oltre ad Azure Databricks. Consulta Che cosa sono i volumi di Unity Catalog?.

Unity Catalog non regola le letture e le scritture eseguite direttamente nell'archiviazione di oggetti cloud da sistemi esterni, pertanto è necessario configurare criteri e credenziali aggiuntivi nell'account cloud per garantire che i criteri di governance dei dati vengano rispettati all'esterno di Azure Databricks.

Volumes offre API, SDK e altri strumenti per ottenere file da volumi e per inserirvi file. Consultare Usare i file nei volumi del catalogo Unity.

Nota

La Delta Sharing consente di condividere risorse con altri account di Azure Databricks, ma non si integra con sistemi esterni.

  • Last updated on