Informazioni generali sull'architettura di Azure Databricks

Questo articolo offre informazioni generali di alto livello sull'architettura di Azure Databricks, inclusa l'architettura enterprise, in combinazione con Azure.

Architettura di alto livello

Azure Databricks opera in base a un piano di controllo e a un piano di calcolo.

• Il piano di controllo include i servizi back-end gestiti da Azure Databricks nel proprio account Azure Databricks. L'applicazione Web si trova nel piano di controllo.

• Il piano di calcolo è il percorso dove vengono elaborati i dati. Esistono due tipi di piani di calcolo, a seconda del calcolo in uso.

  • A differenza dell'elaborazione serverless, le risorse di elaborazione serverless vengono eseguite in un piano di elaborazione serverless nell'account Azure Databricks.
  • Per il calcolo classico di Azure Databricks, le risorse di calcolo si trovano nella sottoscrizione di Azure. in quello che viene chiamato piano di calcolo classico. Questo si riferisce alla rete nella sottoscrizione di Azure e alle relative risorse.

  Per altre informazioni sul calcolo classico e sull'elaborazione serverless, vedere Tipi di calcolo.

Ogni area di lavoro di Azure Databricks ha un account di archiviazione di associato noto come account di archiviazione dell'area di lavoro. L'account di archiviazione dell'area di lavoro si trova nella sottoscrizione di Azure.

Il diagramma seguente descrive l'architettura complessiva di Azure Databricks.

Piano di elaborazione serverless

Nel piano di elaborazione serverless le risorse di calcolo di Azure Databricks vengono eseguite in un livello di calcolo all'interno dell'account Azure Databricks. Azure Databricks crea un piano di elaborazione serverless nella stessa area di Azure del piano di calcolo classico dell'area di lavoro. Quando si crea un'area di lavoro si seleziona questa area.

Per proteggere i dati dei clienti all'interno del piano di elaborazione serverless, questa viene eseguita entro un limite di rete per l'area di lavoro, con vari livelli di sicurezza per isolare le diverse aree di lavoro dei clienti di Azure Databricks e i controlli di rete aggiuntivi tra i cluster dello stesso cliente.

Per altre informazioni sulla rete nel piano di elaborazione serverless, vedere Rete del piano di elaborazione serverless.

Piano di calcolo classico

Nel calcolo classico di Azure Databricks, le risorse di calcolo si vengono eseguite nella sottoscrizione di Azure. Le nuove risorse di calcolo vengono create all'interno della rete virtuale di ogni area di lavoro nella sottoscrizione di Azure del cliente.

Un piano di calcolo classico ha un isolamento naturale perché viene eseguito nella sottoscrizione di Azure del singolo cliente. Per altre informazioni sulla rete nel piano di calcolo classico, vedere rete del piano di calcolo classico.

Per il supporto a livello di area, vedere Aree di Azure Databricks.

Account di archiviazione dell'area di lavoro

Quando si crea un'area di lavoro, Azure Databricks crea un account nella sottoscrizione di Azure da usare come account di archiviazione dell'area di lavoro.

L'account di archiviazione dell'area di lavoro contiene:

• Dati di sistema dell'area di lavoro: i dati di sistema dell'area di lavoro vengono generati quando si usano varie funzionalità di Azure Databricks, ad esempio la creazione di notebook. Questo bucket include le revisioni del notebook, i dettagli di esecuzione del lavoro, i risultati dei comandi e i log di Spark
• DBFS: DBFS (Databricks File System) è un file system distribuito in ambienti Azure Databricks accessibili nello spazio dei nomi dbfs:/. I montaggi DBFS radicale e DBFS si trovano entrambi nello spazio dei nomi dbfs:/. L'archiviazione e l'accesso ai dati tramite la radice DBFS root o i montaggi DBFS è un modello deprecato e non consigliato da Databricks. Per altre informazioni vedere Cos'è DBFS?
• Catalogo dell'area di lavoro Unity Catalog: se l'area di lavoro è stata abilitata automaticamente per Unity Catalog, l'account di archiviazione dell'area di lavoro contiene il catalogo predefinito dell'area di lavoro. Tutti gli utenti dell'area di lavoro possono creare risorse nello schema predefinito in questo catalogo. Vedere Configurare e gestire Unity Catalog.

Per limitare l'accesso all'account di archiviazione dell'area di lavoro solo da risorse e reti autorizzate, vedere Abilitare il supporto del firewall per l'account di archiviazione dell'area di lavoro.