Che cos'è il data warehousing in Azure Databricks?

La piattaforma Azure Databricks Lakehouse offre una soluzione completa di data warehousing end-to-end. Databricks Lakehouse Platform è basato su standard e API aperti. Databricks Lakehouse combina le transazioni ACID e la governance dei dati dei data warehouse aziendali con la flessibilità e l'efficienza dei data lake. Databricks SQL descrive il data warehouse aziendale integrato nella piattaforma Azure Databricks Lakehouse che fornisce risorse di calcolo generali per l'analisi aziendale. L'offerta principale di Databricks SQL è un'istanza di SQL Warehouse.

Che cos'è la modellazione dei dati in Azure Databricks?

Azure Databricks organizza i dati archiviati con Delta Lake nell'archiviazione di oggetti cloud con relazioni familiari, ad esempio schemi di database, tabelle e viste. Azure Databricks consiglia un approccio a più livelli per convalidare, pulire e trasformare i dati per l'analisi. Per altre informazioni, vedere l'architettura medallion.

Che cos'è Databricks SQL?

Nota

Databricks SQL Serverless non è disponibile in Azure Cina. Databricks SQL non è disponibile nelle aree Azure per enti pubblici.

Databricks SQL fornisce risorse di calcolo generali per query, visualizzazioni e dashboard SQL eseguiti sulle tabelle nella lakehouse. All'interno di Databricks SQL, queste query, visualizzazioni e dashboard vengono sviluppate ed eseguite con l'editor SQL.

Che cos'è l'editor SQL?

Usare l'editor SQL predefinito per esplorare gli schemi e scrivere, condividere e riutilizzare le query usando una sintassi SQL familiare. Il codice SQL usato regolarmente può essere salvato come frammenti di codice per un riutilizzo rapido e i risultati delle query possono essere memorizzati nella cache per mantenere brevi i tempi di esecuzione. Inoltre, gli aggiornamenti delle query possono essere pianificati per l'aggiornamento automatico, nonché per inviare avvisi quando si verificano modifiche significative nei dati. Databricks SQL consente anche agli analisti di comprendere i dati tramite visualizzazioni e dashboard di trascinamento della selezione per un'analisi esplorativa ad hoc rapida.

Quali sono i tipi di magazzino disponibili?

Databricks SQL supporta tre tipi di warehouse, ognuno con diversi livelli di prestazioni e supporto delle funzionalità.

Nota

Per i prezzi per ogni tipo di warehouse e un confronto dettagliato delle funzionalità, vedere Databricks SQL. Per informazioni sulle funzionalità più recenti di Databricks SQL, vedere Note sulla versione di Databricks SQL.

  • Serverless: supporta tutte le funzionalità del tipo pro SQL Warehouse e le funzionalità avanzate delle prestazioni di Databricks SQL. I warehouse SQL vengono eseguiti nell'account Azure Databricks del cliente usando il calcolo serverless. Vedere Calcolo serverless.

    Se l'area di lavoro usa un firewall di Archiviazione di Azure, potrebbe essere necessario aggiornarla con gli intervalli IP serverless per l'area.

    Importante

    I warehouse SQL non supportano il pass-through delle credenziali. Databricks consiglia di usare Unity Catalog per la governance dei dati. Vedere Che cos'è il catalogo unity?.

  • Pro: supporta funzionalità aggiuntive delle prestazioni sql di Databricks (rispetto alla versione classica) e supporta tutte le funzionalità sql di Databricks.

  • Versione classica: supporta le funzionalità di prestazioni del livello di base e un set limitato di funzionalità sql di Databricks.

Quali sono le impostazioni predefinite del tipo di magazzino?

Per le aree di lavoro in aree che supportano i warehouse SQL serverless e soddisfano i requisiti:

  • Usando l'interfaccia utente, il tipo di sql warehouse predefinito è serverless.
  • Usando l'API SQL Warehouses con i parametri predefiniti, il tipo sql warehouse predefinito è classico. Per usare serverless, impostare il enable_serverless_compute parametro true su e impostare anche su prowarehouse_type . Se questa area di lavoro ha usato l'API SQL Warehouses per creare un warehouse tra il 1° novembre 2022 e il 19 maggio 2023 e soddisfa i requisiti per i warehouse SQL serverless, l'impostazione predefinita rimane impostata su true. Per evitare ambiguità, in particolare per le organizzazioni con molte aree di lavoro, Databricks consiglia di impostare sempre questo campo.
  • Se l'area di lavoro usa un metastore Hive esterno legacy, i warehouse SQL serverless non sono supportati. Il tipo di sql warehouse predefinito è uguale a se il calcolo serverless fosse disabilitato, che è pro nell'interfaccia utente e nella versione classica usando l'API. Contattare anche il rappresentante di Azure Databricks per altre informazioni su Unity Catalog o altre opzioni.

Per le aree di lavoro che non supportano sql warehouse serverless:

  • Usando l'interfaccia utente, il tipo sql warehouse predefinito è pro.
  • Usando l'API SQL Warehouses con i parametri predefiniti, il tipo sql warehouse predefinito è classico.

Strumenti di business intelligence di terze parti e SQL di Databricks

Databricks SQL supporta anche molti strumenti di business intelligence e visualizzazione di terze parti per la soluzione data warehouse di Azure Databricks. Vedere anche Databricks e PowerBI e Databricks e Tableau.

API SQL di Databricks

Databricks SQL offre anche un'API affidabile per le esigenze di programmazione.

Attività amministrative di Databricks SQL

Per informazioni sull'abilitazione di Databricks SQL, creazione e gestione di SQL Warehouse, gestione di utenti e accesso ai dati e altre attività amministrative, vedere Configurare l'area di lavoro per l'uso di Databricks SQL.

Strumenti di sviluppo

È possibile usare un'ampia gamma di strumenti di sviluppo per eseguire comandi e script SQL e per esplorare gli oggetti di database in Azure Databricks. Vedere Usare uno strumento di database SQL.