Requisiti per le pipeline indipendenti

Questa pagina descrive i requisiti per la creazione e l'aggiornamento di viste materializzate autonome e tabelle di streaming.

È possibile creare e aggiornare viste materializzate autonome e tabelle di streaming usando un'istanza di SQL Warehouse. Per inviare istruzioni CREATE e REFRESH, usare l'editor SQL nell'interfaccia utente Azure Databricks, Databricks SQL CLI o l'API SQL Databricks SQL API.

È anche possibile creare e aggiornare viste materializzate autonome e tabelle di streaming da un notebook in esecuzione in un ambiente di calcolo generale serverless (beta, disponibilità a livello di area limitata). Vedere Notebook.

Requisiti generali

I requisiti seguenti si applicano a tutte le pipeline autonome.

Devi avere:

Autorizzazioni per creare o aggiornare

Il proprietario (l'utente che crea la tabella) deve disporre delle autorizzazioni seguenti:

  • SELECT privilegio sulle tabelle di base.
  • USE CATALOG e USE SCHEMA privilegi per il catalogo e lo schema contenenti le tabelle di origine.
  • USE CATALOG e USE SCHEMA privilegi per il catalogo e lo schema di destinazione.
  • CREATE MATERIALIZED VIEW privilegio sullo schema contenente la vista materializzata.
  • CREATE TABLE privilegio sullo schema contenente la tabella di streaming. Anche le pipeline che usano la modalità legacy di pubblicazione richiedono anche il privilegio CREATE TABLE per le viste materializzate.

Per aggiornare una vista materializzata autonoma o una tabella di streaming:

  • È necessario trovarsi nell'area di lavoro in cui è stato creato.
  • È necessario avere il privilegio REFRESH sulla tabella. I proprietari hanno questo privilegio in modo implicito.

Requisiti della tabella di origine

Per l'aggiornamento incrementale delle viste materializzate dalle tabelle Delta, è necessario che nelle tabelle di origine sia abilitato il rilevamento delle righe.

Magazzini SQL

Per creare o aggiornare viste materializzate autonome e tabelle di streaming tramite un SQL warehouse, è necessario disporre di un SQL warehouse Pro o serverless abilitato per Unity Catalog.

Notebooks

È possibile creare e aggiornare viste materializzate autonome e tabelle di streaming da un notebook con calcolo generale serverless.

Calcolo generico serverless

Importante

La creazione e l'aggiornamento di viste materializzate autonome e tabelle di streaming da un notebook in un ambiente di calcolo generale serverless sono disponibili in Beta. Questa funzionalità è disponibile solo nelle aree selezionate. Vedere Disponibilità a livello di area.

È possibile creare e aggiornare viste materializzate autonome e tabelle di streaming da un notebook collegato al calcolo generale serverless. Questa opzione è utile quando si vogliono definire ed eseguire viste materializzate o tabelle di streaming insieme ad altri flussi di lavoro basati su notebook senza effettuare il provisioning di un'istanza di SQL Warehouse.

Requisiti generali di calcolo serverless

  • Notebook collegato a un ambiente di calcolo generale serverless.
  • Databricks Runtime 18.1 o versione successiva. I notebook interattivi soddisfano automaticamente questo requisito; i processi aggiunti a una versione precedente non lo fanno.
  • L'area di lavoro deve trovarsi in un'area supportata.

Limitations

  • Solo il proprietario della tabella può aggiornare la tabella. Per consentire a un altro utente di eseguire l'aggiornamento, modificare il proprietario. Vedere Modificare il proprietario di una tabella di streaming e Modificare il proprietario di una vista materializzata.
  • Gli aggiornamenti asincroni non sono supportati. Usare invece un aggiornamento sincrono.
  • Il canale di anteprima non è supportato. Le tabelle create nel calcolo generico serverless usano il canale current.
  • Una tabella può essere aggiornata solo usando il tipo di calcolo con cui è stata creata. Una tabella creata su un SQL warehouse deve essere aggiornata su un SQL warehouse e una tabella creata su un ambiente di calcolo generico serverless deve essere aggiornata su un ambiente di calcolo generico serverless. Per controllare il tipo di calcolo, visualizzare la tabella in Esplora cataloghi.
  • L'attribuzione e il controllo dei costi non sono disponibili. Usa un SQL warehouse se hai bisogno dell'attribuzione dei costi per tabella.
  • La scalabilità automatica verticale in caso di errori di memoria insufficiente non è disponibile.
  • I nuovi tentativi degli aggiornamenti dello schema non sono disponibili.
  • La selezione della modalità prestazioni all'aggiornamento non è disponibile. Vedere Selezionare una modalità di prestazioni per gli aggiornamenti pianificati.

Note

spark.sql è supportato quando si esegue un aggiornamento in un notebook in un ambiente di calcolo generale serverless.

:::

Requisiti delle query

Per eseguire una query su una vista materializzata autonoma o su una tabella di streaming, è necessario esserne il proprietario oppure disporre di SELECT per la tabella, oltre che di USE CATALOG e USE SCHEMA per le relative tabelle padre.

È necessario usare una delle risorse di calcolo seguenti:

  • Magazzino SQL
  • Interfacce dei Pipeline dichiarative di Lakeflow Spark
  • Calcolo in modalità di accesso standard (in precedenza modalità di accesso condiviso)
  • Calcolo in modalità di accesso dedicato (in precedenza modalità accesso utente singolo) in Databricks Runtime 15.4 o versione successiva, se l'area di lavoro è abilitata per il calcolo serverless. Vedere Controllo di accesso con granularità fine in calcolo dedicato. Se si è il proprietario, è possibile usare il calcolo in modalità di accesso dedicato che esegue Databricks Runtime 14.3 o versione successiva.

Per le tabelle di streaming in Databricks Runtime 15.3 e versioni successive, è possibile usare risorse di calcolo dedicate per eseguire query su una tabella di streaming solo se è proprietaria. Databricks Runtime 15.4 LTS e versioni successive supportano l'esecuzione di query su tabelle generate dalla pipeline in calcolo dedicato anche se non si è il proprietario. È possibile che vengano addebitati costi per le risorse di calcolo serverless quando si usa un calcolo dedicato per eseguire operazioni di filtro dei dati. Vedere Controllo di accesso con granularità fine in calcolo dedicato.

Disponibilità a livello regionale

Le tabelle create e aggiornate tramite un warehouse SQL di Databricks sono disponibili in tutte le regioni che supportano i warehouse SQL serverless di Databricks.

La creazione e l'aggiornamento di viste materializzate autonome e tabelle di streaming in calcolo generale serverless sono disponibili solo nelle aree selezionate.

Per l'elenco delle aree supportate per entrambe le opzioni di calcolo, vedere Disponibilità serverless.

  • Last updated on