Usa Lakehouse Real-Time con dashboard AI/BI

Importante

Lakehouse Real-Time (Lakehouse//RT) è in fase Beta ed è in sviluppo attivo. Le caratteristiche delle prestazioni e il set di funzionalità supportato cambieranno prima della disponibilità generale. Per abilitarlo nel tuo account, contatta il team account Azure Databricks.

Puoi usare un Lakehouse//RT warehouse per alimentare dashboard AI/BI che richiedono risposte in meno di un secondo per centinaia o migliaia di utenti simultanei. Usa Lakehouse//RT per costruire nuovi cruscotti che rientrino nei limiti attuali. Non è consigliato migrare una dashboard esistente, poiché le dashboard esistenti spesso dipendono da funzionalità che Lakehouse//RT non supporta ancora, come Genie, tabelle esterne o materializzazione delle viste metriche.

Uso previsto

Lakehouse//RT fornisce una latenza inferiore al secondo per query selettive che leggono una piccola quantità di dati. Non accelera le query costose, come quelle che scansionano grandi quantità di dati o uniscono molte tabelle grandi.

I Guardrails di Lakehouse//RT (vedi Guardrails) impongono limiti rigidi invece di ridurre gradualmente le funzionalità, quindi prepara i tuoi carichi di lavoro prima di trasferirli in un warehouse Lakehouse//RT:

• Ottimizza le query costose filtrando in anticipo così scansionano meno dati.
• Pre-aggregare i risultati con le viste materializzate quando una dashboard legge molti meno dati di quanti ne scansioni.

Configura/Crea una dashboard su un warehouse Lakehouse//RT

Per pubblicare una dashboard AI/BI che gira su Lakehouse//RT, crea il warehouse e selezionalo come il warehouse della dashboard:

1. Crea un Lakehouse//RT warehouse, come qualsiasi altro SQL warehouse. Vedi Lakehouse in tempo reale.
2. Concedi agli utenti Possono usare o superiore sul warehouse. Il warehouse appare quindi nel picker di calcolo di authoring della dashboard per quegli utenti.
3. Nella tua dashboard, seleziona il warehouse Lakehouse//RT come warehouse della dashboard.
4. Pubblica la dashboard come al solito.

Guardrail

Per proteggere il servizio condiviso a bassa latenza, Lakehouse//RT applica limiti di risorsa per ogni interrogazione. Una query di dashboard che supera un limite di sicurezza restituisce un errore invece di essere eseguita lentamente, quindi progetta le tue query per rimanere comodamente entro questi limiti.

Questi valori sono stati impostati durante i test Beta e possono cambiare prima della disponibilità generale:

• Durata della query: 2 minuti. Lakehouse//RT annulla una query di widget che viene eseguita troppo a lungo. Una query che si avvicina a questo limite non raggiungerà l'obiettivo di meno di un secondo anche se completata, ed è più probabile che raggiunga i limiti di shuffle o spill indicati di seguito. Trattalo come un segnale per filtrare di più o pre-aggregare.
• Timeout dell'istruzione: 1 minuto per impostazione predefinita. Puoi configurare il timeout per istruzione fino al limite di runtime della query di 2 minuti.
• Byte di shuffle scritti per stadio: 300 GB. Aggregazioni o giunzioni larghe su tabelle grandi possono superare questo limite. Se una query supera tale limite, pre-aggregare con viste materializzate invece di unire grandi tabelle al momento della query.
• Dimensione dello spill: 30 GB, quando lo spill è abilitato.
• Elenco dei file dopo lo sfoltimento: 10.000 file, regolabile fino a 50.000. Se una query supera questo limite, applica un filtro sulle colonne di partizionamento o di liquid clustering in modo che la dashboard legga solo i file necessari.

Limitations

Le dashboard su un warehouse Lakehouse//RT ereditano tutte le limitazioni di Lakehouse//RT, incluso il supporto solo per le tabelle gestite del Catalogo Unity e solo per le query conformi SELECT ad ANSI. Converti altri tipi di tabelle, come tabelle esterne, in tabelle gestite prima di interrogarle.

Le seguenti limitazioni sono specifiche per i dashboard pubblicati con un warehouse Lakehouse//RT:

• Genie non è supportato.
• La materializzazione delle viste metriche locali non è supportata.

Come ottenere assistenza

Se continui ad avere problemi con una dashboard su Lakehouse//RT, raccogli le seguenti informazioni e contatta il supporto Azure Databricks:

• I messaggi di errore che vedi.
• Un'esportazione del tuo profilo di query, incluso il testo grezzo della query.
• Un link alla tua dashboard.
• Conferma che lo stesso errore non si verifica su un serverless SQL warehouse.