Note sulla versione di Databricks SQL 2021

Di seguito vengono descritti i miglioramenti e gli aggiornamenti in Databricks SQL da gennaio a dicembre 2021.

15 dicembre 2021

• Databricks SQL è disponibile a livello generale. Questo segna un importante traguardo nel fornirti la prima piattaforma lakehouse che unifica i carichi di lavoro di dati, intelligenza artificiale e business intelligence in un'unica posizione. Con GA, puoi aspettarti il livello più elevato di stabilità, supporto e prontezza a livello enterprise da Databricks per carichi di lavoro critici. Leggere il blog dell'annuncio GA per saperne di più.
• Gli avvisi vengono ora pianificati in modo indipendente dalle interrogazioni. Quando si crea un nuovo avviso e si crea una query, viene richiesto di creare anche una pianificazione per l'avviso. Se disponi di un avviso esistente, abbiamo duplicato la pianificazione dalla query originale. Questa modifica consente anche di impostare avvisi per le query Esegui come proprietario e Esegui come visualizzatore. Esegui come Proprietario le query vengono eseguite secondo la pianificazione dell'avviso designata con le credenziali del proprietario. Esegui come Visualizzatore le query vengono eseguite secondo la pianificazione degli avvisi designata con le credenziali dell'autore dell'avviso. Vedere Avvisi SQL di Databricks e Pianificare una query.
• È ora possibile riordinare i parametri sia nell'editor SQL che nei dashboard .
• La documentazione per la creazione di visualizzazioni di mappe di calore è stata ampliata. Consulta Opzioni mappa termica.

9 dicembre 2021

• Quando si crea una visualizzazione tabella, è ora possibile impostare il colore del carattere per una colonna su un valore statico o un intervallo di valori in base ai valori del campo della colonna. Il valore letterale viene confrontato con la soglia. Ad esempio, per colorare i risultati i cui valori superano 500000, creare la soglia > 500000, anziché > 500,000. Vedere formattare i colori delle colonne in modo condizionale.
• Le icone nel visualizzatore dello schema dell'editor SQL a schede permettono ora di distinguere tra tabelle e viste.

1 dicembre 2021

• È ora possibile applicare i parametri di configurazione SQL a livello di area di lavoro. Questi parametri si applicano automaticamente a tutti gli endpoint SQL esistenti e nuovi nell'area di lavoro. Consultare Impostare i parametri SQL.

18 novembre 2021

• Quando si visualizza la cronologia di una query, è ora possibile filtrare le query sull'entità servizio che le ha eseguite. Vedere Visualizzare la cronologia delle query.

• È ora possibile aprire l'editor SQL usando un collegamento alla barra laterale. Per aprire l'editor SQL, fare clic su Editor SQL.
• Se si dispone dell'autorizzazione per creare cluster di Data Science & Engineering, è ora possibile creare endpoint SQL cliccando prima su Crea nella barra laterale e poi su SQL Endpoint.
• Gli amministratori possono ora trasferire la proprietà di una query, di un dashboard o di un avviso a un altro utente tramite l'interfaccia utente. Vedere:
• Trasferire la proprietà di una query
• Trasferire la proprietà di un dashboard ereditario
• Trasferire la proprietà di un avviso

4 novembre 2021

• In una visualizzazione mappa (Choropleth), il numero massimo di passaggi di sfumatura per i colori nella legenda è stato aumentato da 11 a 20. Il valore predefinito è di 5 passaggi gradienti inclusi il colore Min , e il colore Max ,.
• L'editor SQL a schede supporta ora la gestione delle schede bulk. Se si fa clic con il pulsante destro del mouse su una scheda, verrà visualizzata l'opzione Chiudi altri, Chiudi a sinistra, Chiudi a destra e Chiudi tutto. Si noti che se si fa clic con il pulsante destro del mouse sulla prima o sull'ultima scheda, non verranno visualizzate le opzioni Chiudi a sinistra o Chiudi a destra.

28 ottobre 2021

• Quando si visualizza una tabella in Esplora cataloghi, sono disponibili due opzioni per semplificare l'interazione con la tabella:
• Fai clic su Crea > Query per creare una query che seleziona tutte le colonne e restituisce le prime 1000 righe.
• Fare clic su Crea > Quick Dashboard per aprire una pagina di configurazione in cui è possibile selezionare le colonne di interesse e creare un Dashboard insieme a query di supporto che forniscano alcune informazioni di base utilizzando tali colonne e mettano in risalto parametri a livello di Dashboard e altre funzionalità.

19 ottobre 2021

• I nuovi tasti di scelta rapida sono ora disponibili nell'editor a schede:
• Apri nuova scheda:
  • Finestre: Cmd+Alt+T
  • Mac: Cmd+Option+T
• Chiudi scheda corrente
  • Finestre: Cmd+Alt+W
  • Mac: Cmd+Option+W
• Apri finestra di dialogo query
  • Finestre: Cmd+Alt+O
  • Mac: Cmd+Option+O

23 settembre 2021

• È ora possibile creare un nuovo dashboard clonando un dashboard esistente, purché sia disponibile l'autorizzazione CAN RUN, CAN EDIT e CAN MANAGE per il dashboard e tutte le query upstream. Vedere Clonare un dashboard legacy.
• È ora possibile usare GROUP BY in una visualizzazione con più colonne dell'asse Y. Vedi il grafico a dispersione .
• È possibile ora usare {{ @@yPercent}} per formattare le etichette dei dati in un grafico a barre in pila non normalizzato. Vedi grafico a barre.
• Se si usa l'autenticazione SAML e le credenziali SAML scadono entro pochi minuti, viene ora richiesto in modo proattivo di accedere di nuovo prima di eseguire una query o aggiornare un dashboard. Ciò consente di evitare interruzioni dovute a credenziali scadute durante l'esecuzione della query.

20 settembre 2021

• È ora possibile trasferire la proprietà di dashboard, query e avvisi usando l'API REST Autorizzazioni. Consulta ACL di Query.

16 settembre 2021

• Nei risultati della query, i risultati BIGINT vengono ora serializzati come stringhe quando sono maggiori di 9007199254740991. Questo risolve un problema in cui i risultati BIGINT potrebbero essere troncati nei risultati della query. Altri risultati integer vengono comunque serializzati come numeri. La formattazione numerica per le etichette degli assi e i suggerimenti non si applica ai risultati BIGINT serializzati come stringhe. Per altre informazioni sui tipi di dati in Databricks SQL, vedere BIGINT Tipo.

7 settembre 2021

Databricks implementa le modifiche che seguono nel corso di una settimana. L'area di lavoro potrebbe non essere abilitata per queste modifiche fino al 7 settembre.

• Databricks SQL è ora disponibile in anteprima pubblica e abilitato per tutti gli utenti nelle nuove aree di lavoro.

Annotazioni

Se l'area di lavoro è stata abilitata per Databricks SQL durante l'anteprima pubblica, ovvero prima della settimana a partire dal 7 settembre 2021, gli utenti mantengono il diritto assegnato prima di tale data, a meno che non venga modificato. In altre parole, se un utente non ha accesso a Databricks SQL durante l'anteprima pubblica, non lo avrà ora, a meno che un amministratore non gli abbia dato.

• Gli amministratori possono gestire gli utenti che hanno accesso a Databricks SQL assegnando l'accesso SQL di Databricks entitlement (databricks-sql-access nell'API) a utenti o gruppi. Per impostazione predefinita, i nuovi utenti hanno questo diritto.

Gli amministratori possono limitare l'accesso a un utente o a un gruppo solo a Databricks SQL e impedire loro di accedere a Data Science & Engineering o Databricks Mosaic AI rimuovendo il diritto accesso all'area di lavoro ( nell'API) dall'utente o dal gruppo. Per impostazione predefinita, i nuovi utenti hanno questo diritto.

Importante

Per accedere ad Azure Databricks, un utente deve disporre dell'accesso a Databricks SQL o dell'accesso all'area di lavoro (o di entrambi).

• Un piccolo endpoint SQL classico chiamato Starter Endpoint è preconfigurato in tutte le aree di lavoro, così puoi iniziare subito a creare dashboard, visualizzazioni e query. Per gestire carichi di lavoro più complessi, è possibile aumentarne facilmente le dimensioni (per ridurre la latenza) o il numero di cluster sottostanti (per gestire più utenti simultanei). Per gestire i costi, l'endpoint iniziale è configurato per terminare dopo 120 minuti di inattività.

2 settembre 2021

• Gli utenti con l'autorizzazione CAN EDIT per un dashboard possono ora gestire la pianificazione dell'aggiornamento e l'elenco delle sottoscrizioni del dashboard. In precedenza, era necessaria l'autorizzazione CAN MANAGE. Per altre informazioni, vedere Aggiornare automaticamente un dashboard.

• Per impostazione predefinita, le visualizzazioni non vengono più ridimensionate in modo dinamico in base al numero di risultati restituiti, ma mantengono la stessa altezza indipendentemente dal numero di risultati. Per tornare al comportamento precedente e configurare una visualizzazione per il ridimensionamento dinamico, abilitare Ridimensionare dinamicamente l'altezza del pannello nelle impostazioni della visualizzazione nel dashboard. Per altre informazioni, vedere Opzioni tabella.
• Se si ha accesso a più di un'area di lavoro nello stesso account, è possibile cambiare area di lavoro all'interno di Databricks SQL. Clicca sull'icona dell'account nell'angolo inferiore sinistro della tua area di lavoro di Azure Databricks, quindi seleziona un'area di lavoro per accedervi.

01 luglio 2021

• Il nuovo Esplora cataloghi consente di esplorare e gestire facilmente le autorizzazioni per database e tabelle. Gli utenti possono visualizzare i dettagli dello schema, visualizzare in anteprima i dati di esempio e visualizzare i dettagli e le proprietà della tabella. Gli amministratori possono visualizzare e modificare i proprietari degli oggetti dati e i proprietari degli oggetti dati possono concedere e revocare le autorizzazioni. Per informazioni dettagliate, vedere Che cos'è Esplora cataloghi?.
• Gli assi Y nei grafici orizzontali sono stati aggiornati in modo da riflettere lo stesso ordinamento delle tabelle. Se in precedenza è stato selezionato l'ordinamento inverso, è possibile utilizzare l'interruttore Ordine inverso sulla scheda Asse Y per invertire il nuovo ordinamento.

23 giugno 2021

• Configurare facilmente gli endpoint SQL con i principali di servizio. È ora disponibile un controllo che consente di configurare un'entità servizio nell'impostazione degli endpoint SQL globali. Vedi Configurare un principale del servizio.
• Le visualizzazioni temporanee sono ora supportate.

17 giugno 2021

• Photon, il nuovo motore di esecuzione vettorializzato di Databricks, è ora attivo per impostazione predefinita per gli endpoint SQL appena creati (sia l'interfaccia utente che l'API REST). Foton accelera in modo trasparente
  • Scrive nelle tabelle Parquet e Delta.
  • Molte query SQL. Vedere Limitazioni.
• Gestire facilmente utenti e gruppi con comandi CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSe SHOW USERS. Per altre informazioni, vedere Istruzioni di sicurezza e Mostra istruzioni.
• L'editor di query e il browser di schemi sono più reattivi e veloci su schemi con più di 100 tabelle. In questi schemi, il browser dello schema non caricherà automaticamente tutte le colonne; L'elenco delle tabelle viene comunque visualizzato come di consueto, ma le colonne vengono caricate solo quando si fa clic su una tabella. Questa modifica influisce sul completamento automatico delle query nell'editor di query, perché dipende da queste informazioni per visualizzare i suggerimenti. Fino a quando non si espande una tabella e si caricano le relative colonne, tali suggerimenti non sono disponibili.

3 giugno 2021

• Gli amministratori delle aree di lavoro di Azure Databricks appena abilitate ora ricevono per impostazione predefinita il diritto di accesso SQL di Databricks e non è più necessario concedersi tale diritto tramite la console di amministrazione.
• Photon è ora disponibile in anteprima pubblica ed è abilitato di default per i nuovi endpoint SQL .
• Il bilanciamento del carico su più cluster è ora disponibile in anteprima pubblica.
• È ora possibile abilitare la collaborazione nei dashboard e nelle query con altri membri dell'organizzazione usando l'autorizzazione CAN EDIT. Vedere Elenchi di controllo di accesso.

26 maggio 2021

• SQL Analytics viene rinominata in Databricks SQL. Questa modifica ha i seguenti impatti per i clienti:

  • I riferimenti nell'interfaccia utente Web sono stati aggiornati.

  • Il diritto di concedere l'accesso a Databricks SQL è stato rinominato:

    • UI: accesso SQL di Databricks (in precedenza accesso ad Analisi SQL)
    • SCIM API: databricks-sql-access (in precedenza sql-analytics-access)

    Gli utenti, i gruppi e i principali di servizio con i privilegi precedenti sono stati migrati ai nuovi privilegi.

  • I tag per gli eventi del log di controllo correlati a Databricks SQL sono stati modificati:

    • Il prefisso per gli eventi SQL di Databricks è ora databrickssql.
    • changeSqlAnalyticsAcl è ora changeDatabricksSqlAcl.

• Aggiornamenti dei dashboard

  • Il nome file di esportazione del dashboard è stato aggiornato in modo che sia il nome del dashboard e il timestamp, anziché un UUID.
  • Il limite dei record di esportazione è stato elevato da 22.000 a 64.000.

13 maggio 2021

• Databricks SQL non tenta più di indovinare i tipi di colonna. In precedenza, una colonna con il formato xxxx-yy-dd veniva considerata automaticamente come data, anche se era un codice di identificazione. Ora quella colonna non viene più considerata automaticamente come data. È necessario specificare ciò nella query, se lo si desidera. Questa modifica può causare il malfunzionamento di alcune visualizzazioni che si basavano sul comportamento precedente. In questa versione, puoi modificare l'icona >Impostazioni>e l'opzione di compatibilità con le versioni precedenti per tornare al comportamento precedente. In una versione futura questa funzionalità verrà rimossa.

• L'editor di query dispone ora di un indicatore di progresso della query. Le modifiche di stato sono ora visibili in una barra di avanzamento aggiornata continuamente.

  

Problemi risolti

• Editor SQL L'editor SQL ora mantiene il testo selezionato e la posizione di scorrimento quando si passa da una scheda all'altra.
• Editor SQL Se si fa clic su "Esegui" in una query nell'editor SQL, quindi si passa a un'altra pagina e si ritorna mentre la query è ancora in esecuzione, l'editor visualizzerà lo stato corretto della query. Se la query viene completata mentre sei su un'altra pagina, i risultati della query saranno disponibili al ritorno alla pagina dell'editor SQL.
• È ora possibile usare MySQL 8.0 come metastore esterno.
• I comandi DESCRIBE DETAIL sulle tabelle Delta non falliscono più con java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• La lettura di file Parquet con timestamp INT96 non produce più errori.
• Quando un utente dispone dell'autorizzazione CAN RUN per una query e la esegue, se la query è stata creata da un altro utente, la cronologia delle query visualizza l'esecutore della query come utente.
• I valori Null vengono ora ignorati durante il rendering di un grafico, migliorando l'usabilità dei grafici. Ad esempio, in precedenza, le barre in un grafico a barre risulterebbero molto ridotte quando erano presenti valori Null. Ora gli assi vengono impostati in base solo ai valori non Null.