Agosto 2022

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati nel mese di agosto 2022.

Nota

Le versioni sono in fase. L'account Azure Databricks potrebbe non essere aggiornato fino a una settimana o più dopo la data di rilascio iniziale.

Driver ODBC di Databricks 2.6.26

29 agosto 2022

È stata rilasciata la versione 2.6.26 del driver ODBC di Databricks (download). Questa versione aggiorna il supporto della query. È ora possibile annullare le query in modo asincrono sulle connessioni HTTP alla richiesta API.

Questa versione risolve anche il problema seguente:

  • Quando si usano query personalizzate in Spotfire, il connettore diventa non rispondente.

Driver JDBC di Databricks 2.6.29

29 agosto 2022

È stata rilasciata la versione 2.6.29 del driver JDBC di Databricks (download). Questa versione risolve i problemi seguenti:

  • Quando si usa un proxy HTTP con Cloud Fetch abilitato, il connettore non restituisce risultati del set di dati di grandi dimensioni.
  • Problemi di testo secondari nel testo della licenza di Databricks. I collegamenti alla documentazione erano mancanti.
  • I nomi dei file JAR non sono corretti. Invece di SparkJDBC41.jar, dovrebbe essere databricksJDBC41.jar. Anziché SparkJDBC42.jar, dovrebbe essere DatabricksJDBC42.jar.

Client di Databricks Feature Store ora disponibile in PyPI

26 agosto 2022

Il client di Feature Store è ora disponibile in PyPI. Il client richiede Databricks Runtime 9.1 LTS o versione successiva e può essere installato usando:

%pip install databricks-feature-store

Il client è già in pacchetto con Databricks Runtime per Machine Learning 9.1 LTS e versioni successive.

Il client non può essere eseguito all'esterno di Databricks; Tuttavia, è possibile installarlo localmente per aiutare gli unit test e per il supporto IDE aggiuntivo (ad esempio, il completamento automatico). Per altre informazioni, vedere Client Python di Databricks Feature Store

Unity Catalog è ga

25 agosto 2022

Unity Catalog è disponibile a livello generale. Per annunci e limitazioni dettagliate sulle funzionalità, vedere Disponibilità generale del catalogo Unity.

La condivisione differenziale è ga

25 agosto 2022

La condivisione delta è ora disponibile a livello generale, a partire da Databricks Runtime 11.1. Per informazioni dettagliate, vedere Condividere i dati usando la condivisione Delta.

  • Databricks-to-Databricks Delta Sharing è completamente gestito senza la necessità di scambiare token.
  • Creare e gestire provider, destinatari e condivisioni con un'interfaccia utente semplice da usare.
  • Creare e gestire provider, destinatari e condivisioni con API SQL e REST con supporto completo dell'interfaccia della riga di comando e terraform.
  • Eseguire query su modifiche ai dati o condividere versioni incrementali con Feed di dati di modifica.
  • Limitare l'accesso ai destinatari per scaricare file di credenziali o eseguire query sui dati usando elenchi di accesso IP e restrizioni di area.
  • L'uso della condivisione delta per condividere i dati nello stesso account Di Azure Databricks è abilitato per impostazione predefinita.
  • Applicare la separazione dei compiti delegando la gestione della condivisione Delta agli amministratori non amministratori.

Databricks Runtime 11.2 (Beta)

23 agosto 2022

Databricks Runtime 11.2, 11.2 Photon e 11.2 ML sono ora disponibili come versioni beta.

Vedere le note sulla versione completa in Databricks Runtime 11.2 e Databricks Runtime 11.2per Machine Learning.

Volume di messaggi ridotto nell'interfaccia utente tabelle live Delta per pipeline continue

22 agosto 29, 2022: versione 3.79

Con questa versione, le transizioni di stato per le tabelle live in una pipeline continua di Tabelle live Delta vengono visualizzate solo nell'interfaccia utente fino a quando le tabelle non immettono lo stato in esecuzione. Le transizioni correlate alla ricomputazione corretta delle tabelle non vengono visualizzate nell'interfaccia utente, ma sono disponibili nel registro eventi Delta Live Tables a livello di METRICS. Tutte le transizioni agli stati di errore vengono comunque visualizzate nell'interfaccia utente. In precedenza, tutte le transizioni di stato sono state visualizzate nell'interfaccia utente per le tabelle live. Questa modifica riduce il volume degli eventi della pipeline visualizzati nell'interfaccia utente e semplifica la ricerca di messaggi importanti per le pipeline. Per altre informazioni sulla visualizzazione degli eventi della pipeline nell'interfaccia utente tabelle live Delta, vedere Creare, eseguire e gestire le pipeline di Tabelle live Delta. Per altre informazioni sull'esecuzione di query sul registro eventi, vedere Monitorare le pipeline con il registro eventi Delta Live Tables.

Configurazione più semplice del cluster per le pipeline di Tabelle live Delta

22 agosto 29, 2022: versione 3.79

È ora possibile selezionare una modalità cluster, la scalabilità automatica o la dimensione fissa, direttamente nell'interfaccia utente tabelle live delta quando si crea una pipeline. In precedenza, la configurazione di un cluster di scalabilità automatica richiedeva modifiche alle impostazioni JSON della pipeline. Per altre informazioni sulla creazione di una pipeline e sulla nuova impostazione della modalità cluster , vedere Creare una pipeline.

Orchestrare le attività dbt nei flussi di lavoro di Databricks (anteprima pubblica)

22 agosto 29, 2022: versione 3.79

È possibile eseguire il progetto dbt core come attività in un processo di Azure Databricks con la nuova attività dbt, consentendo di includere le trasformazioni dbt in un flusso di lavoro di elaborazione dati. Ad esempio, il flusso di lavoro può inserire dati con caricatore automatico, trasformare i dati con dbt e analizzare i dati con un'attività notebook. Per altre informazioni sull'attività dbt, incluso un esempio, vedere Usare dbt in un processo di Azure Databricks. Per altre informazioni sulla creazione, l'esecuzione e la pianificazione di un flusso di lavoro che include un'attività dbt, vedere Creare, eseguire e gestire processi di Azure Databricks.

La federazione delle identità è ga

25 agosto 2022

La federazione delle identità semplifica l'amministrazione di Azure Databricks consentendo di assegnare utenti, entità servizio e gruppi a aree di lavoro federate a identità. È ora possibile configurare e gestire tutti gli utenti, le entità servizio e i gruppi una volta nella console dell'account, anziché ripetere la configurazione separatamente in ogni area di lavoro. Per altre informazioni sulla federazione delle identità, vedere Come gli amministratori assegnano gli utenti alle aree di lavoro?. Per iniziare, vedere Come abilitare la federazione delle identità in un'area di lavoro.

Partner Connect supporta la connessione a Stardog

24 agosto 2022

È ora possibile creare facilmente una connessione tra Stardog e l'area di lavoro di Azure Databricks usando Partner Connect. Stardog offre una piattaforma knowledge graph per rispondere a query complesse tra i silo dati.

Integrazione dell'archivio funzionalità di Databricks con inferenza serverless Real-Time

22 agosto 29, 2022: versione 3.79

Databricks Feature Store supporta ora la ricerca automatica delle funzionalità per l'inferenza serverless Real-Time. Per informazioni dettagliate, vedere Ricerca automatica delle funzionalità.

Supporto aggiuntivo del tipo di dati per la ricerca automatica dell'archivio funzionalità di Databricks

22 agosto 29, 2022: versione 3.79

Databricks Feature Store supporta BooleanType ora la ricerca automatica delle funzionalità. Vedere Ricerca automatica delle funzionalità.

Portare la propria chiave: Crittografare le credenziali Git

23 agosto 29, 2022

È possibile usare una chiave di crittografia per le credenziali Git per Databricks Repos.

Vedere Bring your own key : Crittografare le credenziali Git.

L'anteprima dell'interfaccia utente del cluster e la modalità di accesso sostituisce la modalità di sicurezza

19 agosto 2022

La nuova interfaccia utente crea cluster è disponibile in anteprima. Vedere Creare un cluster.

Limitazioni del catalogo Unity (anteprima pubblica)

16 agosto 2022

  • Scala, R e carichi di lavoro che usano Machine Learning Runtime sono supportati solo nei cluster usando la modalità di accesso utente singolo. I carichi di lavoro in questi linguaggi non supportano l'uso di viste dinamiche per la sicurezza a livello di riga o a livello di colonna.
  • I cloni superficiali non sono supportati quando si usa il catalogo Unity come origine o destinazione del clone.
  • Il bucketing non è supportato per le tabelle del catalogo Unity. I comandi che tentano di creare una tabella in bucket nel catalogo unity genereranno un'eccezione.
  • La modalità di sovrascrittura per le operazioni di scrittura di dataframe in Unity Catalog è supportata solo per le tabelle Delta, non per altri formati di file. L'utente deve avere il CREATE privilegio per lo schema padre e deve essere il proprietario dell'oggetto esistente.
  • Lo streaming presenta attualmente le limitazioni seguenti:
    • Non è supportato nei cluster che usano la modalità di accesso condiviso. Per i carichi di lavoro di streaming, è necessario usare la modalità di accesso a un singolo utente.
    • Il checkpoint asincrono non è ancora supportato.
    • Le query di streaming durano più di 30 giorni in tutti i cluster puporse o processi genereranno un'eccezione. Per le query di streaming a esecuzione prolungata, configurare i tentativi automatici dei processi.
  • Il riferimento alle tabelle del catalogo Unity dalle pipeline delle tabelle live Delta non è attualmente supportato.
  • I gruppi creati in precedenza in un'area di lavoro non possono essere usati nelle istruzioni GRANT del catalogo Unity. Ciò consente di garantire una visualizzazione coerente dei gruppi che possono estendersi tra aree di lavoro. Per usare i gruppi nelle istruzioni GRANT, creare i gruppi nella console dell'account e aggiornare qualsiasi automazione per la gestione di entità o gruppi (ad esempio i connettori SCIM, Okta e AAD e Terraform) per fare riferimento agli endpoint dell'account anziché agli endpoint dell'area di lavoro.

Il catalogo unity è disponibile nelle aree seguenti:

  • canadacentral
  • centralus
  • francecentral
  • germanywestcentral
  • japaneast
  • norwayeast
  • southafricanorth
  • swedencentral
  • switzerlandnorth
  • switzerlandwest
  • uaenorth
  • westcentralus
  • westus3
  • australiaeast
  • brazilsouth
  • centralindia
  • eastus
  • eastus2
  • koreacentral
  • northcentralus
  • northeurope
  • southeastasia
  • ukwest
  • westeurope
  • westus

Per usare Il catalogo unity in un'altra area, contattare il rappresentante dell'account.

Inferenza Real-Time serverless in anteprima pubblica

16 agosto 2022

L'inferenza Real-Time serverless elabora i modelli di Machine Learning usando MLflow ed espone tali modelli come endpoint API REST. Questa funzionalità usa il calcolo serverless, il che significa che gli endpoint e le risorse di calcolo associate vengono gestiti ed eseguiti nell'account cloud di Azure Databricks. I costi di utilizzo e archiviazione sostenuti sono attualmente gratuiti, ma Azure Databricks fornirà una notifica all'inizio dell'addebito.

Gli amministratori dell'area di lavoro devono abilitare l'inferenza Real-Time serverless nell'area di lavoro per poter usare questa funzionalità.

Per altre informazioni, vedere Model serving with Serverless Real-Time Inference.For more information, see Model serving with Serverless Real-Time Inference. Per partecipare all'anteprima pubblica serverless Real-Time Inference, contattare il rappresentante di Databricks.

La ricerca nell'area di lavoro migliorata è ora disponibile a livello generale

9 agosto 2022

È ora possibile cercare notebook, librerie, cartelle, file e repository in base al nome. È anche possibile cercare contenuto all'interno di un notebook e visualizzare un'anteprima del contenuto corrispondente. I risultati della ricerca possono essere filtrati in base al tipo. Vedere Cercare un oggetto nell'area di lavoro.

Usare le colonne generate quando si creano set di dati Delta Live Tables

8-15 agosto 2022: versione 3.78

È ora possibile usare le colonne generate quando si definiscono le tabelle nelle pipeline delle tabelle live Delta. Le colonne generate sono supportate dalle interfacce Python e SQL di Delta Live Tables.

Modifica migliorata per i notebook con l'editor basato su Monaco (sperimentale)

8-15 agosto 2022

Per i notebook Python è disponibile un nuovo editor di codice basato su Monaco. Per abilitarla, selezionare l'opzione Attiva nuovo editor di codice basato su Monaco nella scheda Impostazioni notebook della pagina Impostazioni utente .

Il nuovo editor include hint per il tipo di parametro, ispezione degli oggetti al passaggio del mouse, riduzione del codice, supporto multi-cursore, selezione della colonna (casella) e differenze affiancate nella cronologia delle revisioni del notebook.

Termina il supporto della serie Databricks Runtime 10.3

2 agosto 2022

Il supporto per Databricks Runtime 10.3 e Databricks Runtime 10.3 per Machine Learning è terminato il 2 agosto. Vedere Ciclo di vita del supporto del runtime di Databricks.

2 agosto 2022

Azure Databricks supporta ora l'abilitazione di connessioni collegamento privato di Azure per la connettività privata tra gli utenti e le aree di lavoro di Azure Databricks e anche tra i cluster nel piano dati e i servizi principali nel piano di controllo all'interno dell'infrastruttura dell'area di lavoro di Databricks. collegamento privato di Azure si connette direttamente ai servizi senza esporre il traffico alla rete pubblica. Questa funzionalità è disponibile come anteprima pubblica. Vedere Abilitare collegamento privato di Azure.

Abilitare sql warehouse serverless per l'area di lavoro (anteprima pubblica)

2 agosto 2022

I data warehouse SQL serverless sono ora disponibili per gli account e le aree di lavoro in Azure Databricks come anteprima pubblica. Questa funzionalità richiede il piano tariffario Premium. Prima di creare warehouse serverless, un amministratore deve abilitarlo per l'area di lavoro.

Le tabelle live delta supportano ora l'aggiornamento solo delle tabelle selezionate negli aggiornamenti della pipeline

24 agosto 2022

È ora possibile avviare un aggiornamento solo per le tabelle selezionate in una pipeline di tabelle live Delta. Questa funzionalità accelera il test delle pipeline e la risoluzione degli errori consentendo di avviare un aggiornamento della pipeline che aggiorna solo le tabelle selezionate. Per informazioni su come avviare un aggiornamento solo delle tabelle selezionate, vedere Avviare un aggiornamento della pipeline per le tabelle selezionate. Per altre informazioni sugli aggiornamenti delle tabelle live Delta, vedere Aggiornamenti delle pipeline.

L'esecuzione del processo attende ora il completamento dell'installazione delle librerie cluster

1 agosto 2022

All'avvio di un cluster, i processi di Databricks ora attendono il completamento dell'installazione delle librerie cluster prima dell'esecuzione. In precedenza, le esecuzioni del processo attendevano che le librerie vengano installate in cluster di tutti gli scopi solo se sono state specificate come libreria dipendente per il processo. Per altre informazioni sulla configurazione delle librerie dipendenti per i processi, vedere Librerie dipendenti.