Share via

Novembre 2023

  • Articolo

Queste funzionalità e i miglioramenti della piattaforma Azure Databricks sono stati rilasciati a novembre 2023.

Nota

Le versioni vengono gestite in staging. L'area di lavoro di Azure Databricks potrebbe non essere aggiornata fino a una settimana o più dopo la data di rilascio iniziale.

Ricerca vettoriale di Databricks è anteprima pubblica

30 novembre 2023

Databricks Vector Search è un motore di ricerca di somiglianza serverless che consente di archiviare una rappresentazione vettoriale dei dati, inclusi i metadati, in un database vettoriale. Come parte di questa funzionalità, è possibile creare indici di ricerca vettoriali ad aggiornamento automatico dai dati in Unity Catalog ed eseguirne query con una semplice API per restituire i vettori più simili come parte dei flussi di lavoro RAG. Vedere Ricerca vettoriale di Databricks.

Gli elenchi di controlli di accesso non possono più essere disabilitati

29 novembre 2023

Le impostazioni seguenti sono abilitate in tutte le aree di lavoro del piano Premium e non possono più essere disabilitate dalla pagina delle impostazioni di amministrazione dell'area di lavoro o dall'API Conf dell'area di lavoro:

  • Controllo di accesso dell'area di lavoro: consente agli utenti di configurare le autorizzazioni per gli oggetti dell'area di lavoro.
  • Cluster, pool, controllo di accesso ai processi: consente agli utenti di configurare le autorizzazioni per cluster, pool e processi.
  • Controllo di visibilità del cluster: impedisce che i cluster siano visibili agli utenti che non dispongono di autorizzazioni per tali cluster.
  • Controllo di visibilità dei processi: impedisce che i processi siano visibili agli utenti che non dispongono di autorizzazioni per tali processi.
  • Impostazione del controllo della visibilità dell'area di lavoro: impedisce che i notebook e le cartelle siano visibili agli utenti che non dispongono di autorizzazioni per loro.

Le impostazioni di controllo di accesso sono state abilitate per impostazione predefinita nelle nuove aree di lavoro a partire da marzo 2018 e le impostazioni di controllo della visibilità sono state abilitate per impostazione predefinita a partire da dicembre 2020.

Per altre informazioni, vedere Elenchi di controllo di accesso.

Nuovi comportamenti e azioni in Esplora cataloghi per i volumi

22 novembre 2023

È ora possibile creare un nuovo volume nello schema di destinazione se non esiste alcuno dall'interfaccia utente carica nel volume . Vedere Caricare file in un volume del catalogo Unity.

Le azioni come Elimina file e Scarica file sono state aggiunte a Esplora cataloghi per i file nei volumi.

Databricks Runtime 14.2 è disponibile a livello generale

22 novembre 2023

Databricks Runtime 14.2 e Databricks Runtime 14.2 SONO ora disponibili a livello generale.

Vedere Databricks Runtime 14.2 e Databricks Runtime 14.2 per Machine Learning.

Databricks SQL Connessione or per Python versione 3.0.0

17 novembre 2023

È ora possibile eseguire pip install databricks-sql-connector==3.0.0.

Questa versione:

  • Rimuove il supporto per Python 3.7
  • Aggiunge il supporto per le query SQL con parametri native. Richiede DBR 14.2 e versioni successive. Per altre informazioni, vedere Uso di parametri nativi nel repository GitHub databricks-sql-python.
  • Include il dialetto SQLAlchemy completamente riscritto:
    • Aggiunge il supporto per SQLAlchemy >= 2.0 e elimina il supporto per SQLAlchemy 1.x
    • Copertura completa dei test end-to-end di tutte le funzionalità supportate
    • Note dettagliate sull'utilizzo disponibili qui
    • Aggiunge il supporto per:
      • Nuovi tipi: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric scala e precisione del tipo, ad esempio Numeric(10,2)
      • Lettura e scrittura PrimaryKeyConstraint e ForeignKeyConstraint
      • Lettura e scrittura di chiavi composite
      • Lettura e scrittura da visualizzazioni
      • Scrittura Identity in tabelle (chiavi primarie di inserimento automatico)
      • LIMIT e OFFSET per il paging dei risultati
      • Memorizzazione nella cache delle chiamate ai metadati
  • Abilita il recupero cloud per impostazione predefinita. Per disabilitare, impostare use_cloud_fetch=False durante la compilazione databricks.sql.clientdi .
  • Aggiungere test di integrazione per le query di inserimento dei volumi del catalogo Unity di Azure Databricks
  • Tentativi:
    • Aggiungere la _retry_max_redirects configurazione
    • Impostare _enable_v3_retries=True e avvisare se gli utenti ne eseguono l'override.
  • Sicurezza: urta la versione minima di pyarrow alla versione 14.0.1 (CVE-2023-47248)

Librerie nei file dell'area di lavoro supportate nei cluster condivisi senza isolamento

15 novembre 2023

È ora possibile installare le librerie archiviate come file dell'area di lavoro per calcolare configurate con la modalità di accesso condiviso senza isolamento in Databricks Runtime 14.1 e versioni successive.

Deprecazione delle librerie dell'area di lavoro

15 novembre 2023

Le librerie dell'area di lavoro sono ora deprecate e la creazione di nuove librerie dell'area di lavoro è stata disabilitata. Le librerie di aree di lavoro esistenti continuano a funzionare. Si noti che l'archiviazione delle librerie come file dell'area di lavoro è distinta dalle librerie dell'area di lavoro ed è ancora completamente supportata. È possibile installare le librerie archiviate come file dell'area di lavoro direttamente nelle attività di calcolo o di processo. Vedere Librerie.

Il supporto per i tipi di VM confidential computing di Azure è ora disponibile a livello generale

15 novembre 2023

Il supporto di Azure Databricks per i tipi di vm di confidential computing di Azure è ora disponibile a livello generale. Il confidential computing di Azure consente di proteggere i dati in uso, impedendo al provider di servizi cloud di accedere ai dati sensibili. Vedere Macchine virtuali di confidential computing di Azure.

13 novembre 2023

È ora possibile trovare set di dati, modelli di intelligenza artificiale e acceleratori di soluzioni Databricks in Databricks Marketplace usando la barra di ricerca globale nell'interfaccia utente dell'area di lavoro di Azure Databricks. Vedere Che cos'è Databricks Marketplace? e Cercare oggetti dell'area di lavoro.

Usare i prodotti dati in Databricks Marketplace usando piattaforme esterne

10 novembre 2023

I consumer senza un'area di lavoro di Azure Databricks abilitata per Unity possono ora accedere ai prodotti dati in Databricks Marketplace. È possibile usare connettori di condivisione differenziale aperti per accedere ai dati del Marketplace usando diverse piattaforme comuni, tra cui Microsoft Power BI, Microsoft Excel, pandas, Apache Spark e aree di lavoro di Databricks del catalogo non Unity. Solo i set di dati tabulari sono disponibili su piattaforme esterne ( ad esempio, notebook o modelli di Databricks). Vedere Accedere ai prodotti dati in Databricks Marketplace usando piattaforme esterne.

Supporto per sql warehouse serverless aggiunti per diverse aree di Azure

9 novembre 2023

Le aree di Azure seguenti supportano ora sql warehouse serverless:

  • Brasile meridionale (brasilesouth)
  • India centrale (centralindia)
  • Giappone orientale (japaneast)
  • Stati Uniti centro-settentrionali (northcentralus)
  • Regno Unito meridionale (uksouth)

Vedere Aree di Azure Databricks e Abilitare sql warehouse serverless.

Abilitazione automatica del catalogo Unity per le nuove aree di lavoro

9 novembre 2023

Databricks ha iniziato ad abilitare automaticamente Unity Catalog per le nuove aree di lavoro. In questo modo viene rimossa la necessità per gli amministratori dell'account di configurare Il catalogo unity dopo la creazione di un'area di lavoro. L'implementazione procederà gradualmente tra gli account. Vedere Abilitazione automatica del catalogo Unity.

Databricks Runtime 14.2 (beta)

8 novembre 2023

Databricks Runtime 14.2 e Databricks Runtime 14.2 ML sono ora disponibili come versioni beta.

Vedere Databricks Runtime 14.2 e Databricks Runtime 14.2 per Machine Learning.

Databricks Marketplace include acceleratori di soluzioni Databricks

7 novembre 2023

Databricks Marketplace offre ora l'accesso agli acceleratori di soluzioni Databricks, guide predefinite che forniscono notebook completamente funzionali, indicazioni sulle procedure consigliate e dati di esempio per configurare rapidamente con molti casi d'uso comuni in Azure Databricks. Vedere Ottenere l'accesso agli acceleratori di soluzioni databricks.

Lakehouse Federation aggiunge il supporto per Google BigQuery

3 novembre 2023

È ora possibile configurare la federazione lakehouse per eseguire query federate con il BigQuery tipo di connettore. Il nuovo connettore BigQuery è supportato in Databricks Runtime 13.3 LTS pro e serverless e versioni successive. Vedere Eseguire query federate in Google BigQuery.