Novità e pianificazione di OneLake in Microsoft Fabric
Articolo
Importante
I piani di versione descrivono le funzionalità che potrebbero essere state rilasciate o meno. Le sequenze temporali di consegna e le funzionalità proiettate possono cambiare o non essere spedite. Per altre informazioni, vedere Criteri Microsoft.
OneLake è un singolo data Lake logico e unificato per l'intera organizzazione. Come OneDrive, OneLake viene fornito automaticamente con ogni tenant di Microsoft Fabric ed è progettato per essere l'unica posizione per tutti i dati di analisi.
Tutti i dati in OneLake funzionano con la governance predefinita, ad esempio la derivazione dei dati, la protezione dei dati, la certificazione, l'integrazione del catalogo e così via, ed è infine sotto il controllo di un amministratore tenant. All'interno di un tenant, le aree di lavoro consentono a diverse parti dell'organizzazione di lavorare in modo indipendente, pur contribuendo allo stesso data lake.
OneLake è aperto a ogni livello. OneLake supporta le stesse API e SDK di ADLS Gen2 per essere compatibili con le applicazioni ADLS Gen2 esistenti e può supportare qualsiasi tipo di file, strutturato o non strutturato.
OneLake mira a offrire il massimo valore possibile da una singola copia di dati. Con i collegamenti a OneLake è possibile unificare i dati tra domini, cloud e account creando un riferimento ai dati archiviati in altri percorsi di file, ad esempio altri percorsi di OneLake o ADLS o S3 senza spostamento o duplicazione dei dati. È anche possibile usare gli stessi dati in più motori analitici perché i motori fabric archiviano tutti i dati tabulari nei formati parquet aperti. Non è più necessario copiare i dati solo per usarli con un altro motore.
Collegamenti di tabella OneLake ai dati di Iceberg
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Con Microsoft OneLake sarà possibile creare collegamenti di tabella ai dati di Iceberg in altre posizioni e questi dati verranno visualizzati automaticamente con il formato Delta Lake.
OneLake produce automaticamente metadati Delta Lake virtualizzati e lo rende disponibile tramite il collegamento OneLake. Ciò significa che è possibile usare i dati di Iceberg con tutti i carichi di lavoro di Fabric che funzionano con dati formattati Delta Lake.
Modello di sicurezza OneLake
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
La gestione della sicurezza dei dati tra più motori analitici e copie dei dati è complessa. OneLake e Fabric semplificano questa operazione abilitando l'uso di una singola copia dei dati in più motori analitici senza spostamento o duplicazione dei dati. Prendendo ulteriormente il concetto di "copia singola", OneLake sta migliorando la sicurezza con un modello più granulare, consentendo l'accesso a tabelle e cartelle oltre alla sicurezza a livello di riga e colonna. Queste definizioni di sicurezza usano i dati e passano attraverso collegamenti a qualsiasi posizione in cui vengono usati i dati. La sicurezza definita in OneLake viene applicata in modo costituito da più motori analitici dell'infrastruttura.
Disponibilità generale dei ruoli di accesso ai dati OneLake
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
I ruoli di accesso ai dati di OneLake si basano sulle funzionalità esistenti del modello di sicurezza di OneLake per aumentare la granularità in base alla quale è possibile applicare la sicurezza all'interno di un elemento di dati di Fabric. Questa funzionalità aggiunge un modello di controllo degli accessi in base al ruolo ereditabile (controllo degli accessi in base al ruolo) che semplifica la gestione degli utenti e delle autorizzazioni per i dati in OneLake. È possibile definire ruoli di sicurezza che concedono l'accesso in lettura a cartelle specifiche in OneLake e assegnarli a utenti o gruppi. Le autorizzazioni di accesso determinano le cartelle che gli utenti vedono quando accedono alla vista lake dei dati attraverso l'UX del lakehouse, i notebook o le API di OneLake.
Supporto della cache per il gateway dati locale nei collegamenti Onelake
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
La memorizzazione dei collegamenti nella cache può essere usata per ridurre i costi di uscita associati all'accesso ai dati tra cloud. Man mano che i file vengono letti tramite un collegamento esterno, vengono archiviati in una cache per l'area di lavoro Fabric. Le richieste di lettura successive vengono gestite dalla cache anziché dal provider di archiviazione remota. Con l'introduzione del supporto della cache per il gateway dati locale, è possibile sfruttare queste funzionalità durante la connessione a dati o dati locali dietro un firewall.
Supporto CI/CD per i tasti di scelta rapida di Onelake
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Gli strumenti di gestione del ciclo di vita di Microsoft Fabric forniscono un sistema standardizzato per la comunicazione e la collaborazione tra tutti i membri del team di sviluppo per tutta la vita del prodotto.
Con l'introduzione del supporto CI/CD per i collegamenti a Onelake, è possibile gestire la distribuzione, ent di collegamenti Onelake in ambienti diversi.
Facile gestione dei collegamenti Onelake orfani
Sequenza temporale di rilascio stimata: Q1 2025
Quando gli utenti cambiano team, lasciano l'organizzazione o perdono determinati accessi, i tasti di scelta rapida di Onelkae possono diventare inutilizzabili. Con le nuove funzionalità di gestione di questi collegamenti orfani, è possibile ripristinare in modo rapido i collegamenti senza alcun impatto aziendale.
Crittografia OneLake con chiavi gestite dal cliente
Sequenza temporale di rilascio stimata: Q2 2025
Tipo di versione: anteprima pubblica
Nell'ambito della roadmap strategica per migliorare la sicurezza e la conformità dei dati, si prevede di introdurre il supporto per chiavi gestite dal cliente (CMK) in OneLake. In questo modo le organizzazioni avranno un maggiore controllo sulle chiavi di crittografia dei dati. Con la chiave gestita dal cliente, gli utenti potranno gestire le proprie chiavi di crittografia, assicurandosi che i dati siano protetti in conformità ai criteri di sicurezza e ai requisiti normativi specifici. Se la chiave del cliente viene revocata, Microsoft perderà l'accesso ai dati dei clienti in OneLake.
Funzionalità spedite
Catalogo Di Fabric OneLake
Spedito (Q4 2024)
Tipo di versione: disponibilità generale
Il catalogo OneLake è una soluzione completa per esplorare, gestire e gestire l'intero patrimonio di dati di Fabric. Il catalogo OneLake è un'evoluzione dell'esperienza dell'hub dati OneLake con miglioramenti che consentiranno a tutti gli utenti di Fabric di individuare e gestire dati attendibili, nonché di fornire governance per i proprietari di dati con informazioni dettagliate preziose, azioni consigliate e strumenti. Il catalogo OneLake include due schede: Explore e Govern. Nella scheda Esplora gli utenti possono esplorare e gestire tutti gli elementi dell'infrastruttura a cui hanno accesso in un'unica posizione centrale con filtri per domini, tipo di elemento, proprietario, verifica dell'autenticità, tag e altro ancora. Gli utenti possono fare doppio clic su un elemento fabric per eseguire azioni o esplorare la descrizione, la derivazione dei dati, le autorizzazioni e l'attività. Inoltre, nella scheda Governance i proprietari dei dati possono visualizzare una panoramica dei dati con informazioni dettagliate sull'autenticità, l'etichettatura dei dati, il tipo di dati e altro ancora e ottenere azioni consigliate per migliorare la qualità e la conformità dei dati. La scheda Esplora è ora disponibile a livello generale e la scheda Governance sarà presto disponibile in anteprima.
Supporto di Databricks Unity Catalog per OneLake
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Integrazione del catalogo Unity di Azure Databricks con Microsoft Fabric
Sarà possibile accedere alle tabelle di Azure Databricks Unity Catalog direttamente in Microsoft Fabric, semplificando l'unificazione di Azure Databricks con Microsoft Fabric. Dal portale di Fabric è possibile creare e configurare un nuovo elemento del catalogo Unity di Azure Databricks in Fabric con pochi clic. È possibile aggiungere un catalogo completo, uno schema o persino singole tabelle da collegare e la gestione di questo elemento di Azure Databricks in OneLake, un collegamento connesso al catalogo unity, viene gestito automaticamente.
Questi dati funzionano come qualsiasi altro dato in OneLake: è possibile scrivere query SQL o usarli con qualsiasi altro carico di lavoro in Fabric, incluso Power BI tramite la modalità Direct Lake. Quando i dati vengono modificati o le tabelle vengono aggiunti, rimossi o rinominati in Azure Databricks, i dati in Fabric rimarranno sempre sincronizzati. Questa nuova integrazione semplifica l'unificazione dei dati di Azure Databricks in Fabric e la usa facilmente in ogni carico di lavoro di Fabric.
Collegamenti a OneLake ai dati locali
Spedito (Q2 2 2024)
Tipo di versione: anteprima pubblica
I collegamenti a Microsoft OneLake si espandono per includere origini dati locali e con restrizioni di rete. Con questa funzionalità, è possibile unificare i dati locali e cloud in OneLake.
Durante la creazione di collegamenti a AWS S3, Google Cloud Storage o bucket compatibili con S3, sarà possibile selezionare facoltativamente un gateway dati locale (OPDG) per stabilire la connettività.
Collegamenti all'archiviazione cloud di Google
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
OneLake espanderà il supporto dei collegamenti a Google Cloud Storage, consentendo la virtualizzazione dei dati senza spostarli o duplicarli. Ciò consente l'integrazione dei dati di Google Cloud Storage con servizi Microsoft come ADLS gen2, OneLake, Dataverse e Amazon S3. I dati verranno visualizzati e funzionano come se fossero in OneLake e offrono un semplice data lake in grado di estendersi su cloud.
API collegamenti
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
UN'API REST pubblica per automatizzare la creazione e la gestione degli scenari di scelta rapida.
Memorizzazione nella cache intelligente per i collegamenti amazon S3
Spedito (Q4 2023)
Tipo di versione: anteprima pubblica
La memorizzazione intelligente nella cache per i collegamenti Amazon S3 riduce i costi di uscita e migliora le prestazioni portando i dati più vicini al motore di calcolo. La memorizzazione intelligente nella cache egresserà i dati da S3 una sola volta, memorizzarli nella cache in locale in OneLake per un determinato periodo. In questo modo si elimina la necessità di recuperare dati ripetuti da S3. I dati memorizzati nella cache possono essere riutilizzati tra più utenti, motori di analisi e scenari che ottimizzano il valore di un singolo uscita.
Gli ingegneri dei dati Fabric devono avere competenze nell'ambito dei modelli di caricamento dei dati, delle architetture dei dati e dei processi di orchestrazione.