Leggere in inglese

Condividi tramite


Novità e pianificazione di Data Factory in Microsoft Fabric

Importante

I piani di versione descrivono le funzionalità che potrebbero essere state rilasciate o meno. Le sequenze temporali di consegna e le funzionalità proiettate possono cambiare o non essere spedite. Per altre informazioni, vedere Criteri Microsoft.

Data Factory in Microsoft Fabric combina l'integrazione dei dati cittadini e le funzionalità di integrazione dei dati pro in un'unica esperienza di integrazione dei dati moderna. Offre connettività a più di 100 database relazionali e non relazionali, lakehouse, data warehouse, interfacce generiche come API REST, OData e altro ancora.

Flussi di dati: Dataflow Gen2 consente di eseguire trasformazioni di dati su larga scala e supporta varie destinazioni di output che scrivono in database SQL di Azure, Lakehouse, Data Warehouse e altro ancora. L'editor di flussi di dati offre più di 300 trasformazioni, incluse le opzioni basate su intelligenza artificiale, e consente di trasformare facilmente i dati con maggiore flessibilità rispetto a qualsiasi altro strumento. Indipendentemente dal fatto che si estraggano dati da un'origine dati non strutturata, ad esempio una pagina Web o si rimodelli una tabella esistente nell'editor di Power Query, è possibile applicare facilmente l'estrazione dei dati di Power Query in base all'esempio, che usa l'intelligenza artificiale e semplifica il processo.

Pipeline di dati: le pipeline di dati offrono la possibilità di creare flussi di lavoro versatili di orchestrazione dei dati che raggruppano attività come l'estrazione dei dati, il caricamento in archivi dati preferiti, l'esecuzione di notebook, l'esecuzione di script SQL e altro ancora. È possibile creare rapidamente pipeline di dati basate sui metadati che automatizzano attività ripetitive. Ad esempio, il caricamento e l'estrazione di dati da tabelle diverse in un database, l'iterazione di più contenitori in Archiviazione BLOB di Azure e altro ancora. Inoltre, con le pipeline di dati, è possibile accedere ai dati da Microsoft 365, usando il connettore Microsoft Graph Data Connection (MGDC).

Processo di copia: il processo di copia semplifica l'esperienza di inserimento dei dati con un processo semplificato e intuitivo, spostando i dati su scala petabyte da qualsiasi origine a qualsiasi destinazione. È possibile copiare dati con vari stili di recapito dei dati, tra cui copia batch, copia incrementale e altro ancora.

Processo Apache Airflow: il processo Apache Airflow è la generazione successiva di Workflow Orchestration Manager di Azure Data Factory. È un modo semplice ed efficiente per creare e gestire processi di orchestrazione Apache Airflow, consentendo di eseguire grafici aciclici diretti (DAG) su larga scala. Il processo Apache Airflow offre un'esperienza di integrazione dei dati moderna per inserire, preparare, trasformare e orchestrare i dati da un set completo di origini dati usando il codice.

Mirroring del database: il mirroring del database in Fabric è una soluzione a basso costo e a bassa latenza, progettata con standard aperti (ad esempio, formato di tabella Delta Lake). Consente di replicare rapidamente i dati e i metadati da vari sistemi. Usando il mirroring del database, è possibile replicare continuamente il patrimonio di dati in Microsoft Fabric OneLake per l'analisi. Grazie a un'esperienza altamente integrata e facile da usare, è ora possibile semplificare come iniziare a usare le proprie esigenze di analisi.

Per altre informazioni, vedere la documentazione.

Aree di investimento

Nei prossimi mesi, Data Factory in Microsoft Fabric espanderà le opzioni di connettività e continuerà ad aggiungere alla ricca libreria di trasformazioni e attività della pipeline di dati. Consente inoltre di eseguire la replica dei dati in tempo reale e ad alte prestazioni dai database operativi e di inserire questi dati nel lake per l'analisi.

Funzionalità Timeline di rilascio stimata
Supporto di CI/CD e API pubbliche di Dataflow Gen2 4° trimestre 2024
Tabelle e partizioni di aggiornamento semantico del modello 4° trimestre 2024
Importazione ed esportazione della pipeline di Data Factory di Fabric 4° trimestre 2024
Copilot per Data Factory (pipeline di dati) 4° trimestre 2024
Mirroring per il database SQL di Azure 4° trimestre 2024
Aprire il mirroring 4° trimestre 2024
Supporto dell'SPN delle API pubbliche di Data Pipelines 4° trimestre 2024
Supporto della pipeline di dati per le variabili dell'area di lavoro infrastruttura 4° trimestre 2024
Aggiornamento automatico del gateway dati locale Q1 2025
Supporto della pipeline di dati per i gateway di rete virtuale Q1 2025
Destinazione di output del flusso di dati Gen2 nei file di SharePoint Q1 2025
Supporto della pipeline di dati per i trigger di finestra a cascata Q1 2025
Elemento di Azure Data Factory Q1 2025
Supporto dell'attività di copia della pipeline di dati per origini aggiuntive Q1 2025
Esecuzione parallelizzata di flussi di dati gen 2 Q1 2025
Gestione delle identità dell'origine dati (Azure Key Vault) Q1 2025
Mirroring per CosmosDB Q1 2025
Supporto di CI/CD e API pubbliche di Dataflow Gen2 Q1 2025
Supporto dell'SPN delle API pubbliche di Dataflow Gen2 Q1 2025
Aggiornamento incrementale di Dataflow Gen2 Q1 2025
Supporto dell'aggiornamento incrementale di Dataflow Gen2 per la destinazione Lakehouse Q1 2025
Parametrizzazione di Dataflow Gen2 Q1 2025
Supporto di Dataflow Gen2 per salva con nome nuovo elemento Q1 2025
Supporto di Dataflow Gen1 per il nuovo elemento Save As Dataflow Gen2 Q1 2025
Copia processo - Copia incrementale senza che gli utenti devono specificare colonne limite Q1 2025
Copia processo Q1 2025
Supporto per l'integrazione continua/distribuzione continua del processo Q1 2025
Supporto delle API pubbliche del processo di copia Q1 2025
Supporto di Dataflow Gen2 per altre origini di copia rapida Q1 2025
Supporto del processo di copia per altre origini Q1 2025
Supporto della pipeline di dati per i trigger di eventi di archiviazione OneLake Q1 2025
Consentire ai clienti di parametrizzare le connessioni Q1 2025
Supporto della pipeline di dati per DBT Q1 2025
Supporto delle identità gestite assegnate dall'utente nelle connessioni Q2 2025
Azure Data Factory in Fabric Spedito (Q3 2024)
Supporto per richiamare pipeline di dati tra aree di lavoro Spedito (Q3 2024)
Supporto del gateway dati locale (OPDG) aggiunto alle pipeline di dati Spedito (Q3 2024)
Copia processo Spedito (Q3 2024)
Mirroring per Snowflake Spedito (Q3 2024)
Notifiche di posta elettronica migliorate per gli errori di aggiornamento Spedito (Q3 2024)
Supporto di Copia rapida in Dataflow Gen2 Spedito (Q3 2024)
Supporto dell'aggiornamento incrementale in Dataflow Gen2 Spedito (Q3 2024)
Gestione delle identità dell'origine dati (identità gestita) Spedito (Q3 2024)
Supporto della pipeline di dati per i processi di Azure Databricks Spedito (Q3 2024)
Copilot per Data Factory (flusso di dati) Spedito (Q3 2024)
Supporto della pipeline di dati per SparkJobDefinition Spedito (Q2 2 2024)
Supporto della pipeline di dati per i trigger basati su eventi Spedito (Q2 2 2024)
Impostazioni predefinite di staging per la destinazione output di Dataflow Gen 2 Spedito (Q2 2 2024)
Supporto della pipeline di dati per Azure HDInsight Spedito (Q2 2 2024)
Nuovi connettori per l'attività di copia Spedito (Q2 2 2024)
Processo Apache Airflow: creare pipeline di dati basate su Apache Airflow Spedito (Q2 2 2024)
Gestione delle identità dell'origine dati (SPN) Spedito (Q2 2 2024)
Integrazione Git di Data Factory per le pipeline di dati Spedito (Q1 2024)
Miglioramenti alle destinazioni di output in Dataflow Gen2 (schema di query) Spedito (Q1 2024)
Miglioramenti dell'esperienza dati (Esplorare le risorse di Azure) Spedito (Q1 2024)
Supporto del gateway dati locale (OPDG) aggiunto alle pipeline di dati Spedito (Q1 2024)
Supporto di Copia rapida in Dataflow Gen2 Spedito (Q1 2024)
Annullare il supporto per l'aggiornamento in Dataflow Gen2 Spedito (Q4 2023)

Supporto di CI/CD e API pubbliche di Dataflow Gen2

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: anteprima pubblica

Le funzionalità di Dataflow Gen2 verranno migliorate per supportare le funzionalità seguenti in Fabric, tra cui:

  • Possibilità di includere gli elementi di Dataflow Gen2 nelle pipeline di distribuzione ALM.
  • Essere in grado di sfruttare gli elementi di Dataflow Gen2 con funzionalità di controllo del codice sorgente (integrazione Git).
  • API CRUDLE pubbliche per gli elementi di Dataflow Gen2.

Queste sono funzionalità altamente richieste da molti clienti e siamo lieti di renderle disponibili come funzionalità di anteprima.

Tabelle e partizioni di aggiornamento semantico del modello

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: anteprima pubblica

Gli utenti della pipeline sono molto entusiasti dell'attività molto popolare della pipeline di aggiornamento del modello semantico. Una richiesta comune è stata quella di migliorare la pipeline di elaborazione ELT aggiornando tabelle e partizioni specifiche nei modelli. Questa funzionalità è stata ora abilitata per rendere l'attività della pipeline il modo più efficace per aggiornare i modelli semantici di Fabric.

Importazione ed esportazione della pipeline di Data Factory di Fabric

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: disponibilità generale

In qualità di sviluppatore di pipeline di Data Factory, spesso si vuole esportare la definizione della pipeline per condividerla con altri sviluppatori o riutilizzarla in altre aree di lavoro. È stata ora aggiunta la funzionalità per esportare e importare le pipeline di Data Factory dall'area di lavoro Infrastruttura. Questa potente funzionalità consentirà funzionalità ancora più collaborative e sarà prezioso quando si risolvono i problemi delle pipeline con i team di supporto.

Copilot per Data Factory (pipeline di dati)

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: anteprima pubblica

Copilot per Data Factory (pipeline di dati) consente ai clienti di creare pipeline di dati usando il linguaggio naturale e fornisce indicazioni per la risoluzione dei problemi.

Mirroring per il database SQL di Azure

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: disponibilità generale

Il mirroring offre un'esperienza senza ETL senza interruzioni per integrare i dati esistenti del database SQL di Azure con il resto dei dati in Microsoft Fabric. È possibile replicare continuamente i dati del database SQL di Azure direttamente in Fabric OneLake quasi in tempo reale, senza alcun effetto sulle prestazioni dei carichi di lavoro transazionali.

Altre informazioni sul mirroring in Microsoft Fabric

Aprire il mirroring

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: anteprima pubblica

Open Mirroring è una potente funzionalità che migliora l'estendibilità di Fabric consentendo a qualsiasi applicazione o provider di dati di portare direttamente il proprio patrimonio di dati in OneLake con un minimo sforzo. Abilitando provider di dati e applicazioni a scrivere i dati delle modifiche direttamente in un database con mirroring all'interno di Fabric, Open Mirroring semplifica la gestione di modifiche complesse ai dati, garantendo che tutti i dati con mirroring siano costantemente aggiornati e pronti per l'analisi.

Supporto dell'SPN delle API pubbliche di Data Pipelines

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: anteprima pubblica

Per rendere molto più semplice e sicuro l'uso delle API REST della pipeline in Fabric, si abiliterà il supporto spN (entità servizio) per le API pubbliche.

Supporto della pipeline di dati per le variabili dell'area di lavoro infrastruttura

Sequenza temporale di rilascio stimata: Q4 2024

Tipo di versione: anteprima pubblica

Quando si implementa CICD tra gli ambienti della pipeline di Data Factory di Fabric, è molto importante aggiornare i valori da sviluppo a test a prod e così via. Usando le variabili all'interno di Fabric, è possibile sostituire i valori tra gli ambienti e condividere anche i valori tra pipeline simili ai parametri globali di ADF.

Aggiornamento automatico del gateway dati locale

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

La funzionalità di aggiornamento automatico del gateway dati locale garantisce che il gateway esegua sempre la versione più recente, offrendo funzionalità migliorate, aggiornamenti della sicurezza e nuove funzionalità senza intervento manuale. Questa funzionalità semplifica la gestione del gateway scaricando e installando automaticamente gli aggiornamenti non appena diventano disponibili.

Supporto della pipeline di dati per i gateway di rete virtuale

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Il gateway dati della rete virtuale supporterà la pipeline di dati di Fabric, inclusa l'attività di copia della pipeline e altre attività della pipeline. I clienti potranno connettersi in modo sicuro alle origini dati nella pipeline tramite il gateway dati della rete virtuale.

Destinazione di output del flusso di dati Gen2 nei file di SharePoint

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Dopo aver pulito e preparato i dati con Dataflow Gen 2, questa funzionalità consente di selezionare i file di SharePoint come destinazione dati. Questa funzionalità semplifica l'esportazione dei dati trasformati in un file CSV e la archivia in Microsoft SharePoint per renderli disponibili a tutti gli utenti autorizzati al sito.

Supporto della pipeline di dati per i trigger di finestra a cascata

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

La pianificazione delle esecuzioni della pipeline tramite finestre temporali non sovrapposte e può essere "riprodotta" è una funzionalità molto importante nelle pipeline che molti utenti di Azure Data Factory hanno apprezzato. Siamo molto entusiasti di portare questa funzionalità di finestra a cascata nella pianificazione della pipeline in Data Factory di Fabric.

Elemento di Azure Data Factory

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: disponibilità generale

Microsoft è molto entusiasta di annunciare la disponibilità generale dell'elemento di Azure Data Factory in Fabric. Con questa nuova funzionalità, gli utenti di Azure Data Factory esistenti possono rendere disponibili le data factory di Azure all'area di lavoro Infrastruttura in modo rapido e semplice. È ora possibile gestire, modificare e richiamare le pipeline di Azure Data Factory direttamente da Fabric.

Supporto dell'attività di copia della pipeline di dati per origini aggiuntive

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: disponibilità generale

È in corso l'espansione del supporto per più connettori di origine in attività Copy, consentendo ai clienti di copiare facilmente i dati da un'ampia gamma di origini, tra cui Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (in bundle) e altro ancora.

Esecuzione parallelizzata di flussi di dati gen 2

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

"Gli utenti vogliono un modo flessibile per definire la logica delle trasformazioni Dataflow Gen2 e parallelizzare l'esecuzione con argomenti diversi. Oggi devono creare più flussi di dati o più query all'interno del singolo flusso di dati per avere una logica che può essere riutilizzata con argomenti diversi.

Come parte di questo miglioramento, agli utenti verrà consentito di impostare un ciclo "foreach" per l'intero elemento del flusso di dati basato su una query autonoma che funge da elenco di valori dei parametri per scorrere e guidare questo approccio in contenitori per l'esecuzione parallelizzata e dinamica".

Gestione delle identità dell'origine dati (Azure Key Vault)

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Supporto per Azure Key Vault: è possibile archiviare le chiavi e i segreti in Azure Key Vault e connettersi. In questo modo, è possibile gestire le chiavi in un'unica posizione.

Mirroring per CosmosDB

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: disponibilità generale

Il mirroring offre un'esperienza senza ETL senza interruzioni per integrare i dati esistenti di Azure Cosmos DB con il resto dei dati in Microsoft Fabric. È possibile replicare continuamente i dati di Azure Cosmos DB direttamente in OneLake dell'infrastruttura quasi in tempo reale, senza alcun effetto sulle prestazioni dei carichi di lavoro transazionali.

Supporto di CI/CD e API pubbliche di Dataflow Gen2

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: disponibilità generale

Gli elementi di Dataflow Gen2 supporteranno le funzionalità CI/CD in Fabric, incluso il controllo del codice sorgente (integrazione Git) e le pipeline di distribuzione ALM. Inoltre, i clienti potranno interagire a livello di codice con gli elementi di Dataflow Gen2 in Fabric tramite le API REST di Fabric, fornendo il supporto per le operazioni CRUDLE sugli elementi dataflow Gen2.

Supporto dell'SPN delle API pubbliche di Dataflow Gen2

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Gli elementi di Dataflow Gen2 saranno supportati tramite le API REST di Fabric con il supporto dell'autenticazione dell'entità servizio.

Aggiornamento incrementale di Dataflow Gen2

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: disponibilità generale

Alla fine di settembre 2024 è stato rilasciato l'aggiornamento incrementale di Dataflow Gen2 come funzionalità di anteprima pubblica. Continueremo a monitorare i commenti e suggerimenti dei clienti e a migliorare questa funzionalità fino alla disponibilità generale, pianificata per la fine del Q1CY2025.

Supporto dell'aggiornamento incrementale di Dataflow Gen2 per la destinazione Lakehouse

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

L'aggiornamento incrementale di Dataflow Gen2 ottimizza l'esecuzione del flusso di dati per recuperare solo i dati più recenti modificati nelle origini dati del flusso di dati, in base a una colonna di partizione datetime. Ciò garantisce che i dati possano essere caricati in modo incrementale in OneLake per le trasformazioni downstream o l'output in una destinazione di output del flusso di dati.

Come parte di questo miglioramento, verrà fornito il supporto diretto per l'aggiornamento incrementale per l'output dei dati direttamente nelle tabelle Fabric Lakehouse.

Parametrizzazione di Dataflow Gen2

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Gli utenti sono abituati a eseguire pipeline guidate dai metadati in cui possono inserire variabili o parametri in diverse attività di una pipeline e quindi eseguire gli elementi in modo più dinamico: creare una sola volta, riutilizzare più volte.

Come parte di questo miglioramento, verrà reso possibile fornire i flussi di dati eseguiti tramite una pipeline di dati in Fabric con i valori dei parametri per i parametri del flusso di dati esistenti.

Supporto di Dataflow Gen2 per salva con nome nuovo elemento

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Spesso i clienti vogliono ricreare un flusso di dati esistente come nuovo flusso di dati. Attualmente, per eseguire questa operazione, è necessario creare il nuovo elemento Dataflow Gen2 da zero e copiare le query esistenti oppure sfruttare le funzionalità di esportazione/importazione del modello di Power Query. Questo, tuttavia, non è solo scomodo a causa di passaggi non necessari, ma non include anche impostazioni aggiuntive del flusso di dati, ad esempio l'aggiornamento pianificato e altre proprietà degli elementi (nome, descrizione, etichetta di riservatezza e così via).

Come parte di questo miglioramento, verrà fornito un rapido movimento "Salva con nome" all'interno dell'esperienza di modifica di Dataflow Gen2, consentendo agli utenti di salvare il flusso di dati esistente come nuovo flusso di dati.

Supporto di Dataflow Gen1 per il nuovo elemento Save As Dataflow Gen2

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Spesso i clienti vogliono ricreare un elemento Dataflow Gen1 esistente come nuovo elemento Dataflow Gen2. Attualmente, per eseguire questa operazione, è necessario creare il nuovo elemento Dataflow Gen2 da zero e copiare le query esistenti oppure sfruttare le funzionalità di esportazione/importazione del modello di Power Query. Questo, tuttavia, non è solo scomodo a causa di passaggi non necessari, ma non include anche impostazioni aggiuntive del flusso di dati, ad esempio l'aggiornamento pianificato e altre proprietà degli elementi (nome, descrizione, etichetta di riservatezza e così via).

Come parte di questo miglioramento, verrà fornito un rapido movimento "Salva con nome" nell'esperienza di modifica di Dataflow Gen1, consentendo agli utenti di salvare l'elemento Dataflow Gen1 esistente come nuovo elemento Dataflow Gen2.

Copia processo - Copia incrementale senza che gli utenti devono specificare colonne limite

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Verrà introdotta la funzionalità CDC nativa (Change Data Capture) nel processo di copia per i connettori chiave. Ciò significa che la copia incrementale rileverà automaticamente le modifiche, senza che i clienti specifichino colonne incrementali.

Copia processo

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: disponibilità generale

Copia processo in Data Factory eleva l'esperienza di inserimento dati a un processo più semplice e intuitivo da qualsiasi origine a qualsiasi destinazione. Ora, la copia dei dati è più semplice che mai. Il processo di copia supporta vari stili di recapito dei dati, tra cui copia batch e copia incrementale, offrendo la flessibilità necessaria per soddisfare esigenze specifiche.

Supporto per l'integrazione continua/distribuzione continua del processo

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Copiare gli elementi del processo supporterà le funzionalità CI/CD in Fabric, incluso il controllo del codice sorgente (integrazione Git) e le pipeline di distribuzione ALM.

Supporto delle API pubbliche del processo di copia

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

I clienti potranno interagire a livello di codice con gli elementi del processo di copia in Infrastruttura tramite le API pubbliche dell'infrastruttura, fornendo il supporto per le operazioni CRUDLE sugli elementi del processo di copia

Supporto di Dataflow Gen2 per altre origini di copia rapida

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Stiamo espandendo La copia rapida in Dataflow Gen2 per supportare più connettori di origine, consentendo ai clienti di caricare dati con prestazioni più elevate. I nuovi connettori includono i file Fabric Lakehouse, Google BigQuery, Amazon Redshift e altro ancora, consentendo un'integrazione dei dati più veloce e più efficiente.

Supporto del processo di copia per altre origini

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

È in fase di espansione il supporto per più connettori di origine in Copia processo, consentendo ai clienti di copiare facilmente i dati da un'ampia gamma di origini. Allo stesso tempo, si manterrà l'esperienza semplificata offrendo modelli di copia diversi, tra cui copia completa e copia incrementale.

Supporto della pipeline di dati per i trigger di eventi di archiviazione OneLake

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Un meccanismo diffuso usato per richiamare le pipeline in Fabric Data Factory usa il trigger di file. Quando vengono rilevati eventi di file (ad esempio l'arrivo dei file, l'eliminazione di file ...) nell'archivio BLOB o in ADLS Gen2, verrà richiamata la pipeline di Data Factory di Fabric. Ora sono stati aggiunti eventi di file OneLake ai tipi di evento trigger in Fabric.

Consentire ai clienti di parametrizzare le connessioni

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Le connessioni offrono un framework comune per definire la connettività e l'autenticazione per gli archivi dati. Queste connessioni possono essere condivise tra elementi diversi. Con il supporto per la parametrizzazione, sarà possibile creare pipeline complesse e riutilizzabili, notebook, flussi di dati e altri tipi di elementi.

Supporto della pipeline di dati per DBT

Sequenza temporale di rilascio stimata: Q1 2025

Tipo di versione: anteprima pubblica

Orchestrazione dell'interfaccia della riga di comando di DBT (Strumento di compilazione dei dati): incorpora lo strumento di compilazione dei dati (dbt) per i flussi di lavoro di trasformazione dei dati.

Supporto delle identità gestite assegnate dall'utente nelle connessioni

Sequenza temporale di rilascio stimata: Q2 2025

Tipo di versione: anteprima pubblica

Questo miglioramento per supportare le identità gestite assegnate dall'utente in Connessioni offre un valore significativo offrendo un metodo di autenticazione più sicuro e flessibile per l'accesso alle risorse dati. Evita l'hardcoding delle credenziali, semplifica la gestione eliminando la necessità di ruotare i segreti, garantisce la conformità ai criteri di sicurezza, si integra perfettamente con i servizi di Azure e supporta la scalabilità nelle connessioni consentendo a più istanze di condividere la stessa identità.

Funzionalità spedite

Azure Data Factory in Fabric

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Portare l'istanza di Azure Data Factory (ADF) esistente nell'area di lavoro di Fabric. Si tratta di una nuova funzionalità di anteprima che consente di connettersi alle factory di Azure Data Factory esistenti dall'area di lavoro infrastruttura.

Sarà ora possibile gestire completamente le factory di Azure Data Factory direttamente dall'interfaccia utente dell'area di lavoro infrastruttura. Dopo che ADF è collegato all'area di lavoro infrastruttura, sarà possibile attivare, eseguire e monitorare le pipeline come avviene in Azure Data Factory, ma direttamente all'interno di Fabric.

Supporto per richiamare pipeline di dati tra aree di lavoro

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Richiamare l'aggiornamento dell'attività Pipelines: vengono abilitati alcuni aggiornamenti nuovi ed interessanti per l'attività Invoke Pipeline. In risposta a richieste di clienti e community inconsapevolanti, è possibile eseguire pipeline di dati tra aree di lavoro. Sarà ora possibile richiamare le pipeline da altre aree di lavoro a cui si ha accesso per l'esecuzione. Ciò consentirà modelli di flusso di lavoro di dati molto interessanti che possono usare la collaborazione dei team di progettazione dei dati e integrazione tra aree di lavoro e tra team funzionali.

Supporto del gateway dati locale (OPDG) aggiunto alle pipeline di dati

Spedito (Q3 2024)

Tipo di versione: disponibilità generale

Questa funzionalità consente alle pipeline di dati di usare i gateway dati di Fabric per accedere ai dati locali e dietro una rete virtuale. Per gli utenti che usano runtime di integrazione self-hosted , potranno passare ai gateway dati locali in Fabric.

Copia processo

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Il processo di copia semplifica l'esperienza per i clienti che devono inserire dati, senza dover creare un flusso di dati o una pipeline di dati. Il processo di copia supporta la copia completa e incrementale da qualsiasi origine dati a qualsiasi destinazioni dati. Iscriversi ora all'anteprima privata.

Mirroring per Snowflake

Spedito (Q3 2024)

Tipo di versione: disponibilità generale

Il mirroring offre un'esperienza senza ETL senza interruzioni per integrare i dati Snowflake esistenti con il resto dei dati in Microsoft Fabric. È possibile replicare continuamente i dati Snowflake direttamente in Fabric OneLake quasi in tempo reale, senza alcun effetto sulle prestazioni dei carichi di lavoro transazionali.

Notifiche di posta elettronica migliorate per gli errori di aggiornamento

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Le notifiche di posta elettronica consentono agli autori di Dataflow Gen2 di monitorare i risultati (esito positivo/negativo) dell'operazione di aggiornamento di un flusso di dati.

Supporto di Copia rapida in Dataflow Gen2

Spedito (Q3 2024)

Tipo di versione: disponibilità generale

È in corso l'aggiunta del supporto per l'inserimento di dati su larga scala direttamente nell'esperienza Dataflow Gen2, usando la funzionalità attività di copia delle pipeline. Questo miglioramento aumenta significativamente la capacità di elaborazione dati di Dataflow Gen2 offrendo funzionalità ELT (Extract-Load-Transform) a scalabilità elevata.

Supporto dell'aggiornamento incrementale in Dataflow Gen2

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Verrà aggiunto il supporto per l'aggiornamento incrementale in Dataflow Gen2. Questa funzionalità consente di estrarre in modo incrementale i dati dalle origini dati, applicare trasformazioni di Power Query e caricare in varie destinazioni di output.

Gestione delle identità dell'origine dati (identità gestita)

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Ciò consente di configurare l'identità gestita a livello di area di lavoro. È possibile usare le identità gestite di Fabric per connettersi all'origine dati in modo sicuro.

Supporto della pipeline di dati per i processi di Azure Databricks

Spedito (Q3 2024)

Tipo di versione: anteprima pubblica

Le attività di Azure Databricks vengono aggiornate per l'aggiornamento delle pipeline di dati di Data Factory per usare ora l'API dei processi più recente, consentendo funzionalità interessanti del flusso di lavoro, ad esempio l'esecuzione di processi DLT.

Copilot per Data Factory (flusso di dati)

Spedito (Q3 2024)

Tipo di versione: disponibilità generale

Copilot per Data Factory (Flusso di dati) consente ai clienti di esprimere i propri requisiti usando il linguaggio naturale durante la creazione di soluzioni di integrazione dei dati con Dataflows Gen2.

Supporto della pipeline di dati per SparkJobDefinition

Spedito (Q2 2 2024)

Tipo di versione: disponibilità generale

È ora possibile eseguire il codice Spark, inclusi i file JAR, direttamente da un'attività della pipeline. È sufficiente puntare al codice Spark e la pipeline eseguirà il processo nel cluster Spark in Fabric. Questa nuova attività consente modelli interessanti del flusso di lavoro dei dati che sfruttano la potenza del motore Spark di Fabric, includendo anche il flusso di controllo di Data Factory e le funzionalità del flusso di dati nella stessa pipeline dei processi Spark.

Supporto della pipeline di dati per i trigger basati su eventi

Spedito (Q2 2 2024)

Tipo di versione: anteprima pubblica

Un caso d'uso comune per richiamare le pipeline di dati di Data Factory consiste nell'attivare la pipeline in caso di eventi di file come l'arrivo e l'eliminazione di file. Per i clienti provenienti da ADF o Synapse a Fabric, l'uso di eventi di archiviazione ADLS/Blog è molto comune come modo per segnalare una nuova esecuzione della pipeline o per acquisire i nomi dei file creati. I trigger in Fabric Data Factory sfruttano le funzionalità della piattaforma Fabric, inclusi i trigger EventStreams e Reflex. All'interno dell'area di disegno della pipeline di Fabric Data Factory è disponibile un pulsante Trigger che è possibile premere per creare un trigger Reflex per la pipeline oppure creare il trigger direttamente dall'esperienza Data Activator.

Impostazioni predefinite di staging per la destinazione output di Dataflow Gen 2

Spedito (Q2 2 2024)

Tipo di versione: anteprima pubblica

Dataflow Gen2 offre funzionalità per l'inserimento di dati da un'ampia gamma di origini dati in Fabric OneLake. Quando si esegue lo staging di questi dati, è possibile trasformarli su larga scala sfruttando il motore Dataflows Gen2 a scalabilità elevata (basato sul calcolo SQL Fabric Lakehouse/Warehouse).

Il comportamento predefinito per Dataflows Gen2 consiste nell'eseguire il staging dei dati in OneLake per abilitare trasformazioni dei dati su larga scala. Anche se questa soluzione è ideale per gli scenari su larga scala, non funziona anche per gli scenari che coinvolgono piccole quantità di dati inseriti, dato che introduce un hop aggiuntivo (staging) per i dati prima che vengano caricati nella destinazione di output del flusso di dati.

Con i miglioramenti pianificati, si sta ottimizzando il comportamento di gestione temporanea predefinito da disabilitare, per le query con una destinazione di output che non richiede la gestione temporanea (vale a dire Fabric Lakehouse e database SQL di Azure).

Il comportamento di gestione temporanea può essere configurato manualmente in base alle query tramite il riquadro Impostazioni query o il menu contestuale query nel riquadro Query.

Supporto della pipeline di dati per Azure HDInsight

Spedito (Q2 2 2024)

Tipo di versione: disponibilità generale

HDInsight è il servizio PaaS di Azure per Hadoop che consente agli sviluppatori di creare soluzioni Big Data molto potenti nel cloud. La nuova attività della pipeline HDI abiliterà le attività del processo HDInsights all'interno delle pipeline di dati di Data Factory in modo simile alla funcationalità esistente creata per anni nelle pipeline di Azure Data Factory e Synapse. Questa funzionalità è stata ora portata direttamente nelle pipeline di dati di Fabric.

Nuovi connettori per l'attività di copia

Spedito (Q2 2 2024)

Tipo di versione: anteprima pubblica

Verranno aggiunti nuovi connettori per attività Copy per consentire ai clienti di inserire dalle origini seguenti, sfruttando al tempo stesso la pipeline di dati: Oracle, MySQL, Ricerca di intelligenza artificiale di Azure, File di Azure, Dynamics AX, Google BigQuery.

Processo Apache Airflow: creare pipeline di dati basate su Apache Airflow

Spedito (Q2 2 2024)

Tipo di versione: anteprima pubblica

Il processo Apache Airflow (detto in precedenza Flussi di lavoro di dati) è basato su Apache Airflow e offre un ambiente di runtime Apache Airflow integrato, consentendo di creare, eseguire e pianificare facilmente i dag Python.

Gestione delle identità dell'origine dati (SPN)

Spedito (Q2 2 2024)

Tipo di versione: disponibilità generale

Entità servizio: per accedere alle risorse protette da un tenant di Azure AD, l'entità che richiede l'accesso deve essere rappresentata da un'entità di sicurezza. Sarà possibile connettersi alle origini dati con l'entità servizio.

Integrazione Git di Data Factory per le pipeline di dati

Spedito (Q1 2024)

Tipo di versione: anteprima pubblica

È possibile connettersi al repository Git per sviluppare pipeline di dati in modo collaborativo. L'integrazione delle pipeline di dati con la funzionalità Application Lifecycle Management (ALM) della piattaforma Fabric consente il controllo della versione, la diramazione, i commit e le richieste pull della piattaforma Fabric.

Miglioramenti alle destinazioni di output in Dataflow Gen2 (schema di query)

Spedito (Q1 2024)

Tipo di versione: anteprima pubblica

Stiamo migliorando le destinazioni di output in Dataflow Gen2 con le funzionalità altamente richieste seguenti:

  • Possibilità di gestire le modifiche dello schema di query dopo la configurazione di una destinazione di output.
  • Impostazioni di destinazione predefinite per accelerare la creazione dei flussi di dati.

Per altre informazioni, vedere Destinazioni dati e impostazioni gestite di Dataflow Gen2

Miglioramenti dell'esperienza dati (Esplorare le risorse di Azure)

Spedito (Q1 2024)

Tipo di versione: anteprima pubblica

L'esplorazione delle risorse di Azure offre una navigazione semplice per esplorare le risorse di Azure. È possibile esplorare facilmente le sottoscrizioni di Azure e connettersi alle origini dati tramite un'interfaccia utente intuitiva. Consente di trovare e connettersi rapidamente ai dati necessari.

Supporto del gateway dati locale (OPDG) aggiunto alle pipeline di dati

Spedito (Q1 2024)

Tipo di versione: anteprima pubblica

Questa funzionalità consente alle pipeline di dati di usare i gateway dati di Fabric per accedere ai dati locali e dietro una rete virtuale. Per gli utenti che usano runtime di integrazione self-hosted , potranno passare ai gateway dati locali in Fabric.

Supporto di Copia rapida in Dataflow Gen2

Spedito (Q1 2024)

Tipo di versione: anteprima pubblica

È in corso l'aggiunta del supporto per l'inserimento di dati su larga scala direttamente nell'esperienza Dataflow Gen2, usando la funzionalità attività di copia delle pipeline. In questo modo sono supportate origini quali database SQL di Azure, file CSV e Parquet in Azure Data Lake Storage e archiviazione BLOB.

Questo miglioramento aumenta significativamente la capacità di elaborazione dati di Dataflow Gen2 offrendo funzionalità ELT (Extract-Load-Transform) a scalabilità elevata.

Annullare il supporto per l'aggiornamento in Dataflow Gen2

Spedito (Q4 2023)

Tipo di versione: anteprima pubblica

È in corso l'aggiunta del supporto per annullare gli aggiornamenti continui di Dataflow Gen2 dalla visualizzazione elementi dell'area di lavoro.