Novità e pianificazione di Data Factory in Microsoft Fabric
Importante
I piani di versione descrivono le funzionalità che potrebbero essere state rilasciate o meno. Le sequenze temporali di consegna e le funzionalità proiettate possono cambiare o non essere spedite. Per altre informazioni, vedere Criteri Microsoft.
Data Factory in Microsoft Fabric combina l'integrazione dei dati cittadini e le funzionalità di integrazione dei dati pro in un'unica esperienza di integrazione dei dati moderna. Offre connettività a più di 100 database relazionali e non relazionali, lakehouse, data warehouse, interfacce generiche come API REST, OData e altro ancora.
Flussi di dati: Dataflow Gen2 consente di eseguire trasformazioni di dati su larga scala e supporta varie destinazioni di output che scrivono in database SQL di Azure, Lakehouse, Data Warehouse e altro ancora. L'editor di flussi di dati offre più di 300 trasformazioni, incluse le opzioni basate su intelligenza artificiale, e consente di trasformare facilmente i dati con maggiore flessibilità rispetto a qualsiasi altro strumento. Indipendentemente dal fatto che si estraggano dati da un'origine dati non strutturata, ad esempio una pagina Web o si rimodelli una tabella esistente nell'editor di Power Query, è possibile applicare facilmente l'estrazione dei dati di Power Query in base all'esempio, che usa l'intelligenza artificiale e semplifica il processo.
Pipeline di dati: le pipeline di dati offrono la possibilità di creare flussi di lavoro versatili di orchestrazione dei dati che raggruppano attività come l'estrazione dei dati, il caricamento in archivi dati preferiti, l'esecuzione di notebook, l'esecuzione di script SQL e altro ancora. È possibile creare rapidamente pipeline di dati basate sui metadati che automatizzano attività ripetitive. Ad esempio, il caricamento e l'estrazione di dati da tabelle diverse in un database, l'iterazione di più contenitori in Archiviazione BLOB di Azure e altro ancora. Inoltre, con le pipeline di dati, è possibile accedere ai dati da Microsoft 365, usando il connettore Microsoft Graph Data Connection (MGDC).
Processo di copia: il processo di copia semplifica l'esperienza di inserimento dei dati con un processo semplificato e intuitivo, spostando i dati su scala petabyte da qualsiasi origine a qualsiasi destinazione. È possibile copiare dati con vari stili di recapito dei dati, tra cui copia batch, copia incrementale e altro ancora.
Processo Apache Airflow: il processo Apache Airflow è la generazione successiva di Workflow Orchestration Manager di Azure Data Factory. È un modo semplice ed efficiente per creare e gestire processi di orchestrazione Apache Airflow, consentendo di eseguire grafici aciclici diretti (DAG) su larga scala. Il processo Apache Airflow offre un'esperienza di integrazione dei dati moderna per inserire, preparare, trasformare e orchestrare i dati da un set completo di origini dati usando il codice.
Mirroring del database: il mirroring del database in Fabric è una soluzione a basso costo e a bassa latenza, progettata con standard aperti (ad esempio, formato di tabella Delta Lake). Consente di replicare rapidamente i dati e i metadati da vari sistemi. Usando il mirroring del database, è possibile replicare continuamente il patrimonio di dati in Microsoft Fabric OneLake per l'analisi. Grazie a un'esperienza altamente integrata e facile da usare, è ora possibile semplificare come iniziare a usare le proprie esigenze di analisi.
Per altre informazioni, vedere la documentazione.
Nei prossimi mesi, Data Factory in Microsoft Fabric espanderà le opzioni di connettività e continuerà ad aggiungere alla ricca libreria di trasformazioni e attività della pipeline di dati. Consente inoltre di eseguire la replica dei dati in tempo reale e ad alte prestazioni dai database operativi e di inserire questi dati nel lake per l'analisi.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Le funzionalità di Dataflow Gen2 verranno migliorate per supportare le funzionalità seguenti in Fabric, tra cui:
- Possibilità di includere gli elementi di Dataflow Gen2 nelle pipeline di distribuzione ALM.
- Essere in grado di sfruttare gli elementi di Dataflow Gen2 con funzionalità di controllo del codice sorgente (integrazione Git).
- API CRUDLE pubbliche per gli elementi di Dataflow Gen2.
Queste sono funzionalità altamente richieste da molti clienti e siamo lieti di renderle disponibili come funzionalità di anteprima.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Gli utenti della pipeline sono molto entusiasti dell'attività molto popolare della pipeline di aggiornamento del modello semantico. Una richiesta comune è stata quella di migliorare la pipeline di elaborazione ELT aggiornando tabelle e partizioni specifiche nei modelli. Questa funzionalità è stata ora abilitata per rendere l'attività della pipeline il modo più efficace per aggiornare i modelli semantici di Fabric.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: disponibilità generale
In qualità di sviluppatore di pipeline di Data Factory, spesso si vuole esportare la definizione della pipeline per condividerla con altri sviluppatori o riutilizzarla in altre aree di lavoro. È stata ora aggiunta la funzionalità per esportare e importare le pipeline di Data Factory dall'area di lavoro Infrastruttura. Questa potente funzionalità consentirà funzionalità ancora più collaborative e sarà prezioso quando si risolvono i problemi delle pipeline con i team di supporto.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Copilot per Data Factory (pipeline di dati) consente ai clienti di creare pipeline di dati usando il linguaggio naturale e fornisce indicazioni per la risoluzione dei problemi.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: disponibilità generale
Il mirroring offre un'esperienza senza ETL senza interruzioni per integrare i dati esistenti del database SQL di Azure con il resto dei dati in Microsoft Fabric. È possibile replicare continuamente i dati del database SQL di Azure direttamente in Fabric OneLake quasi in tempo reale, senza alcun effetto sulle prestazioni dei carichi di lavoro transazionali.
Altre informazioni sul mirroring in Microsoft Fabric
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Open Mirroring è una potente funzionalità che migliora l'estendibilità di Fabric consentendo a qualsiasi applicazione o provider di dati di portare direttamente il proprio patrimonio di dati in OneLake con un minimo sforzo. Abilitando provider di dati e applicazioni a scrivere i dati delle modifiche direttamente in un database con mirroring all'interno di Fabric, Open Mirroring semplifica la gestione di modifiche complesse ai dati, garantendo che tutti i dati con mirroring siano costantemente aggiornati e pronti per l'analisi.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Per rendere molto più semplice e sicuro l'uso delle API REST della pipeline in Fabric, si abiliterà il supporto spN (entità servizio) per le API pubbliche.
Sequenza temporale di rilascio stimata: Q4 2024
Tipo di versione: anteprima pubblica
Quando si implementa CICD tra gli ambienti della pipeline di Data Factory di Fabric, è molto importante aggiornare i valori da sviluppo a test a prod e così via. Usando le variabili all'interno di Fabric, è possibile sostituire i valori tra gli ambienti e condividere anche i valori tra pipeline simili ai parametri globali di ADF.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
La funzionalità di aggiornamento automatico del gateway dati locale garantisce che il gateway esegua sempre la versione più recente, offrendo funzionalità migliorate, aggiornamenti della sicurezza e nuove funzionalità senza intervento manuale. Questa funzionalità semplifica la gestione del gateway scaricando e installando automaticamente gli aggiornamenti non appena diventano disponibili.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Il gateway dati della rete virtuale supporterà la pipeline di dati di Fabric, inclusa l'attività di copia della pipeline e altre attività della pipeline. I clienti potranno connettersi in modo sicuro alle origini dati nella pipeline tramite il gateway dati della rete virtuale.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Dopo aver pulito e preparato i dati con Dataflow Gen 2, questa funzionalità consente di selezionare i file di SharePoint come destinazione dati. Questa funzionalità semplifica l'esportazione dei dati trasformati in un file CSV e la archivia in Microsoft SharePoint per renderli disponibili a tutti gli utenti autorizzati al sito.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
La pianificazione delle esecuzioni della pipeline tramite finestre temporali non sovrapposte e può essere "riprodotta" è una funzionalità molto importante nelle pipeline che molti utenti di Azure Data Factory hanno apprezzato. Siamo molto entusiasti di portare questa funzionalità di finestra a cascata nella pianificazione della pipeline in Data Factory di Fabric.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
Microsoft è molto entusiasta di annunciare la disponibilità generale dell'elemento di Azure Data Factory in Fabric. Con questa nuova funzionalità, gli utenti di Azure Data Factory esistenti possono rendere disponibili le data factory di Azure all'area di lavoro Infrastruttura in modo rapido e semplice. È ora possibile gestire, modificare e richiamare le pipeline di Azure Data Factory direttamente da Fabric.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
È in corso l'espansione del supporto per più connettori di origine in attività Copy, consentendo ai clienti di copiare facilmente i dati da un'ampia gamma di origini, tra cui Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (in bundle) e altro ancora.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
"Gli utenti vogliono un modo flessibile per definire la logica delle trasformazioni Dataflow Gen2 e parallelizzare l'esecuzione con argomenti diversi. Oggi devono creare più flussi di dati o più query all'interno del singolo flusso di dati per avere una logica che può essere riutilizzata con argomenti diversi.
Come parte di questo miglioramento, agli utenti verrà consentito di impostare un ciclo "foreach" per l'intero elemento del flusso di dati basato su una query autonoma che funge da elenco di valori dei parametri per scorrere e guidare questo approccio in contenitori per l'esecuzione parallelizzata e dinamica".
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Supporto per Azure Key Vault: è possibile archiviare le chiavi e i segreti in Azure Key Vault e connettersi. In questo modo, è possibile gestire le chiavi in un'unica posizione.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
Il mirroring offre un'esperienza senza ETL senza interruzioni per integrare i dati esistenti di Azure Cosmos DB con il resto dei dati in Microsoft Fabric. È possibile replicare continuamente i dati di Azure Cosmos DB direttamente in OneLake dell'infrastruttura quasi in tempo reale, senza alcun effetto sulle prestazioni dei carichi di lavoro transazionali.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
Gli elementi di Dataflow Gen2 supporteranno le funzionalità CI/CD in Fabric, incluso il controllo del codice sorgente (integrazione Git) e le pipeline di distribuzione ALM. Inoltre, i clienti potranno interagire a livello di codice con gli elementi di Dataflow Gen2 in Fabric tramite le API REST di Fabric, fornendo il supporto per le operazioni CRUDLE sugli elementi dataflow Gen2.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Gli elementi di Dataflow Gen2 saranno supportati tramite le API REST di Fabric con il supporto dell'autenticazione dell'entità servizio.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
Alla fine di settembre 2024 è stato rilasciato l'aggiornamento incrementale di Dataflow Gen2 come funzionalità di anteprima pubblica. Continueremo a monitorare i commenti e suggerimenti dei clienti e a migliorare questa funzionalità fino alla disponibilità generale, pianificata per la fine del Q1CY2025.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
L'aggiornamento incrementale di Dataflow Gen2 ottimizza l'esecuzione del flusso di dati per recuperare solo i dati più recenti modificati nelle origini dati del flusso di dati, in base a una colonna di partizione datetime. Ciò garantisce che i dati possano essere caricati in modo incrementale in OneLake per le trasformazioni downstream o l'output in una destinazione di output del flusso di dati.
Come parte di questo miglioramento, verrà fornito il supporto diretto per l'aggiornamento incrementale per l'output dei dati direttamente nelle tabelle Fabric Lakehouse.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Gli utenti sono abituati a eseguire pipeline guidate dai metadati in cui possono inserire variabili o parametri in diverse attività di una pipeline e quindi eseguire gli elementi in modo più dinamico: creare una sola volta, riutilizzare più volte.
Come parte di questo miglioramento, verrà reso possibile fornire i flussi di dati eseguiti tramite una pipeline di dati in Fabric con i valori dei parametri per i parametri del flusso di dati esistenti.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Spesso i clienti vogliono ricreare un flusso di dati esistente come nuovo flusso di dati. Attualmente, per eseguire questa operazione, è necessario creare il nuovo elemento Dataflow Gen2 da zero e copiare le query esistenti oppure sfruttare le funzionalità di esportazione/importazione del modello di Power Query. Questo, tuttavia, non è solo scomodo a causa di passaggi non necessari, ma non include anche impostazioni aggiuntive del flusso di dati, ad esempio l'aggiornamento pianificato e altre proprietà degli elementi (nome, descrizione, etichetta di riservatezza e così via).
Come parte di questo miglioramento, verrà fornito un rapido movimento "Salva con nome" all'interno dell'esperienza di modifica di Dataflow Gen2, consentendo agli utenti di salvare il flusso di dati esistente come nuovo flusso di dati.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Spesso i clienti vogliono ricreare un elemento Dataflow Gen1 esistente come nuovo elemento Dataflow Gen2. Attualmente, per eseguire questa operazione, è necessario creare il nuovo elemento Dataflow Gen2 da zero e copiare le query esistenti oppure sfruttare le funzionalità di esportazione/importazione del modello di Power Query. Questo, tuttavia, non è solo scomodo a causa di passaggi non necessari, ma non include anche impostazioni aggiuntive del flusso di dati, ad esempio l'aggiornamento pianificato e altre proprietà degli elementi (nome, descrizione, etichetta di riservatezza e così via).
Come parte di questo miglioramento, verrà fornito un rapido movimento "Salva con nome" nell'esperienza di modifica di Dataflow Gen1, consentendo agli utenti di salvare l'elemento Dataflow Gen1 esistente come nuovo elemento Dataflow Gen2.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Verrà introdotta la funzionalità CDC nativa (Change Data Capture) nel processo di copia per i connettori chiave. Ciò significa che la copia incrementale rileverà automaticamente le modifiche, senza che i clienti specifichino colonne incrementali.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: disponibilità generale
Copia processo in Data Factory eleva l'esperienza di inserimento dati a un processo più semplice e intuitivo da qualsiasi origine a qualsiasi destinazione. Ora, la copia dei dati è più semplice che mai. Il processo di copia supporta vari stili di recapito dei dati, tra cui copia batch e copia incrementale, offrendo la flessibilità necessaria per soddisfare esigenze specifiche.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Copiare gli elementi del processo supporterà le funzionalità CI/CD in Fabric, incluso il controllo del codice sorgente (integrazione Git) e le pipeline di distribuzione ALM.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
I clienti potranno interagire a livello di codice con gli elementi del processo di copia in Infrastruttura tramite le API pubbliche dell'infrastruttura, fornendo il supporto per le operazioni CRUDLE sugli elementi del processo di copia
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Stiamo espandendo La copia rapida in Dataflow Gen2 per supportare più connettori di origine, consentendo ai clienti di caricare dati con prestazioni più elevate. I nuovi connettori includono i file Fabric Lakehouse, Google BigQuery, Amazon Redshift e altro ancora, consentendo un'integrazione dei dati più veloce e più efficiente.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
È in fase di espansione il supporto per più connettori di origine in Copia processo, consentendo ai clienti di copiare facilmente i dati da un'ampia gamma di origini. Allo stesso tempo, si manterrà l'esperienza semplificata offrendo modelli di copia diversi, tra cui copia completa e copia incrementale.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Un meccanismo diffuso usato per richiamare le pipeline in Fabric Data Factory usa il trigger di file. Quando vengono rilevati eventi di file (ad esempio l'arrivo dei file, l'eliminazione di file ...) nell'archivio BLOB o in ADLS Gen2, verrà richiamata la pipeline di Data Factory di Fabric. Ora sono stati aggiunti eventi di file OneLake ai tipi di evento trigger in Fabric.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Le connessioni offrono un framework comune per definire la connettività e l'autenticazione per gli archivi dati. Queste connessioni possono essere condivise tra elementi diversi. Con il supporto per la parametrizzazione, sarà possibile creare pipeline complesse e riutilizzabili, notebook, flussi di dati e altri tipi di elementi.
Sequenza temporale di rilascio stimata: Q1 2025
Tipo di versione: anteprima pubblica
Orchestrazione dell'interfaccia della riga di comando di DBT (Strumento di compilazione dei dati): incorpora lo strumento di compilazione dei dati (dbt) per i flussi di lavoro di trasformazione dei dati.
Sequenza temporale di rilascio stimata: Q2 2025
Tipo di versione: anteprima pubblica
Questo miglioramento per supportare le identità gestite assegnate dall'utente in Connessioni offre un valore significativo offrendo un metodo di autenticazione più sicuro e flessibile per l'accesso alle risorse dati. Evita l'hardcoding delle credenziali, semplifica la gestione eliminando la necessità di ruotare i segreti, garantisce la conformità ai criteri di sicurezza, si integra perfettamente con i servizi di Azure e supporta la scalabilità nelle connessioni consentendo a più istanze di condividere la stessa identità.
Funzionalità spedite
Azure Data Factory in Fabric
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Portare l'istanza di Azure Data Factory (ADF) esistente nell'area di lavoro di Fabric. Si tratta di una nuova funzionalità di anteprima che consente di connettersi alle factory di Azure Data Factory esistenti dall'area di lavoro infrastruttura.
Sarà ora possibile gestire completamente le factory di Azure Data Factory direttamente dall'interfaccia utente dell'area di lavoro infrastruttura. Dopo che ADF è collegato all'area di lavoro infrastruttura, sarà possibile attivare, eseguire e monitorare le pipeline come avviene in Azure Data Factory, ma direttamente all'interno di Fabric.
Supporto per richiamare pipeline di dati tra aree di lavoro
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Richiamare l'aggiornamento dell'attività Pipelines: vengono abilitati alcuni aggiornamenti nuovi ed interessanti per l'attività Invoke Pipeline. In risposta a richieste di clienti e community inconsapevolanti, è possibile eseguire pipeline di dati tra aree di lavoro. Sarà ora possibile richiamare le pipeline da altre aree di lavoro a cui si ha accesso per l'esecuzione. Ciò consentirà modelli di flusso di lavoro di dati molto interessanti che possono usare la collaborazione dei team di progettazione dei dati e integrazione tra aree di lavoro e tra team funzionali.
Supporto del gateway dati locale (OPDG) aggiunto alle pipeline di dati
Spedito (Q3 2024)
Tipo di versione: disponibilità generale
Questa funzionalità consente alle pipeline di dati di usare i gateway dati di Fabric per accedere ai dati locali e dietro una rete virtuale. Per gli utenti che usano runtime di integrazione self-hosted , potranno passare ai gateway dati locali in Fabric.
Copia processo
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Il processo di copia semplifica l'esperienza per i clienti che devono inserire dati, senza dover creare un flusso di dati o una pipeline di dati. Il processo di copia supporta la copia completa e incrementale da qualsiasi origine dati a qualsiasi destinazioni dati. Iscriversi ora all'anteprima privata.
Mirroring per Snowflake
Spedito (Q3 2024)
Tipo di versione: disponibilità generale
Il mirroring offre un'esperienza senza ETL senza interruzioni per integrare i dati Snowflake esistenti con il resto dei dati in Microsoft Fabric. È possibile replicare continuamente i dati Snowflake direttamente in Fabric OneLake quasi in tempo reale, senza alcun effetto sulle prestazioni dei carichi di lavoro transazionali.
Notifiche di posta elettronica migliorate per gli errori di aggiornamento
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Le notifiche di posta elettronica consentono agli autori di Dataflow Gen2 di monitorare i risultati (esito positivo/negativo) dell'operazione di aggiornamento di un flusso di dati.
Supporto di Copia rapida in Dataflow Gen2
Spedito (Q3 2024)
Tipo di versione: disponibilità generale
È in corso l'aggiunta del supporto per l'inserimento di dati su larga scala direttamente nell'esperienza Dataflow Gen2, usando la funzionalità attività di copia delle pipeline. Questo miglioramento aumenta significativamente la capacità di elaborazione dati di Dataflow Gen2 offrendo funzionalità ELT (Extract-Load-Transform) a scalabilità elevata.
Supporto dell'aggiornamento incrementale in Dataflow Gen2
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Verrà aggiunto il supporto per l'aggiornamento incrementale in Dataflow Gen2. Questa funzionalità consente di estrarre in modo incrementale i dati dalle origini dati, applicare trasformazioni di Power Query e caricare in varie destinazioni di output.
Gestione delle identità dell'origine dati (identità gestita)
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Ciò consente di configurare l'identità gestita a livello di area di lavoro. È possibile usare le identità gestite di Fabric per connettersi all'origine dati in modo sicuro.
Supporto della pipeline di dati per i processi di Azure Databricks
Spedito (Q3 2024)
Tipo di versione: anteprima pubblica
Le attività di Azure Databricks vengono aggiornate per l'aggiornamento delle pipeline di dati di Data Factory per usare ora l'API dei processi più recente, consentendo funzionalità interessanti del flusso di lavoro, ad esempio l'esecuzione di processi DLT.
Copilot per Data Factory (flusso di dati)
Spedito (Q3 2024)
Tipo di versione: disponibilità generale
Copilot per Data Factory (Flusso di dati) consente ai clienti di esprimere i propri requisiti usando il linguaggio naturale durante la creazione di soluzioni di integrazione dei dati con Dataflows Gen2.
Supporto della pipeline di dati per SparkJobDefinition
Spedito (Q2 2 2024)
Tipo di versione: disponibilità generale
È ora possibile eseguire il codice Spark, inclusi i file JAR, direttamente da un'attività della pipeline. È sufficiente puntare al codice Spark e la pipeline eseguirà il processo nel cluster Spark in Fabric. Questa nuova attività consente modelli interessanti del flusso di lavoro dei dati che sfruttano la potenza del motore Spark di Fabric, includendo anche il flusso di controllo di Data Factory e le funzionalità del flusso di dati nella stessa pipeline dei processi Spark.
Supporto della pipeline di dati per i trigger basati su eventi
Spedito (Q2 2 2024)
Tipo di versione: anteprima pubblica
Un caso d'uso comune per richiamare le pipeline di dati di Data Factory consiste nell'attivare la pipeline in caso di eventi di file come l'arrivo e l'eliminazione di file. Per i clienti provenienti da ADF o Synapse a Fabric, l'uso di eventi di archiviazione ADLS/Blog è molto comune come modo per segnalare una nuova esecuzione della pipeline o per acquisire i nomi dei file creati. I trigger in Fabric Data Factory sfruttano le funzionalità della piattaforma Fabric, inclusi i trigger EventStreams e Reflex. All'interno dell'area di disegno della pipeline di Fabric Data Factory è disponibile un pulsante Trigger che è possibile premere per creare un trigger Reflex per la pipeline oppure creare il trigger direttamente dall'esperienza Data Activator.
Impostazioni predefinite di staging per la destinazione output di Dataflow Gen 2
Spedito (Q2 2 2024)
Tipo di versione: anteprima pubblica
Dataflow Gen2 offre funzionalità per l'inserimento di dati da un'ampia gamma di origini dati in Fabric OneLake. Quando si esegue lo staging di questi dati, è possibile trasformarli su larga scala sfruttando il motore Dataflows Gen2 a scalabilità elevata (basato sul calcolo SQL Fabric Lakehouse/Warehouse).
Il comportamento predefinito per Dataflows Gen2 consiste nell'eseguire il staging dei dati in OneLake per abilitare trasformazioni dei dati su larga scala. Anche se questa soluzione è ideale per gli scenari su larga scala, non funziona anche per gli scenari che coinvolgono piccole quantità di dati inseriti, dato che introduce un hop aggiuntivo (staging) per i dati prima che vengano caricati nella destinazione di output del flusso di dati.
Con i miglioramenti pianificati, si sta ottimizzando il comportamento di gestione temporanea predefinito da disabilitare, per le query con una destinazione di output che non richiede la gestione temporanea (vale a dire Fabric Lakehouse e database SQL di Azure).
Il comportamento di gestione temporanea può essere configurato manualmente in base alle query tramite il riquadro Impostazioni query o il menu contestuale query nel riquadro Query.
Supporto della pipeline di dati per Azure HDInsight
Spedito (Q2 2 2024)
Tipo di versione: disponibilità generale
HDInsight è il servizio PaaS di Azure per Hadoop che consente agli sviluppatori di creare soluzioni Big Data molto potenti nel cloud. La nuova attività della pipeline HDI abiliterà le attività del processo HDInsights all'interno delle pipeline di dati di Data Factory in modo simile alla funcationalità esistente creata per anni nelle pipeline di Azure Data Factory e Synapse. Questa funzionalità è stata ora portata direttamente nelle pipeline di dati di Fabric.
Nuovi connettori per l'attività di copia
Spedito (Q2 2 2024)
Tipo di versione: anteprima pubblica
Verranno aggiunti nuovi connettori per attività Copy per consentire ai clienti di inserire dalle origini seguenti, sfruttando al tempo stesso la pipeline di dati: Oracle, MySQL, Ricerca di intelligenza artificiale di Azure, File di Azure, Dynamics AX, Google BigQuery.
Processo Apache Airflow: creare pipeline di dati basate su Apache Airflow
Spedito (Q2 2 2024)
Tipo di versione: anteprima pubblica
Il processo Apache Airflow (detto in precedenza Flussi di lavoro di dati) è basato su Apache Airflow e offre un ambiente di runtime Apache Airflow integrato, consentendo di creare, eseguire e pianificare facilmente i dag Python.
Gestione delle identità dell'origine dati (SPN)
Spedito (Q2 2 2024)
Tipo di versione: disponibilità generale
Entità servizio: per accedere alle risorse protette da un tenant di Azure AD, l'entità che richiede l'accesso deve essere rappresentata da un'entità di sicurezza. Sarà possibile connettersi alle origini dati con l'entità servizio.
Integrazione Git di Data Factory per le pipeline di dati
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
È possibile connettersi al repository Git per sviluppare pipeline di dati in modo collaborativo. L'integrazione delle pipeline di dati con la funzionalità Application Lifecycle Management (ALM) della piattaforma Fabric consente il controllo della versione, la diramazione, i commit e le richieste pull della piattaforma Fabric.
Miglioramenti alle destinazioni di output in Dataflow Gen2 (schema di query)
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
Stiamo migliorando le destinazioni di output in Dataflow Gen2 con le funzionalità altamente richieste seguenti:
- Possibilità di gestire le modifiche dello schema di query dopo la configurazione di una destinazione di output.
- Impostazioni di destinazione predefinite per accelerare la creazione dei flussi di dati.
Per altre informazioni, vedere Destinazioni dati e impostazioni gestite di Dataflow Gen2
Miglioramenti dell'esperienza dati (Esplorare le risorse di Azure)
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
L'esplorazione delle risorse di Azure offre una navigazione semplice per esplorare le risorse di Azure. È possibile esplorare facilmente le sottoscrizioni di Azure e connettersi alle origini dati tramite un'interfaccia utente intuitiva. Consente di trovare e connettersi rapidamente ai dati necessari.
Supporto del gateway dati locale (OPDG) aggiunto alle pipeline di dati
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
Questa funzionalità consente alle pipeline di dati di usare i gateway dati di Fabric per accedere ai dati locali e dietro una rete virtuale. Per gli utenti che usano runtime di integrazione self-hosted , potranno passare ai gateway dati locali in Fabric.
Supporto di Copia rapida in Dataflow Gen2
Spedito (Q1 2024)
Tipo di versione: anteprima pubblica
È in corso l'aggiunta del supporto per l'inserimento di dati su larga scala direttamente nell'esperienza Dataflow Gen2, usando la funzionalità attività di copia delle pipeline. In questo modo sono supportate origini quali database SQL di Azure, file CSV e Parquet in Azure Data Lake Storage e archiviazione BLOB.
Questo miglioramento aumenta significativamente la capacità di elaborazione dati di Dataflow Gen2 offrendo funzionalità ELT (Extract-Load-Transform) a scalabilità elevata.
Annullare il supporto per l'aggiornamento in Dataflow Gen2
Spedito (Q4 2023)
Tipo di versione: anteprima pubblica
È in corso l'aggiunta del supporto per annullare gli aggiornamenti continui di Dataflow Gen2 dalla visualizzazione elementi dell'area di lavoro.