Che cos'è una lakehouse in Microsoft Fabric?
Microsoft Fabric Lakehouse è una piattaforma di architettura dei dati per l'archiviazione, la gestione e l'analisi di dati strutturati e non strutturati in un'unica posizione. Si tratta di una soluzione flessibile e scalabile che consente alle organizzazioni di gestire grandi volumi di dati usando un'ampia gamma di strumenti e framework per elaborare e analizzare tali dati. Si integra con altri strumenti di gestione e analisi dei dati per offrire una soluzione completa per la progettazione e l'analisi dei dati.
Importante
Microsoft Fabric è attualmente disponibile in ANTEPRIMA. Queste informazioni si riferiscono a un prodotto in versione preliminare che può essere modificato in modo sostanziale prima del rilascio. Microsoft non fornisce alcuna garanzia, espressa o implicita, rispetto alle informazioni fornite qui.
Endpoint SQL lakehouse
Lakehouse crea un livello di gestione generando automaticamente un endpoint SQL e un set di dati predefinito durante la creazione. Questa nuova funzionalità see-through consente all'utente di lavorare direttamente sulle tabelle delta nel lago per offrire un'esperienza senza attriti ed efficienti fino all'inserimento dei dati nella creazione di report.
Una distinzione importante tra il warehouse predefinito è che si tratta di un'esperienza di sola lettura e non supporta la superficie di attacco T-SQL completa di un data warehouse transazionale. È importante notare che solo le tabelle in formato Delta sono disponibili nell'endpoint SQL. Non è possibile eseguire query su Parquet, CSV e altri formati usando l'endpoint SQL. Se la tabella non è visualizzata, convertirla in formato Delta.
Altre informazioni sull'endpoint SQL sono disponibili qui
Individuazione e registrazione automatica delle tabelle
L'individuazione e la registrazione automatiche delle tabelle sono una funzionalità di Lakehouse che fornisce un file completamente gestito per l'esperienza di tabella per data engineer e data scientist. È possibile eliminare un file nell'area gestita di Lakehouse e il file viene convalidato automaticamente per i formati strutturati supportati, che attualmente è solo tabelle Delta e registrati nel metastore con i metadati necessari, ad esempio nomi di colonna, formati, compressione e altro ancora. È quindi possibile fare riferimento al file come tabella e usare la sintassi SparkSQL per interagire con i dati.
Interazione con l'elemento Lakehouse
Un data engineer può interagire con il lakehouse e i dati all'interno della lakehouse in diversi modi:
Lakehouse Explorer: lo strumento di esplorazione è la pagina di interazione principale di Lakehouse. È possibile caricare i dati in Lakehouse, esplorare i dati in Lakehouse usando Esplora oggetti, impostare etichette & MIP diverse altre cose. Altre informazioni sull'esperienza di esplorazione: Esplorazione di Lakehouse Explorer.
Notebook: i data engineer possono usare il notebook per scrivere codice per leggere, trasformare e scrivere direttamente in Lakehouse come tabelle e/o cartelle. Altre informazioni su come sfruttare i notebook per Lakehouse: esplorare i dati in Lakehouse con un notebook e Come usare un notebook per caricare i dati in Lakehouse.
Pipeline: i data engineer possono usare strumenti di integrazione dei dati, ad esempio lo strumento di copia della pipeline, per eseguire il pull dei dati da altre origini e atterrare in Lakehouse. Altre informazioni su come usare l'attività di copia: Come copiare i dati usando l'attività di copia.
Definizioni di processi Apache Spark: i data engineer possono sviluppare applicazioni affidabili e orchestrare l'esecuzione di processi Spark compilati in Java, Scala e Python. Altre informazioni sui processi Spark: Che cos'è una definizione di processo Apache Spark?.
Flussi di dati Gen 2: i data engineer possono sfruttare i flussi di dati Gen 2 per inserire e preparare i dati. Altre informazioni sul caricamento dei dati tramite flussi di dati: creare il primo flusso di dati per ottenere e trasformare i dati.
Altre informazioni sui diversi modi per caricare i dati in lakehouse: Ottenere l'esperienza dati per Lakehouse.
Passaggi successivi
In questa panoramica si ottiene una conoscenza di base di una lakehouse. Passare all'articolo successivo per informazioni su come creare e iniziare a usare la propria lakehouse:
- Per iniziare a usare lakehouse, vedere Creazione di una lakehouse.