Sincronizzare le definizioni di tabelle esterne di Apache Spark per Azure Synapse nel pool SQL serverless

Tip

Microsoft Fabric Data Warehouse è un data warehouse relazionale su scala aziendale su una base data lake, con un'architettura futura, un'intelligenza artificiale predefinita e nuove funzionalità. Se non si ha familiarità con il data warehousing, iniziare con Fabric Data Warehouse. I carichi di lavoro esistenti del pool SQL dedicated possono eseguire l'aggiornamento a Fabric per accedere a nuove funzionalità tra data science, analisi in tempo reale e creazione di report.

• Inizia una prova gratuita di Fabric.
• Assistente alla migrazione per Fabric Data Warehouse.

Il pool SQL serverless può sincronizzare automaticamente i metadati da Apache Spark. Verrà creato un database del pool SQL serverless per ogni database esistente nei pool di Apache Spark serverless.

Per ogni tabella esterna Spark basata su Parquet o CSV e che si trova in Archiviazione di Azure, viene creata una tabella esterna in un database di un pool SQL serverless. Di conseguenza, è possibile arrestare i pool di Spark ed eseguire comunque query su tabelle esterne Spark dal pool SQL serverless.

Quando una tabella è partizionata in Spark, i file nella risorsa di archiviazione sono organizzati in base alle cartelle. Il pool SQL serverless userà i metadati della partizione e farà riferimento solo a cartelle e file pertinenti per la query.

La sincronizzazione dei metadati viene configurata automaticamente per ogni pool di Apache Spark serverless di cui è stato effettuato il provisioning nell'area di lavoro Azure Synapse. È possibile iniziare immediatamente a eseguire query su tabelle esterne Spark.

Ogni tabella esterna Spark Parquet o CSV che si trova in Archiviazione di Azure è rappresentata con una tabella esterna in uno schema dbo che corrisponde a un database del pool SQL serverless.

Per le query delle tabelle esterne di Spark, eseguire una query che mira a una [spark_table]. Prima di eseguire l'esempio seguente, assicurarsi di avere accesso corretto all'account di archiviazione in cui si trovano i file.

SELECT * FROM [db].dbo.[spark_table]

Mapping dei tipi di dati Apache Spark ai tipi di dati SQL

Per altre informazioni sul mapping dei tipi di dati Apache Spark ai tipi di dati SQL, vedere Azure Synapse Analytics tabelle di metadati condivise.

Passaggi successivi

Passare all'articolo Storage Controllo di accesso per saperne di più sul controllo degli accessi all'archiviazione.