Sinkronkan definisi tabel eksternal Apache Spark untuk Azure Synapse melalui kumpulan SQL tanpa server

Kumpulan SQL tanpa server dapat secara otomatis menyinkronkan metadata dari Apache Spark. Database kumpulan SQL tanpa server akan dibuat untuk setiap database yang ada di kumpulan Apache Spark tanpa server.

Untuk setiap tabel eksternal Spark berdasarkan Parquet atau CSV dan terletak di Azure Storage, tabel eksternal dibuat dalam database kumpulan SQL tanpa server. Dengan demikian, Anda dapat mematikan kumpulan Spark dan tetap dapat melakukan kueri tabel eksternal Spark dari kumpulan SQL tanpa server.

Saat tabel dipartisi di Spark, file dalam penyimpanan diatur menurut folder. Kumpulan SQL tanpa server akan menggunakan metadata partisi dan hanya menargetkan folder dan file yang relevan untuk kueri Anda.

Sinkronisasi metadata secara otomatis dikonfigurasi untuk setiap kumpulan Apache Spark tanpa server yang disediakan di ruang kerja Azure Synapse. Anda dapat mulai mengkueri tabel eksternal Spark secara instan.

Setiap tabel eksternal Spark Parquet atau CSV yang terletak di Azure Storage diwakili dengan tabel eksternal dalam skema dbo yang sesuai dengan database kumpulan SQL tanpa server.

Untuk kueri tabel eksternal Spark, jalankan kueri yang menargetkan [spark_table] eksternal. Sebelum menjalankan contoh berikut, pastikan Anda memiliki akses yang benar ke akun penyimpanan tempat file berada.

SELECT * FROM [db].dbo.[spark_table]

Pemetaan jenis data Apache Spark ke tipe data SQL

Untuk informasi selengkapnya tentang pemetaan jenis data Apache Spark ke jenis data SQL, lihat Tabel metadata bersama Azure Synapse Analytics.

Langkah berikutnya

Lanjutkan ke artikel Kontrol Akses Penyimpanan untuk mempelajari selengkapnya tentang kontrol akses penyimpanan.