Bagikan melalui

Metadata berbagi Azure Synapse Analytics

  • Artikel

Azure Synapse Analytics memungkinkan berbagai mesin komputasi ruang kerja berbagi database dan tabel antara kumpulan Apache Spark dan kumpulan SQL nirserver.

Berbagi ini mendukung apa yang disebut pola gudang data modern dan memberikan akses mesin SQL ruang kerja ke database dan tabel yang dibuat dengan Spark. Hal ini juga memungkinkan mesin SQL membuat objek mereka sendiri yang tidak dibagikan dengan mesin lain.

Mendukung gudang data modern

Model metadata berbagi mendukung pola gudang data modern dengan cara berikut:

  1. Data dari data lake disiapkan dan disusun secara efisien dengan Spark dengan menyimpan data yang disiapkan dalam tabel yang didukung Parquet (mungkin dipartisi) yang kemungkinan terkandung dalam beberapa database.

  2. Database yang dibuat Spark dan semua tabel mereka menjadi terlihat di instans kumpulan Spark ruang kerja Azure Synapse dan dapat digunakan dari pekerjaan Spark. Kemampuan ini tunduk pada izin karena semua kumpulan Spark di ruang kerja berbagi ruang penyimpanan meta katalog yang mendasari.

  3. Spark membuat database dan tabel yang didukung Parquet atau CSV menjadi terlihat di kumpulan SQL nirserver ruang kerja. Database dibuat secara otomatis dalam metadata kumpulan SQL nirserver, dan tabel eksternal dan terkelola yang keduanya dibuat oleh pekerjaan Spark dibuat dapat diakses sebagai tabel eksternal dalam metadata kumpulan SQL nirserver dbo dalam skema database yang sesuai.

Sinkronisasi objek terjadi secara asinkron. Objek akan mengalami sedikit keterlambatan beberapa detik sampai muncul dalam konteks SQL. Setelah muncul, mereka dapat dikueri, tetapi tidak diperbarui atau diubah oleh mesin SQL yang memiliki akses ke mereka.

Objek metadata berbagi

Spark memungkinkan Anda membuat database, tabel eksternal, tabel terkelola, dan tampilan. Karena tampilan Spark memerlukan mesin Spark untuk memproses pernyataan Spark SQL yang menentukan, dan tidak dapat diproses oleh mesin SQL, hanya database serta tabel eksternal dan terkelola yang tertampung yang menggunakan format penyimpanan Parquet atau CSV yang dibagikan dengan mesin SQL ruang kerja. Tampilan Spark hanya dibagikan di antara instans kumpulan Spark.

Sekilas tentang model keamanan

Database dan tabel Spark, bersama dengan representasi yang disinkronkan di mesin SQL, diamankan pada tingkat penyimpanan yang mendasarinya. Ketika tabel dikueri oleh salah satu mesin bahwa pengirim kueri memiliki hak untuk menggunakan, prinsipal keamanan pengirim kueri sedang diteruskan ke file yang mendasarinya. Izin diperiksa pada tingkat sistem file.

Untuk informasi selengkapnya, lihat database berbagi  Azure Synapse Analytics.

Ubah pemeliharaan

Jika objek metadata dihapus atau diubah dengan Spark, perubahan diambil dan disebarkan ke kumpulan SQL nirserver. Sinkronisasi adalah asinkron dan perubahan tercermin dalam mesin SQL setelah penundaan singkat.

Langkah berikutnya