Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Azure Synapse Analytics memungkinkan mesin komputasi ruang kerja yang berbeda untuk berbagi database dan tabel antara kumpulan Apache Spark dan kumpulan SQL tanpa server.
Fitur berbagi mendukung pola yang disebut sebagai "data warehouse modern" dan memberikan mesin SQL di dalam ruang kerja akses ke basis data dan tabel yang dibuat menggunakan Spark. Hal ini juga memungkinkan mesin SQL untuk membuat objek mereka sendiri yang tidak dibagikan dengan mesin lain.
Penting
Tabel yang dibuat di Spark dengan lebih dari 1.024 kolom mungkin muncul di Object Explorer tetapi tidak dapat dikueri dari kumpulan SQL tanpa server karena sinkronisasi metadata yang tidak lengkap.
Solusi sementara: Hindari membuat tabel Spark dengan lebih dari 1.024 kolom jika perlu dikueri dari kumpulan SQL tanpa server. Desain ulang skema dan buat ulang tabel.
Mendukung solusi gudang data modern
Model metadata bersama mendukung pola gudang data modern dengan cara berikut:
Data dari data lake disiapkan dan disusun secara efisien dengan Spark dengan menyimpan data yang disiapkan dalam tabel yang didukung Parquet (mungkin dipartisi) yang terkandung dalam beberapa database.
Database yang dibuat oleh Spark dan semua tabelnya menjadi terlihat pada instance kumpulan Spark di ruang kerja Azure Synapse manapun dan dapat digunakan dalam pekerjaan Spark manapun. Kemampuan ini tunduk pada izin karena semua kumpulan Spark di ruang kerja berbagi penyimpanan meta katalog yang mendasar yang sama.
Spark membuat sebuah database dan tabel yang berbasis Parquet atau berbasis CSV menjadi terlihat di pool SQL serverless di ruang kerja. Database dibuat secara otomatis dalam metadata kumpulan SQL tanpa server, dan tabel eksternal dan terkelola yang dibuat oleh pekerjaan Spark dapat diakses sebagai tabel eksternal dalam metadata kumpulan SQL tanpa server dalam
dboskema database yang sesuai.
Sinkronisasi objek terjadi secara asinkron. Objek akan memiliki sedikit penundaan beberapa detik sampai muncul dalam konteks SQL. Setelah muncul, mereka dapat dikueri, tetapi tidak diperbarui atau diubah oleh mesin SQL yang memiliki akses ke mereka.
Objek metadata bersama
Spark memungkinkan Anda membuat database, tabel eksternal, tabel terkelola, dan tampilan. Karena tampilan Spark memerlukan mesin Spark untuk memproses pernyataan Spark SQL yang mendefinisikan, dan tidak dapat diproses oleh mesin SQL, hanya database serta tabel eksternal dan terkelola yang menggunakan format penyimpanan Parquet atau CSV yang dibagikan dengan mesin SQL ruang kerja. Tampilan Spark hanya dibagikan di antara instans kumpulan Spark.
Sekilas model keamanan
Database dan tabel Spark, bersama dengan representasi yang disinkronkan di mesin SQL, diamankan pada tingkat penyimpanan yang mendasar. Ketika tabel dikueri oleh salah satu mesin yang berhak digunakan oleh pengirim kueri, prinsip keamanan pengirim kueri sedang diteruskan ke file yang mendasar. Izin-izin diperiksa di tingkat sistem file.
Untuk informasi selengkapnya, lihat Basis Data Bersama Azure Synapse Analytics.
Perubahan pemeliharaan
Jika objek metadata dihapus atau diubah dengan Spark, perubahan diambil dan disebarkan ke kumpulan SQL tanpa server. Sinkronisasi tidak sinkron dan perubahan tercermin dalam mesin SQL setelah penundaan singkat.