Pertanyaan yang sering diajukan tentang Azure Synapse Analytics

Azure Synapse memperkenalkan sejumlah peran dan cakupan untuk menetapkannya yang akan mengamankan ruang kerja Anda dengan secara sederhana.

Peran RBAC Synapse:

• Administrator Sinaps
• Admin Synapse SQL
• Admin Synapse Spark
• Synapse Contributor
• Synapse Artifact Publisher
• Synapse Artifact User
• Synapse Compute Operator
• Synapse Credential User
• Synapse Linked Data Manager
• Pengguna Synapse

Untuk mengamankan ruang kerja Synapse Anda, tetapkan Peran RBAC ke cakupan RBAC berikut:

• Ruang kerja
• Kumpulan Spark
• Runtime integrasi
• Layanan Tertaut
• Informasi Masuk

Selain itu, dengan kumpulan SQL khusus Anda memiliki semua fitur keamanan yang sama yang Anda kenali dan sukai.

Sebagai titik awal, Azure Synapse bekerja dengan analisis biaya bawaan dan pemberitahuan biaya yang tersedia di tingkat langganan Azure.

• Kumpulan SQL khusus - Anda memiliki visibilitas langsung ke dalam biaya dan kontrol atas biaya, karena Anda membuat dan menentukan ukuran kumpulan SQL khusus. Anda dapat mengontrol lebih lanjut pengguna mana yang dapat membuat atau menskalakan kumpulan SQL khusus dengan peran Azure RBAC.

• Kumpulan SQL tanpa server - Anda memiliki kontrol pemantauan dan manajemen biaya yang memungkinkan Anda menutup pengeluaran pada tingkat harian, mingguan, dan bulanan. Lihat pengelolaan Biaya untuk kumpulan SQL tanpa server untuk informasi selengkapnya.

• Kumpulan Spark Tanpa Server - Anda dapat membatasi siapa yang dapat membuat kumpulan Spark dengan peran RBAC Synapse.

Ruang kerja Synapse mendukung folder yang ditentukan pengguna.

Ya, mulai 10 Juni 2021, Synapse Studio sekarang memungkinkan Anda menambahkan lebih dari satu ruang kerja Power BI ke satu Azure Synapse Workspace.

Azure Synapse Analytics saat ini mendukung Azure Synapse Link dari Azure Cosmos DB ke Synapse Apache Spark dan kumpulan SQL tanpa server. Link Azure Synapse untuk Apache Spark adalah GA. Link Synapse untuk kumpulan SQL tanpa server sedang dalam pratinjau. Untuk informasi selengkapnya, lihat Azure Synapse Link untuk Azure Cosmos DB.

Azure Synapse Link untuk SQL umumnya tersedia untuk SQL Server 2022 dan Azure SQL Database. Untuk informasi selengkapnya, lihat Apa itu Link Azure Synapse untuk SQL?.

Ya! Semua artefak Alur, notebook, skrip SQL, dan definisi pekerjaan Spark akan berada di Git. Semua definisi kumpulan akan disimpan di Git sebagai template Azure Resource Manager (ARM). Objek kumpulan SQL khusus (skema, tabel, tampilan, dll.) akan dikelola dengan proyek database dengan dukungan CI/CD. Untuk informasi selengkapnya, lihat Panduan CI dan CD ini.

Kemampuan dan persyaratan berbeda antara dua jenis kumpulan. Perbedaannya termasuk objek database, kemampuan bahasa kueri, keamanan, alat, akses data, dan format data. Untuk perbandingan terperinci tentang kumpulan SQL dan kumpulan tanpa server, kunjungi Perbandingan Kumpulan. Untuk praktik terbaik saat menggunakan salah satu jenis kumpulan, lihat Praktik Terbaik untuk Kumpulan SQL Khusus dan Praktik Terbaik untuk Kumpulan SQL Tanpa Server.

Lakehouse didasarkan pada format data akses langsung terbuka, seperti Apache Parquet. Fitur ini memiliki dukungan kelas satu untuk pembelajaran mesin dan ilmu data. Tabel Delta adalah tampilan data yang terkandung dalam Delta Lake, yang mendukung sebagian besar opsi yang disediakan oleh API baca dan tulis Apache Spark DataFrame. Lakehouse dapat membantu tantangan besar dengan gudang data, seperti masa berlaku data, keandalan, total biaya kepemilikan, dan penguncian data. Pada tabel Delta, pengoptimalan seperti pemadatan otomatis dan rencana kueri adaptif tersedia. Untuk panduan terperinci ke Delta Lake, silakan kunjungi Panduan Delta Lake.

Pemadatan Otomatis adalah salah satu dari dua fitur pelengkap Pengoptimalan Otomatis untuk tabel Delta. Setelah penulisan ke tabel berhasil, Pemadatan Otomatis dapat memadatkan file lebih lanjut untuk partisi yang memiliki jumlah file kecil terbanyak. Memilih untuk Pemadatan Otomatis disarankan untuk kasus penggunaan streaming di mana penambahan menit latensi dapat diterima dan ketika Anda tidak memiliki panggilan OPTIMASI reguler di meja Anda. Untuk informasi selengkapnya tentang Pengoptimalan Otomatis dan Pemadatan Otomatis, lihat Panduan Pengoptimalan Otomatis ini.

Setiap aktivitas dalam sebuah Jalur Synapse dijalankan menggunakan informasi masuk yang ditentukan di dalam layanan yang ditautkan.

Tidak untuk saat ini.

Beberapa contoh perbedaannya adalah dukungan untuk parameter global, pemantauan Pekerjaan Spark untuk Aliran Data, dan berbagi Integration Runtime. Untuk informasi selengkapnya, lihat dokumen ini untuk Integrasi Data - Synapse vs ADF.

Saat ini, Anda harus membuat ulang alur Azure Data Factory dan artefak terkait secara manual dengan mengekspor JSON dari alur asli dan mengimpornya ke ruang kerja Synapse Anda.

Lihat Panduan Mulai Cepat ini.

Ada dua opsi untuk kasus penggunaan ini. Salah satu opsinya adalah menyimpan alur di ADF, dan Anda harus membungkus aktivitas web. Untuk informasi selengkapnya tentang opsi ini, silakan lihat Panduan Aktivitas Web ini. Opsi lainnya adalah memigrasikan alur ke Synapse. Untuk informasi selengkapnya tentang opsi kedua, lihat Sampel Kode Migrasi ini.

Apache Spark untuk Synapse adalah Apache Spark dengan dukungan tambahan untuk integrasi dengan layanan lain (MICROSOFT Entra ID, AzureML, dll.) dan pustaka tambahan (mssparktuils, Hummingbird) dan konfigurasi performa yang telah disetel sebelumnya.

Beban kerja apa pun yang saat ini berjalan di Apache Spark akan berjalan di Apache Spark for Azure Synapse tanpa perubahan.

Pada September 2023, Azure Synapse Apache Spark sepenuhnya mendukung Spark 3.3. Untuk daftar lengkap komponen inti dan versi yang saat ini didukung lihat dukungan versi Apache Spark.

Ya, Azure Synapse Apache Spark menyediakan pustaka mssparkutils. Untuk dokumentasi lengkap utilitas, lihat Pengenalan utilitas Microsoft Spark.

Untuk mengatur parameter sesi, gunakan %%configure magic yang tersedia. Diperlukan menghidupkan ulang sesi agar parameter berlaku.

Untuk mengatur parameter tingkat kluster, Anda dapat menyediakan file spark.conf untuk kumpulan Spark-nya. Kumpulan ini kemudian akan mematuhi parameter terdahulu di dalam file konfigurasi.

Azure Synapse menyediakan mesin yang dibuat khusus untuk kasus penggunaan tertentu. Apache Spark for Synapse dirancang sebagai layanan pekerjaan dan bukan model kluster. Ada dua skenario di mana orang-orang meminta model kluster multi-pengguna.

Skenario #1: Banyak pengguna yang mengakses kluster untuk melayani data untuk tujuan BI.

Cara termudah untuk menyelesaikan tugas ini adalah mengolah data dengan Spark dan kemudian memanfaatkan kemampuan penyajian Synapse SQL sehingga mereka dapat menghubungkan Power BI ke himpunan data tersebut.

Skenario #2: Memiliki beberapa pengembang pada satu kluster untuk menghemat uang.

Untuk memenuhi skenario ini, Anda harus memberi setiap pengembang sebuah kumpulan Spark tanpa server yang diatur untuk menggunakan sejumlah kecil sumber daya Spark. Karena kumpulan Spark tanpa server tidak dikenakan biaya apa pun, hingga digunakan secara aktif, meminimalkan biaya ketika ada banyak pengembang. Kumpulan itu berbagi metadata (tabel Spark) sehingga dapat dengan mudah bekerja dengan sesamanya.

Anda dapat memasang paket eksternal melalui file requirements.txt saat membuat kumpulan Spark, dari ruang kerja Synapse, atau dari portal Microsoft Azure. Lihat Mengelola pustaka untuk Apache Spark di Azure Synapse Analytics.

MSSparkUtils di Synapse Spark menawarkan berbagai utilitas untuk meningkatkan pengalaman Anda dan membuat integrasi dengan alat dan layanan lain lebih mudah. Bekerja dengan sistem file, dapatkan variabel lingkungan, notebook rantai bersama-sama, dan bekerja dengan rahasia dengan langkah manual minimal. Untuk dokumentasi lengkap, silakan kunjungi Utilitas Microsoft Spark.

Kumpulan SQL khusus (sebelumnya SQL DW) adalah platform pergudangan data perusahaan Azure Platform-as-a-Service (PaaS). Anda dapat mengkueri kumpulan SQL khusus yang ada (sebelumnya SQL DW) dan juga membuat kumpulan SQL khusus baru di ruang kerja Azure Synapse Anda. Tidak semua fitur kumpulan SQL khusus di ruang kerja Azure Synapse berlaku untuk kumpulan SQL khusus (sebelumnya SQL DW) mandiri, dan sebaliknya. Untuk informasi selengkapnya, lihat Apa perbedaan antara kumpulan SQL khusus Azure Synapse (sebelumnya SQL DW) dan kumpulan SQL khusus di ruang kerja Azure Synapse Analytics?. Untuk mengaktifkan fitur ruang kerja Azure Synapse kumpulan SQL khusus yang ada (sebelumnya SQL DW), lihat Cara mengaktifkan ruang kerja untuk kumpulan SQL khusus Anda (sebelumnya SQL DW).

Anda dapat menemukan daftar lengkap tentang perbedaannya dalam perbedaan fitur T-SQL di Synapse SQL.

Tidak ada “pindah” atau “migrasi” yang diperlukan. Anda dapat memilih untuk mengaktifkan fitur ruang kerja baru di kumpulan yang sudah ada. Jika iya, tidak ada perubahan yang mengganggu, sebagai gantinya Anda akan dapat menggunakan fitur baru seperti Synapse Studio, Spark, dan kumpulan SQL tanpa server. Tidak semua fitur kumpulan SQL khusus di ruang kerja Azure Synapse berlaku untuk kumpulan SQL khusus (sebelumnya SQL DW), dan sebaliknya. Untuk mengaktifkan fitur ruang kerja dari kumpulan SQL khusus yang ada (sebelumnya SQL DW) lihat Cara mengaktifkan ruang kerja untuk kumpulan SQL khusus Anda (sebelumnya SQL DW).

Secara Default, semua kumpulan SQL khusus baru akan disebarkan ke sebuah ruang kerja; tetapi, jika perlu, Anda masih dapat membuat kumpulan SQL khusus (sebelumnya SQL DW) dalam faktor bentuk dan ukuran mandiri.

Dengan atau tanpa jaringan virtual terkelola, Anda dapat tersambung ke ruang kerja Anda dari jaringan publik. Untuk informasi selengkapnya, lihat Pengaturan Konektivitas. Akses dari jaringan publik dapat dikontrol dengan mengaktifkan fitur akses jaringan publik atau firewall ruang kerja. Atau, Anda dapat menyambungkan ke ruang kerja Anda menggunakan titik akhir privat terkelola dan Private Link. Tanpa Jaringan Virtual Terkelola Azure Synapse Analytics, ruang kerja Azure Synapse tidak memiliki kemampuan untuk tersambung melalui titik akhir privat terkelola.

Langkah berikutnya

• Memulai menggunakan Azure Synapse Analytics
• Membuat ruang kerja
• Menggunakan kumpulan SQL nirserver
• Masalah umum Azure Synapse Analytics
• Apa yang Baru di Azure Synapse Analytics