Dalam panduan ini, Anda akan menemukan pertanyaan yang paling sering diajukan tentang Azure Synapse Analytics.
Umum
Bagaimana cara menggunakan peran RBAC untuk mengamankan ruang kerja saya?
Azure Synapse memperkenalkan sejumlah peran dan cakupan untuk menetapkan peran tersebut yang akan menyederhanakan pengamanan ruang kerja Anda.
Peran RBAC Synapse:
- Administrator Synapse
- Administrator Synapse SQL
- Administrator Synapse Spark
- Kontributor Synapse
- Penerbit Artefak Synapse
- Pengguna Artefak Synapse
- Operator Komputasi Synapse
- Pengguna Kredensial Synapse
- Pengelola Data Tertaut Synapse
- Pengguna Synapse
Untuk mengamankan ruang kerja Synapse Anda, tetapkan Peran RBAC ke cakupan RBAC berikut:
- Ruang kerja
- pool Spark
- Runtime integrasi
- Layanan Tertaut
- Kredensial
Selain itu, dengan kumpulan SQL khusus Anda memiliki semua fitur keamanan yang sama yang Anda kenali dan sukai.
Bagaimana cara mengontrol dedicated SQL pools, serverless SQL pools, dan serverless Spark pools?
Sebagai titik awal, Azure Synapse bekerja dengan analisis biaya bawaan dan pemberitahuan biaya yang tersedia di tingkat langganan Azure.
Kumpulan SQL khusus - Anda memiliki visibilitas langsung ke dalam biaya dan kontrol atas biaya, karena Anda membuat dan menentukan ukuran kumpulan SQL khusus. Anda dapat lebih lanjut mengontrol pengguna Anda yang mana yang dapat membuat atau menskalakan kumpulan SQL khusus dengan peran Azure RBAC.
Serverless SQL pools - Anda memiliki kontrol pemantauan dan manajemen biaya yang memungkinkan Anda membatasi pengeluaran pada tingkat harian, mingguan, dan bulanan. Lihat manajemen biaya untuk pool SQL nirserver untuk informasi selengkapnya.
Kumpulan Spark Tanpa Server - Anda dapat membatasi siapa yang dapat membuat kumpulan Spark dengan peran RBAC Synapse.
Akankah ruang kerja Synapse mendukung pengaturan objek ke dalam folder dan granularitas di GA?
Ruang kerja Synapse mendukung folder yang ditentukan oleh pengguna.
Bisakah saya menautkan lebih dari satu ruang kerja Power BI ke satu Ruang Kerja Azure Synapse?
Ya, mulai 10 Juni 2021, Synapse Studio sekarang memungkinkan Anda menambahkan lebih dari satu ruang kerja Power BI ke satu Azure Synapse Workspace.
Apakah Link Azure Synapse ke Azure Cosmos DB tersedia secara umum?
Penting
Synapse Link untuk Cosmos DB tidak lagi didukung untuk proyek baru. Jangan gunakan fitur ini.
Silakan gunakan Azure Cosmos DB Mirroring untuk Microsoft Fabric yang sekarang menjadi GA. Pencerminan memberikan manfaat tanpa ETL yang sama dan sepenuhnya terintegrasi dengan Microsoft Fabric. Pelajari lebih lanjut tentang Gambaran Umum Pencerminan Cosmos DB.
Apakah Azure Synapse Link untuk SQL tersedia secara umum?
Azure Synapse Link untuk SQL umumnya tersedia untuk SQL Server 2022 dan Azure SQL Database. Untuk informasi selengkapnya, lihat Apa itu Link Azure Synapse untuk SQL?.
Apakah ruang kerja Azure Synapse mendukung CI/CD?
Ya! Semua artefak Pipeline, notebook, skrip SQL, dan definisi pekerjaan Spark akan berada di Git. Semua definisi kumpulan akan disimpan di Git sebagai template Azure Resource Manager (ARM). Objek Dedicated SQL pool (skema, tabel, tampilan, dll.) akan dikelola dengan proyek database dengan dukungan CI/CD. Untuk informasi selengkapnya, lihat Panduan CI dan CD ini.
Apa perbedaan fungsional antara kumpulan SQL khusus dan pool serverless?
Kemampuan dan persyaratan berbeda antara dua jenis pool. Perbedaannya termasuk objek database, kemampuan bahasa kueri, keamanan, alat, akses data, dan format data. Untuk perbandingan terperinci tentang kumpulan SQL dan pool serverless, kunjungi Perbandingan Pools. Untuk praktik terbaik saat menggunakan salah satu jenis kumpulan, lihat Praktik Terbaik untuk Kumpulan SQL Khusus dan Praktik Terbaik untuk Kumpulan SQL Tanpa Server.
Apa yang dimaksud dengan tabel Delta, dan mengapa saya harus menggunakannya?
Lakehouse didasarkan pada format data akses langsung terbuka, seperti Apache Parquet. Fitur ini memiliki dukungan kelas satu untuk pembelajaran mesin dan ilmu data. Tabel Delta adalah tampilan data yang terkandung dalam Delta Lake, yang mendukung sebagian besar opsi yang disediakan oleh API baca dan tulis Apache Spark DataFrame. Lakehouse dapat membantu tantangan besar dengan gudang data, seperti masa berlaku data, keandalan, total biaya kepemilikan, dan penguncian data. Pada tabel Delta, pengoptimalan seperti pemadatan otomatis dan rencana kueri adaptif tersedia. Untuk panduan terperinci ke Delta Lake, silakan kunjungi Panduan Delta Lake.
Apa itu Pemadatan Otomatis?
Auto Compaction adalah salah satu dari dua fitur pelengkap Auto Optimize untuk tabel Delta. Setelah penulisan ke tabel berhasil, Pemadatan Otomatis dapat memadatkan file lebih lanjut untuk partisi yang memiliki jumlah file kecil terbanyak. Memilih untuk Pemadatan Otomatis disarankan untuk kasus penggunaan streaming di mana penambahan menit latensi dapat diterima dan ketika Anda tidak memiliki panggilan OPTIMIZE reguler pada tabel Anda. Untuk informasi selengkapnya tentang Pengoptimalan Otomatis dan Pemadatan Otomatis, lihat Panduan Pengoptimalan Otomatis dan Pemadatan Otomatis ini.
Pipelines
Bagaimana cara memastikan saya mengetahui kredensial apa yang digunakan untuk menjalankan sebuah pipeline?
Setiap aktivitas dalam sebuah Jalur Synapse dijalankan menggunakan kredensial yang ditentukan di dalam layanan yang ditautkan.
Apakah SSIS IR didukung di Synapse Integrate?
Tidak untuk saat ini.
Bagaimana perbedaan alur Azure Data Factory dengan alur Azure Synapse?
Beberapa contoh perbedaannya adalah dukungan untuk parameter global, pemantauan Pekerjaan Spark untuk Aliran Data, dan berbagi Integration Runtime. Untuk informasi selengkapnya, lihat dokumen ini untuk Integrasi Data - Synapse vs ADF.
Bagaimana cara memigrasikan alur yang sudah ada dari Azure Data Factory ke ruang kerja Azure Synapse?
Saat ini, Anda harus membuat ulang alur Azure Data Factory dan artefak terkait secara manual dengan mengekspor JSON dari alur asli dan mengimpornya ke ruang kerja Synapse Anda.
Bagaimana cara menggunakan Apache Spark Job Definition?
Lihat Panduan Mulai Cepat ini.
Bisakah saya memanggil notebook-notebook dari pipeline ADF?
Ada dua opsi untuk kasus penggunaan ini. Salah satu opsinya adalah tetap menggunakan pipeline di ADF, dan Anda harus membungkusnya dalam aktivitas web. Untuk informasi selengkapnya tentang opsi ini, silakan lihat Panduan Aktivitas Web ini. Opsi lainnya adalah memigrasikan pipeline ke Synapse. Untuk informasi selengkapnya tentang opsi kedua, lihat Sampel Kode Migrasi ini.
Apache Spark
Apa perbedaan antara Apache Spark for Synapse dan Apache Spark?
Apache Spark untuk Synapse adalah Apache Spark dengan dukungan tambahan untuk integrasi dengan layanan lain (MICROSOFT Entra ID, AzureML, dll.) dan pustaka tambahan (mssparkutils, Hummingbird) dan konfigurasi performa yang telah disetel sebelumnya.
Beban kerja apa pun yang saat ini berjalan di Apache Spark akan berjalan di Apache Spark for Azure Synapse tanpa perubahan.
Versi Spark mana yang tersedia?
Pada September 2023, Azure Synapse Apache Spark sepenuhnya mendukung Spark 3.3. Untuk daftar lengkap komponen inti dan versi yang saat ini didukung lihat dukungan versi Apache Spark.
Apakah ada yang setara dengan DButils di Azure Synapse Spark?
Ya, Azure Synapse Apache Spark menyediakan pustaka mssparkutils. Untuk dokumentasi lengkap utilitas, lihat Pengenalan utilitas Microsoft Spark.
Bagaimana cara mengatur parameter sesi di Apache Spark?
Untuk mengatur parameter sesi, gunakan %%configure magic yang tersedia. Sesi perlu dimulai ulang agar parameter berlaku.
Bagaimana cara mengatur parameter tingkat kluster di kumpulan Spark tanpa server?
Untuk mengatur parameter tingkat kluster, Anda dapat menyediakan file spark.conf untuk pool Spark-nya. Pool ini kemudian akan menerapkan parameter yang diberikan dalam file konfigurasi.
Bisakah saya menjalankan Spark Cluster multi-pengguna di Azure Synapse Analytics?
Azure Synapse menyediakan mesin yang dibuat khusus untuk kasus penggunaan tertentu. Apache Spark for Synapse dirancang sebagai layanan job dan bukan model kluster. Ada dua skenario ketika orang meminta model kluster multi-pengguna.
Skenario #1: Banyak pengguna mengakses kluster untuk menyajikan data bagi keperluan BI.
Cara termudah untuk menyelesaikan tugas ini adalah mengolah data dengan Spark dan kemudian memanfaatkan kemampuan penyajian Synapse SQL sehingga Power BI dapat dihubungkan ke himpunan data tersebut.
Skenario #2: Memiliki beberapa pengembang pada satu kluster untuk menghemat uang.
Untuk memenuhi skenario ini, Anda harus memberi setiap pengembang sebuah kumpulan Spark tanpa server yang diatur untuk menggunakan sejumlah kecil sumber daya Spark. Karena kumpulan Spark tanpa server tidak dikenakan biaya sampai benar-benar digunakan, hal ini meminimalkan biaya ketika ada banyak pengembang. Pool tersebut berbagi metadata (tabel Spark) sehingga dapat dengan mudah saling bekerja sama.
Bagaimana cara menyertakan, mengelola, dan memasang pustaka?
Anda dapat memasang paket eksternal melalui file requirements.txt saat membuat kumpulan Spark, dari ruang kerja Synapse, atau dari portal Microsoft Azure. Lihat Mengelola pustaka untuk Apache Spark di Azure Synapse Analytics.
Alat apa yang tersedia untuk saya di Synapse Spark?
MSSparkUtils di Synapse Spark menawarkan berbagai utilitas untuk meningkatkan pengalaman Anda dan membuat integrasi dengan alat dan layanan lain lebih mudah. Bekerja dengan sistem file, dapatkan variabel lingkungan, merangkai notebook bersama-sama, dan bekerja dengan secret dengan langkah manual minimal. Untuk dokumentasi lengkap, silakan kunjungi Utilitas Microsoft Spark.
Dedicated SQL Pools
Apa perbedaan antara kumpulan SQL khusus (SQL DW) dan kumpulan SQL khusus di ruang kerja Azure Synapse?
pool SQL khusus (sebelumnya SQL DW) adalah platform gudang data perusahaan Azure Platform-as-a-Service (PaaS). Anda dapat mengkueri kumpulan SQL khusus yang ada (sebelumnya SQL DW) dan juga membuat kumpulan SQL khusus baru di ruang kerja Azure Synapse Anda. Tidak semua fitur kumpulan SQL khusus di ruang kerja Azure Synapse berlaku untuk kumpulan SQL khusus (sebelumnya SQL DW) mandiri, dan sebaliknya. Untuk informasi selengkapnya, lihat Apa perbedaan antara kumpulan SQL khusus Azure Synapse (sebelumnya SQL DW) dan kumpulan SQL khusus di ruang kerja Azure Synapse Analytics?. Untuk mengaktifkan fitur ruang kerja Azure Synapse untuk kumpulan SQL khusus yang ada (sebelumnya SQL DW), lihat Cara mengaktifkan ruang kerja untuk kumpulan SQL khusus Anda (sebelumnya SQL DW).
Apa perbedaan fungsional antara kumpulan SQL khusus dan pool serverless?
Anda dapat menemukan daftar lengkap tentang perbedaannya dalam perbedaan fitur T-SQL di Synapse SQL.
Karena sekarang Azure Synapse adalah GA, bagaimana cara memindahkan dedicated SQL pools saya yang sebelumnya mandiri ke Azure Synapse?
Tidak ada “pindah” atau “migrasi” yang diperlukan. Anda dapat memilih untuk mengaktifkan fitur ruang kerja baru di kumpulan yang sudah ada. Jika iya, tidak ada perubahan yang mengganggu, sebagai gantinya Anda akan dapat menggunakan fitur baru seperti Synapse Studio, Spark, dan kumpulan SQL tanpa server. Tidak semua fitur kumpulan SQL khusus di ruang kerja Azure Synapse berlaku untuk kumpulan SQL khusus (sebelumnya SQL DW), dan sebaliknya. Untuk mengaktifkan fitur ruang kerja untuk kumpulan SQL khusus yang sudah ada (sebelumnya SQL DW), lihat Cara mengaktifkan ruang kerja untuk kumpulan SQL khusus Anda (sebelumnya SQL DW).
Apa penerapan default dari kumpulan SQL khusus saat ini?
Secara default, semua kumpulan SQL khusus baru akan diterapkan ke workspace; tetapi, jika perlu, Anda masih dapat membuat kumpulan SQL khusus (sebelumnya SQL DW) dalam bentuk mandiri.
Keamanan jaringan
Bagaimana cara mengamankan akses ke ruang kerja Azure Synapse saya?
Dengan atau tanpa jaringan virtual terkelola, Anda dapat tersambung ke ruang kerja Anda dari jaringan publik. Untuk informasi selengkapnya, lihat Pengaturan Konektivitas. Akses dari jaringan publik dapat dikontrol dengan mengaktifkan fitur akses jaringan publik atau firewall ruang kerja. Atau, Anda dapat menyambungkan ke ruang kerja Anda menggunakan titik akhir privat terkelola dan Private Link. Tanpa Jaringan Virtual Terkelola Azure Synapse Analytics, ruang kerja Azure Synapse tidak memiliki kemampuan untuk tersambung melalui titik akhir privat terkelola.