Mengelola konfigurasi Apache Spark

Dalam tutorial ini, Anda akan mempelajari cara membuat konfigurasi Apache Spark untuk studio synapse Anda. Konfigurasi Apache Spark yang dibuat dapat dikelola dengan cara standar dan saat Anda membuat definisi kerja Notebook atau Apache spark dapat memilih konfigurasi Apache Spark yang ingin Anda gunakan dengan kumpulan Apache Spark Anda. Saat Anda memilihnya, detail konfigurasi akan ditampilkan.

Membuat Konfigurasi Apache Spark

Anda dapat membuat konfigurasi kustom dari titik masuk yang berbeda, seperti dari halaman konfigurasi Apache Spark dari kumpulan spark yang ada.

Membuat konfigurasi kustom dalam konfigurasi Apache Spark

Ikuti langkah-langkah di bawah ini untuk membuat Konfigurasi Apache Spark di Synapse Studio.

1. Pilih Kelola>Konfigurasi Apache Spark.

2. Klik tombol Baru untuk membuat konfigurasi Apache Spark baru, atau klik Impor file .json lokal ke ruang kerja Anda.

3. Halaman Konfigurasi Apache Spark baru akan dibuka setelah Anda mengklik tombol Baru.

4. Untuk Nama, Anda dapat memasukkan nama pilihan dan valid Anda.

5. Untuk Deskripsi, Anda dapat memasukkan beberapa deskripsi di dalamnya.

6. Untuk Anotasi, Anda dapat menambahkan anotasi dengan mengklik tombol Baru, dan Anda juga dapat menghapus anotasi yang ada dengan memilih dan mengklik tombol Hapus.

7. Untuk Properti konfigurasi, sesuaikan konfigurasi dengan mengklik tombol Tambahkan untuk menambahkan properti. Jika Anda tidak menambahkan properti, Azure Synapse akan menggunakan nilai default jika berlaku.

   

8. Klik tombol Lanjutkan.

9. Klik tombol Buat saat validasi berhasil.

10. Publikasikan semua

Catatan

Unggah fitur konfigurasi Apache Spark telah dihapus, tetapi Synapse Studio akan menyimpan konfigurasi yang diunggah sebelumnya.

Membuat Konfigurasi Apache Spark di kumpulan Apache Spark yang sudah ada

Ikuti langkah-langkah di bawah ini untuk membuat konfigurasi Apache Spark di kumpulan Apache Spark yang ada.

1. Pilih kumpulan Apache Spark yang ada, dan klik tindakan "..." Tombol.

2. Pilih konfigurasi Apache Spark di daftar konten.

   

3. Untuk konfigurasi Apache Spark, Anda dapat memilih konfigurasi yang sudah dibuat dari daftar drop-down, atau klik +Baru untuk membuat konfigurasi baru.

   • Jika Anda mengklik +Baru, halaman Konfigurasi Apache Spark akan terbuka, dan Anda dapat membuat konfigurasi baru dengan mengikuti langkah-langkah dalam Membuat konfigurasi kustom di konfigurasi Apache Spark.

   • Jika Anda memilih konfigurasi yang ada, detail konfigurasi akan ditampilkan di bagian bawah halaman, Anda juga dapat mengklik tombol Edit untuk mengedit konfigurasi yang ada.

     

4. Klik Tampilkan Konfigurasi untuk membuka halaman Pilih Konfigurasi. Semua konfigurasi akan ditampilkan pada halaman ini. Anda dapat memilih konfigurasi yang ingin Anda gunakan pada kumpulan Apache Spark ini.

   

5. Klik tombol Terapkan untuk menyimpan tindakan Anda.

Membuat Konfigurasi Apache Spark di sesi konfigurasi Notebook

Jika Anda perlu menggunakan Konfigurasi Apache Spark kustom saat membuat Notebook, Anda dapat membuat dan mengonfigurasinya dalam sesi konfigurasi dengan mengikuti langkah-langkah di bawah ini.

1. Buat Buku Catatan baru/Buka yang sudah ada.

2. Buka Properti buku catatan ini.

3. Klik Konfigurasikan sesi untuk membuka halaman Konfigurasi sesi.

4. Gulir ke bawah halaman konfigurasi sesi, untuk konfigurasi Apache Spark, perluas menu drop-down, Anda dapat mengklik tombol Baru untuk membuat konfigurasi baru. Atau pilih konfigurasi yang sudah ada, jika Anda memilih konfigurasi yang sudah ada, klik ikon Edit untuk masuk ke halaman konfigurasi Edit Apache Spark untuk mengedit konfigurasi.

5. Klik Tampilkan Konfigurasi untuk membuka halaman Pilih Konfigurasi. Semua konfigurasi akan ditampilkan pada halaman ini. Anda dapat memilih konfigurasi yang ingin Anda gunakan.

   

Membuat Konfigurasi Apache Spark dalam definisi kerja Apache Spark

Saat membuat definisi kerja spark, Anda perlu menggunakan konfigurasi Apache Spark, yang dapat dibuat dengan mengikuti langkah-langkah di bawah ini:

1. Buat baru/Buka definisi kerja Apache Spark yang sudah ada.

2. Untuk konfigurasi Apache Spark, Anda dapat mengklik tombol Baru untuk membuat konfigurasi baru. Atau pilih konfigurasi yang sudah ada di menu drop-down, jika Anda memilih konfigurasi yang ada, klik ikon Edit untuk masuk ke halaman konfigurasi Edit Apache Spark untuk mengedit konfigurasi.

3. Klik Tampilkan Konfigurasi untuk membuka halaman Pilih Konfigurasi. Semua konfigurasi akan ditampilkan pada halaman ini. Anda dapat memilih konfigurasi yang ingin Anda gunakan.

   

Catatan

Jika konfigurasi Apache Spark dalam definisi kerja Notebook dan Apache Spark tidak melakukan sesuatu yang istimewa, konfigurasi default akan digunakan saat menjalankan pekerjaan.

Mengimpor dan Mengekspor konfigurasi Apache Spark

Anda dapat mengimpor konfigurasi .txt/.conf/.json dalam tiga format, lalu mengonversinya menjadi artefak dan menerbitkannya. Dan juga dapat mengekspor ke salah satu dari tiga format ini.

• Impor konfigurasi .txt/.conf/.json dari lokal.

  

• Ekspor konfigurasi .txt/.conf/.json ke lokal.

  

Untuk file konfigurasi .txt dan file konfigurasi .conf, Anda dapat merujuk ke contoh berikut:

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Untuk file konfigurasi .json, Anda dapat merujuk ke contoh berikut:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Catatan

Synapse Studio akan terus mendukung file konfigurasi berbasis terraform atau bicep.

Langkah berikutnya

• Menggunakan kumpulan Apache Spark tanpa server di Synapse Studio.
• Menjalankan aplikasi Spark di notebook.
• Membuat definisi kerja Apache Spark di Azure Studio.
• Mengumpulkan log dan metrik aplikasi Apache Spark dengan akun Azure Storage.
• Mengumpulkan log dan metrik aplikasi Apache Spark dengan Azure Event Hubs.