Membuat, mengonfigurasi, dan menggunakan lingkungan di Fabric

Lingkungan Microsoft Fabric adalah komponen ruang kerja yang berfungsi untuk menentukan konfigurasi sesi Spark serta definisi pekerjaan Spark untuk notebook. Gunakan lingkungan untuk memilih runtime Spark, mengonfigurasi pengaturan komputasi, mengelola pustaka, dan mengelola file sumber daya kecil yang dapat diakses notebook.

Artikel ini menyajikan gambaran umum tentang cara membuat, mengonfigurasi, dan menggunakan lingkungan.

Mengapa menggunakan item lingkungan

Anda dapat menjalankan notebook dan definisi pekerjaan Spark dengan menggunakan default Ruang Kerja tanpa melampirkan item lingkungan. Dalam kasus tersebut, Anda menggunakan pengaturan Spark pada tingkat ruang kerja.

Gunakan item lingkungan saat Anda memerlukan default yang dapat digunakan kembali dan diatur untuk tim:

  • Tentukan komputasi dan pustaka Spark satu kali, dan terapkan secara konsisten di seluruh notebook serta definisi tugas Spark.
  • Atur lingkungan sebagai default ruang kerja sehingga pengguna mewarisi konfigurasi bersama melalui default Ruang Kerja.
  • Versi dan operasikan pengaturan lingkungan sebagai artefak tunggal.

Lingkungan pada tingkat ruang kerja

Gunakan alur kerja ini saat Anda ingin mengatur default di seluruh ruang kerja untuk notebook dan definisi pekerjaan Spark.

Item lingkungan dibuat di ruang kerja tertentu dan dikaitkan dengan ruang kerja tersebut. Anda juga dapat menggunakan lingkungan tersebut di ruang kerja lain tempat Anda memiliki akses, jika persyaratan kompatibilitas berbagi dan ruang kerja terpenuhi.

Membuat lingkungan dari ruang kerja

  1. Di browser Anda, buka ruang kerja Fabric Anda di portal Fabric.

  2. Pilih +Item baru.

  3. Cari "lingkungan" di bilah pencarian dan pilih petak peta Lingkungan .

    Cuplikan layar memperlihatkan cara memilih petak peta Lingkungan dari ruang kerja di portal Fabric.

  4. Beri nama lingkungan Anda dan pilih Buat.

Pasang lingkungan sebagai standar ruang kerja

Penting

Setelah lingkungan dipilih sebagai default ruang kerja, hanya admin ruang kerja yang dapat memperbarui konten lingkungan default.

Admin ruang kerja dapat menentukan beban kerja default untuk seluruh ruang kerja. Nilai yang dikonfigurasi di sini efektif untuk notebook dan definisi tugas Spark yang terhubung ke pengaturan Ruang Kerja.

Cuplikan layar yang memperlihatkan rentang efektif konfigurasi ruang kerja.

Tombol Atur lingkungan default mengontrol apakah default Ruang Kerja didukung oleh item lingkungan.

  1. Di browser Anda, buka ruang kerja Fabric Anda di portal Fabric.

  2. Pilih Pengaturan ruang kerja.

  3. Pilih Rekayasa Data/Sains, lalu pilih Pengaturan Spark.

  4. Pilih tabLingkungan.

    Cuplikan layar yang memperlihatkan pengaturan Ruang Kerja dengan pengaturan Spark terbuka dan tab Lingkungan dipilih.

  5. Untuk menggunakan default ruang kerja yang didukung lingkungan, ubah Atur lingkungan default ke Aktif, pilih item lingkungan yang ingin Anda gunakan, lalu simpan perubahan Anda.

    • Saat tombol ini Nonaktif (default), pengguna masih melihat Default Workspace di notebook dan definisi pekerjaan Spark. Dalam status ini, Pengaturan Default Ruang Kerja menggunakan pengaturan Spark tingkat ruang kerja.
    • Saat tombol ini Aktif, Anda memilih item lingkungan sebagai default ruang kerja. Notebook dan definisi tugas Spark yang menggunakan default Ruang Kerja kemudian mewarisi konfigurasi komputasi dan pustaka Spark dari lingkungan tersebut.

    Cuplikan layar yang memperlihatkan pemilihan lingkungan default.

Lingkungan tingkat definisi pekerjaan Notebook dan Spark

Gunakan alur kerja ini saat Anda ingin membuat, memilih, atau mengubah lingkungan langsung dari buku catatan atau definisi kerja Spark.

Membuat atau mengubah lingkungan dari notebook atau definisi kerja Spark

  1. Di browser Anda, buka ruang kerja Fabric Anda di portal Fabric.

  2. Buka notebook atau definisi kerja Spark.

  3. Pilih menu dropdown Lingkungan lalu pilih Lingkungan baru.

    Cuplikan layar yang memperlihatkan cara membuat lingkungan baru selama pemilihan lingkungan di buku catatan.

    Nota

    Atau, jika Anda ingin mengubah lingkungan tanpa membuat lingkungan baru, Anda dapat memilih Ubah lingkungan dari menu dropdown. Anda bisa memilih lingkungan yang sudah ada lalu pilih Konfirmasi untuk melampirkannya ke buku catatan atau definisi kerja Spark.

  4. Beri nama lingkungan Anda dan pilih Buat.

Lampirkan lingkungan ke notebook atau definisi tugas Spark

Lingkungan tersedia di tab Notebook dan Definisi Pekerjaan Spark . Saat notebook dan definisi kerja Spark dilampirkan ke lingkungan, mereka dapat mengakses pustaka, konfigurasi komputasi, dan sumber dayanya. Explorer mencantumkan semua lingkungan yang tersedia yang dibagikan dengan Anda, berasal dari ruang kerja saat ini, dan berasal dari ruang kerja lain yang dapat Anda akses.

Cuplikan layar yang memperlihatkan tempat melampirkan lingkungan dalam notebook.

Jika Anda beralih ke lingkungan lain selama sesi aktif, lingkungan yang baru dipilih tidak berlaku hingga sesi berikutnya.

Saat Anda melampirkan lingkungan dari ruang kerja lain, kedua ruang kerja harus memiliki kapasitas dan pengaturan keamanan jaringan yang sama. Meskipun Anda dapat memilih lingkungan dari ruang kerja dengan kapasitas yang berbeda atau pengaturan keamanan jaringan, sesi gagal dimulai.

Saat Anda melampirkan lingkungan dari ruang kerja lain, konfigurasi komputasi di lingkungan tersebut diabaikan. Sebagai gantinya, konfigurasi kumpulan dan komputasi default ke pengaturan ruang kerja Anda saat ini.

Mengonfigurasi lingkungan

Lingkungan memiliki tiga komponen utama:

  • Pemrosesan Spark, yang mencakup runtime Spark.
  • Perpustakaan.
  • Sumber daya.

Konfigurasi komputasi dan pustaka Spark diperlukan agar penerbitan efektif. Sumber daya adalah penyimpanan bersama yang dapat berubah secara real time. Untuk informasi selengkapnya, lihat Menyimpan dan menerbitkan perubahan.

Konfigurasi Spark Compute

Konfigurasikan komputasi Spark di lingkungan dengan memilih runtime dan mengatur properti komputasi tingkat sesi.

Untuk langkah-langkah terperinci, termasuk pemilihan runtime dan kustomisasi komputasi, lihat Pengaturan konfigurasi komputasi Spark di lingkungan Fabric.

Jika Anda mengubah pengaturan runtime atau komputasi, simpan dan terbitkan lingkungan agar perubahan tersebut diterapkan. Untuk informasi selengkapnya, lihat Menyimpan dan menerbitkan perubahan.

Mengelola pustaka

Setiap runtime Spark menyediakan pustaka bawaan. Dengan lingkungan Fabric, Anda juga dapat menginstal pustaka dari sumber publik atau mengunggah pustaka kustom yang Anda atau organisasi Anda buat. Setelah Anda berhasil menginstal pustaka, pustaka tersebut tersedia di sesi Spark Anda. Untuk informasi selengkapnya, lihat Manajemen pustaka di lingkungan Fabric. Untuk praktik terbaik untuk mengelola pustaka di Fabric, lihat Mengelola pustaka Apache Spark di Fabric.

Saat menambahkan pustaka ke lingkungan, Anda memilih mode penerbitan:

  • Mode cepat diterbitkan dalam waktu sekitar 5 detik. Pustaka menginstal saat sesi buku catatan dimulai. Gunakan mode Cepat untuk iterasi cepat selama pengembangan.
  • Mode penuh membuat rekam jepret pustaka yang stabil dan dapat direproduksi. Penerbitan biasanya memerlukan waktu 3 hingga 6 menit, dan awal sesi menambah waktu 1 hingga 3 menit untuk pendistribusian dependensi. Gunakan Mode penuh untuk alur, eksekusi terjadwal, dan beban kerja bersama. Untuk mencapai waktu mulai sesi sekitar 5 detik menggunakan mode Penuh, konfigurasikan kumpulan langsung kustom yang terhubung dengan lingkungan.

Untuk detail tentang setiap mode, lihat Memilih mode publikasi untuk pustaka.

Menggunakan sumber daya

Bagian Sumber Daya di lingkungan memfasilitasi kemampuan untuk mengelola sumber daya kecil selama fase pengembangan. File yang diunggah ke lingkungan dapat diakses di seluruh notebook saat dilampirkan. Untuk informasi selengkapnya, lihat Mengelola sumber daya di lingkungan Fabric.

Nota

File di bagian Sumber Daya tidak terpengaruh oleh penerbitan lingkungan. Perubahan sumber daya bersifat real time dan segera tersedia tanpa langkah penerbitan.

Simpan dan terbitkan perubahan

Gunakan Simpan dan Terbitkan untuk mengontrol kapan perubahan konfigurasi lingkungan berlaku.

  • Simpan simpan perubahan anda yang tertunda.
  • Terbitkan mengimplementasikan perubahan yang belum diterapkan pada Perpustakaan dan komputasi Spark.
  • Perubahan dalam Sumber Daya bersifat real time dan tidak memerlukan penerbitan.

Saat Anda menerbitkan, waktu bergantung pada mode penerbitan pustaka yang Anda pilih. Mode cepat diterbitkan dalam waktu sekitar 5 detik, sementara Mode penuh biasanya membutuhkan waktu 3 hingga 6 menit untuk mengatasi dependensi dan membuat rekam jepret yang stabil. Untuk detailnya, lihat Memilih mode publikasi untuk pustaka.

Pada tab Beranda , Simpan dan Terbitkan diaktifkan saat ada perubahan tertunda di Pustaka atau komputasi Spark.

Cuplikan layar yang memperlihatkan tempat untuk memilih Simpan dan Terbitkan.

Penting

Jika Private Link diaktifkan, pekerjaan Spark pertama di ruang kerja perlu memicu provisi VNet, yang dapat memakan waktu sekitar 10–15 menit. Karena penerbitan lingkungan juga berjalan sebagai pekerjaan Spark, mungkin mengalami penundaan tambahan jika kebetulan merupakan pekerjaan Spark pertama yang dijalankan setelah Private Link diaktifkan.

Saat perubahan tertunda ada, banner juga menyediakan tindakan Simpan dan Terbitkan .

Gunakan alur kerja ini:

  1. Buat perubahan di Perpustakaan atau Komputasi Spark.
  2. Pilih Simpan untuk menyimpan pengeditan Anda. Perubahan yang disimpan sedang dalam tahap persiapan dan belum berlaku.
  3. Pilih Terbitkan lalu Terbitkan semua untuk membuat perubahan bertahap efektif.

Selama penerbitan:

  • Untuk membatalkan proses penerbitan, pilih Tampilkan kemajuan di banner dan batalkan operasi.
  • Pemberitahuan muncul setelah penerbitan selesai. Pemberitahuan kesalahan terjadi jika ada masalah selama proses.

Lingkungan hanya menerima satu tindakan Terbitkan pada satu waktu. Anda tidak dapat membuat perubahan pada bagian Pustaka atau komputasi Spark selama tindakan Terbitkan yang sedang berlangsung.

Berbagi lingkungan yang sudah ada

Fabric mendukung berbagi item dengan tingkat izin yang berbeda.

Cuplikan layar yang memperlihatkan cara berbagi lingkungan.

Saat Anda berbagi item lingkungan, penerima secara otomatis menerima izin Baca. Dengan izin ini, mereka dapat menjelajahi konfigurasi lingkungan dan melampirkannya ke notebook atau pekerjaan Spark. Untuk eksekusi kode yang lancar, pastikan untuk memberikan izin Baca untuk lingkungan terlampir saat Anda berbagi notebook dan definisi pekerjaan Spark.

Anda juga dapat berbagi lingkungan dengan izin Bagikan dan Edit. Pengguna dengan izin Berbagi dapat terus berbagi lingkungan dengan orang lain. Sementara itu, penerima dengan izin Edit dapat memperbarui konten lingkungan.

Menghapus lingkungan

Anda dapat menghapus lingkungan saat tidak lagi diperlukan. Sebelum menghapus lingkungan, pertimbangkan hal berikut:

Penting

  • Menghapus lingkungan bersifat permanen dan tidak dapat dibatalkan.
  • Setiap notebook atau definisi pekerjaan Spark yang saat ini dilampirkan ke lingkungan perlu dikonfigurasi ulang untuk menggunakan lingkungan atau pengaturan ruang kerja yang berbeda.
  • Jika lingkungan diatur sebagai default ruang kerja, Anda harus terlebih dahulu mengubah pengaturan default ruang kerja sebelum penghapusan.

Menghapus lingkungan menggunakan REST API

Anda dapat menghapus lingkungan secara terprogram menggunakan Fabric REST API:

Titik Akhir:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Izin yang diperlukan: Environment.ReadWrite.All atau Item.ReadWrite.All

Untuk informasi selengkapnya tentang REST API, lihat Menghapus lingkungan.

Konten terkait

  • Last updated on