Menjalankan perintah shell di terminal web Azure Databricks

Terminal web Azure Databricks menyediakan cara yang nyaman dan sangat interaktif untuk menjalankan perintah shell dalam antarmuka baris perintah (CLI), termasuk perintah Databricks CLI, untuk mengambil tindakan pada objek Databricks secara terprogram. Ini sangat berguna untuk kasus penggunaan tingkat lanjut, seperti operasi batch pada beberapa file, yang mungkin tidak didukung sepenuhnya oleh antarmuka pengguna (UI) yang ada.

Beberapa pengguna dapat menggunakan terminal web pada satu komputasi.

Anda dapat menggunakan terminal web untuk melakukan hal berikut:

• Lakukan pengeditan file cepat menggunakan Vim atau Emacs.
• Pantau penggunaan sumber daya dengan perintah seperti htop (penggunaan kluster) atau nvidia-smi (penggunaan GPU).
• Jalankan skrip Python non-Spark.
• Jalankan operasi file dengan perintah shell seperti mv dan mkdir.
• Instal dan kelola pustaka pada komputasi.
• Gunakan Databricks CLI untuk mengotomatiskan berbagai aspek Azure Databricks.

Persyaratan

Peringatan

Azure Databricks menproksi layanan terminal web dari port 7681 pada driver Spark komputasi. Proksi web ini dimaksudkan untuk digunakan hanya dengan termial web. Jika port ditempati ketika komputasi dimulai atau ada semacam konflik, terminal web mungkin tidak berfungsi seperti yang diharapkan. Jika layanan web lain diluncurkan pada port 7681, pengguna komputasi mungkin terpapar potensi eksploitasi keamanan. Baik Databricks maupun Microsoft tidak bertanggung jawab atas masalah apa pun yang dihasilkan dari penginstalan perangkat lunak yang tidak didukung pada komputasi.

• Terminal web dinonaktifkan secara default untuk semua pengguna ruang kerja. Untuk mengaktifkannya, lihat Mengaktifkan terminal web.
• DAPAT MELAMPIRKAN KE izin pada komputasi.
• Komputasi harus menggunakan mode akses Pengguna tunggal atau Tidak ada isolasi yang dibagikan.

Luncurkan terminal web

Anda dapat meluncurkan terminal web dari halaman detail komputasi atau dari buku catatan.

Dari buku catatan

Untuk meluncurkan terminal web dari notebook:

1. Sambungkan notebook ke komputasi.
2. Di bagian bawah bilah samping kanan buku catatan, klik ikon Buka panel bawah .
3. Atau, klik menu drop-down komputasi terlampir, arahkan mouse ke atas komputasi terpasang, lalu klik Terminal Web.

Terminal web terbuka di panel di bagian bawah layar. Tombol di kanan atas panel memungkinkan Anda untuk:

• Buka sesi terminal baru di tab baru .
• Muat ulang sesi terminal .
• Tutup panel bawah . Untuk membuka kembali panel, klik di bagian bawah bilah samping kanan.

Dari halaman detail komputasi

Untuk meluncurkan terminal web dari halaman detail komputasi:

1. Pada bilah samping ruang kerja, klik Komputasi.
2. Pada tab Komputasi tujuan semua, klik nama komputasi.
3. Klik Mulai untuk memulai komputasi.
4. Pada tab Aplikasi , klik Terminal Web.

Tab baru terbuka dengan UI terminal web dan perintah Bash.

Menggunakan terminal web

Di terminal web, Anda dapat menjalankan perintah dari akar di dalam kontainer simpul driver komputasi.

Setiap pengguna dapat membuka hingga 100 sesi terminal web aktif (tab). Sesi terminal web tidak aktif mungkin habis waktunya dan aplikasi web terminal web akan terhubung kembali, menghasilkan proses shell baru. Jika Anda ingin mempertahankan sesi Bash Anda, Databricks merekomendasikan untuk menggunakan tmux.

Menjalankan perintah Databricks CLI

Anda juga dapat menggunakan terminal web untuk menjalankan perintah Databricks CLI. CLI yang tersedia selalu merupakan versi terbaru, dan autentikasi didasarkan pada pengguna saat ini. Komputasi harus memenuhi persyaratan berikut:

• Kluster harus menginstal Databricks Runtime 15.0 atau yang lebih baru.
• Ruang kerja tidak boleh diaktifkan untuk Private Link.

Luncurkan terminal web dan jalankan perintah berikut untuk menghasilkan informasi tentang pengguna saat ini:

   databricks current-user me

Perintah bundel juga tersedia, yang memungkinkan Anda membuat dan mengelola Bundel Aset Databricks langsung dari terminal web dalam ruang kerja Databricks. Misalnya, untuk membuat, menyebarkan, dan menjalankan bundel sederhana menggunakan templat default:

1. Dari akar terminal web, navigasikan ke beranda ruang kerja Anda dan jalankan bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Terima perintah templat default, lalu ubah ke direktori bundel dan sebarkan:

   cd my_project
   databricks bundle deploy
   

   Anda dapat melihat bundel yang disebarkan my_project di antarmuka pengguna ruang kerja Databricks.

3. Terakhir, jalankan pekerjaan default di bundel:

   databricks bundle run my_project_job
   

   Navigasi ke Eksekusi Pekerjaan untuk melihat pekerjaan yang sedang berjalan.

Batasan

• Azure Databricks tidak mendukung menjalankan pekerjaan Spark dari terminal web.

• Terminal web Azure Databricks tidak tersedia dalam jenis komputasi berikut:

  • Komputasi pekerjaan
  • Komputasi tanpa server
  • Komputasi diluncurkan dengan DISABLE_WEB_TERMINAL=true set variabel lingkungan.
  • Komputasi diluncurkan dengan mode akses diatur ke Bersama.
  • Komputasi diluncurkan dengan konfigurasi spark.databricks.pyspark.enableProcessIsolation Spark diatur ke true.

• Ada batas maksimal 12 jam sejak pemuatan halaman awal. Setelah itu, koneksi apa pun akan dihentikan meski aktif. Terminal web dapat Anda refresh untuk menghubungkan kembali. Databricks merekomendasikan menggunakan tmux untuk mempertahankan sesi shell Anda.

• Sumber daya komputasi ARM tidak dapat menggunakan terminal web untuk mengakses file ruang kerja, termasuk file di folder Git.

• Mengaktifkan Docker Container Services menonaktifkan terminal web.