Sumber daya komputasi buku catatan

Artikel ini membahas opsi untuk sumber daya komputasi buku catatan. Anda dapat menjalankan buku catatan pada sumber daya komputasi tujuan umum, komputasi nirkabel, atau, untuk perintah SQL, Anda dapat menggunakan gudang data SQL, jenis komputasi yang dioptimalkan khusus untuk analitik SQL. Untuk informasi selengkapnya tentang jenis komputasi, lihat Komputasi.

Komputasi tanpa server untuk buku catatan

Komputasi tanpa server memungkinkan Anda menyambungkan notebook Anda dengan cepat ke sumber daya komputasi sesuai permintaan.

Untuk menghubungkan kepada layanan komputasi tanpa server, klik menu tarik-turun Sambungkan di buku catatan dan pilih Tanpa Server.

Lihat Komputasi tanpa server untuk buku catatan untuk informasi selengkapnya.

Pemulihan sesi otomatis untuk notebook tanpa server

Penghentian komputasi tanpa server yang tidak aktif dapat menyebabkan Anda kehilangan pekerjaan yang sedang berlangsung, seperti nilai variabel Python, di buku catatan Anda. Untuk menghindari hal ini, aktifkan Pemulihan sesi otomatis untuk notebook tanpa server.

1. Klik nama pengguna Anda di kanan atas ruang kerja Anda, lalu klik Pengaturan di daftar dropdown.
2. Di bilah samping Pengaturan , pilihPengembang .
3. Di bawah Fitur eksperimental, aktifkan Pemulihan otomatis sesi untuk notebook tanpa server .

Mengaktifkan pengaturan ini memungkinkan Databricks untuk mengambil rekam jepret status memori notebook tanpa server sebelum penghentian diam. Saat Anda kembali ke buku catatan setelah pemutusan sambungan karena tidak aktif, banner muncul di bagian atas halaman. Klik Sambungkan kembali untuk memulihkan status kerja Anda.

Saat Anda terhubung kembali, Databricks menginstal ulang seluruh lingkungan kerja Anda, termasuk:

• Variabel, fungsi, dan definisi kelas Python: Sisi Python buku catatan Anda dipertahankan sehingga Anda tidak perlu mengimpor ulang atau mendeklarasi ulang.
• Kerangka data Spark, tampilan cache, dan temp: Data yang telah Anda muat, ubah, atau cache (termasuk tampilan sementara) dipertahankan, sehingga Anda menghindari pemuatan ulang atau komputasi ulang yang mahal.
• Status sesi Spark: Semua pengaturan konfigurasi tingkat Spark Anda, tampilan sementara, modifikasi katalog, dan fungsi yang ditentukan pengguna (UDF) disimpan, sehingga Anda tidak perlu mengatur ulang.

Fitur ini memiliki batasan dan tidak mendukung pemulihan hal berikut:

• Status Spark lebih lama dari 4 hari
• Status Spark lebih besar dari 50 MB
• Data yang terkait dengan SQL Scripting
• Penanganan berkas
• Kunci dan primitif konkurensi lainnya
• Koneksi jaringan

Melampirkan buku catatan ke sumber daya komputasi serbaguna

Untuk melampirkan buku catatan ke sumber daya komputasi serba guna, Anda memerlukan izin dapat melampirkan ke pada sumber daya komputasi.

Penting

Selama buku catatan terhubung ke sumber daya komputasi, setiap pengguna dengan izin untuk MENJALANKAN buku catatan secara implisit memiliki izin untuk mengakses sumber daya komputasi.

Untuk melampirkan buku catatan ke sumber daya komputasi, klik pemilih komputasi di toolbar buku catatan dan pilih sumber daya dari menu dropdown.

** Menu menunjukkan pilihan komputasi serba guna dan gudang SQL yang telah Anda gunakan baru-baru ini atau yang sedang dijalankan.

Untuk memilih dari semua sumber daya komputasi yang tersedia, klik Lainnya.... Pilih dari komputasi umum atau gudang SQL yang tersedia.

Anda juga dapat membuat sumber daya komputasi tujuan baru dengan memilih Buat sumber daya baru... dari menu dropdown.

Penting

Notebook terlampir memiliki variabel Apache Spark berikut yang ditentukan.

Kelas	Nama Variabel
SparkContext	sc
SQLContext/HiveContext	sqlContext
SparkSession (Spark 2.x)	spark

Jangan membuat SparkSession, SparkContext, atau SQLContext. Melakukan hal itu akan menyebabkan perilaku yang tidak konsisten.

Menggunakan notebook dengan gudang SQL

Saat buku catatan dilampirkan ke gudang SQL, Anda bisa menjalankan sel SQL dan Markdown. Menjalankan sel dalam bahasa lain (seperti Python atau R) menimbulkan kesalahan. Sel SQL yang dijalankan pada gudang SQL muncul dalam riwayat kueri gudang SQL. Pengguna yang menjalankan kueri dapat menampilkan profil kueri dari buku catatan dengan mengklik waktu yang berlalu di bagian bawah output.

Notebook yang dilampirkan ke gudang SQL mendukung sesi gudang SQL, yang memungkinkan Anda menentukan variabel, membuat tampilan sementara, dan mempertahankan status di beberapa eksekusi kueri. Ini memungkinkan Anda untuk membangun logika SQL secara berulang tanpa perlu menjalankan semua pernyataan sekaligus. Lihat Apa itu sesi gudang SQL?.

Menjalankan notebook memerlukan gudang SQL pro atau tanpa server. Anda harus memiliki akses ke ruang kerja dan gudang SQL.

Untuk melampirkan buku catatan ke gudang SQL, lakukan hal berikut:

1. Klik pemilih komputasi di toolbar buku catatan. Menu dropdown menunjukkan sumber daya komputasi yang sedang berjalan atau yang baru-baru ini Anda gunakan. Gudang SQL ditandai dengan .

2. Dari menu, pilih gudang SQL.

   Untuk melihat semua gudang SQL yang tersedia, pilih Lainnya... dari menu dropdown. Dialog muncul memperlihatkan sumber daya komputasi yang tersedia untuk buku catatan. PilihGudang SQL , pilih gudang yang ingin Anda gunakan, dan klik Lampirkan.

   

Anda juga dapat memilih gudang SQL sebagai sumber daya komputasi untuk notebook SQL saat Anda membuat alur kerja atau pekerjaan terjadwal.

Batasan gudang SQL

Lihat Buku catatan Databricks batasan yang diketahui untuk informasi selengkapnya.