Pertanyaan yang sering diajukan tentang Azure Databricks
Artikel ini mencantumkan pertanyaan teratas yang mungkin Anda miliki terkait dengan Azure Databricks. Ini juga mencantumkan beberapa masalah umum yang mungkin Anda alami saat menggunakan Databricks. Untuk informasi selengkapnya, lihat Apa itu Azure Databricks.
Bisakah saya menggunakan Azure Key Vault untuk menyimpan kunci/rahasia untuk digunakan di Azure Databricks?
Ya. Anda dapat menggunakan Azure Key Vault untuk menyimpan kunci/rahasia untuk digunakan dengan Azure Databricks. Untuk informasi selengkapnya, lihat cakupan yang didukung Azure Key Vault.
Ya. Anda dapat menggunakan Azure Virtual Network (VNET) dengan Azure Databricks. Untuk informasi selengkapnya, lihat Menyebarkan Azure Databricks di Jaringan Virtual Azure Anda.
Ikuti langkah-langkah ini:
- Di Microsoft Entra ID (sebelumnya Azure Active Directory), buat prinsipal layanan dan catat kuncinya.
- Tetapkan izin yang diperlukan ke entitas layanan di Azure Data Lake Storage.
- Untuk mengakses file di Data Lake Storage, gunakan kredensial perwakilan layanan di Notebook.
Untuk informasi selengkapnya, lihat Menggunakan Azure Data Lake Storage dengan Azure Databricks.
Berikut adalah beberapa masalah yang mungkin Anda temui dengan Databricks.
Langganan ini tidak terdaftar untuk menggunakan ruang nama 'Microsoft.Databricks'. Lihat https://aka.ms/rps-not-found untuk cara mendaftarkan langganan. (Kode: MissingSubscriptionRegistration)
- Buka portal Azure.
- Pilih langganan , langganan yang Anda gunakan, lalu Penyedia sumber daya.
- Dalam daftar penyedia sumber daya, terhadap Microsoft.Databricks, pilih Daftarkan. Anda harus memiliki peran kontributor atau pemilik pada langganan untuk mendaftarkan penyedia sumber daya.
Masalah: Akun Anda {email} tidak memiliki peran pemilik atau kontributor pada sumber daya ruang kerja Databricks di portal Azure
"Akun Anda {email} tidak memiliki peran Pemilik atau Kontributor pada sumber daya ruang kerja Databricks di portal Azure. Kesalahan ini juga dapat terjadi jika Anda adalah pengguna tamu di penyewa. Minta administrator untuk memberi Anda akses atau menambahkan Anda sebagai pengguna langsung di ruang kerja Databricks." (Kode: AADSTS90015)
Berikut ini adalah beberapa solusi untuk masalah ini:
Jika Anda adalah pengguna Azure Databricks tanpa peran Pemilik atau Kontributor pada sumber daya ruang kerja Databricks dan Anda hanya ingin mengakses ruang kerja:
- Anda harus mengaksesnya secara langsung menggunakan URL (misalnya,
https://adb-5555555555555555.19.azuredatabricks.net). Jangan gunakan tombol Luncurkan Ruang Kerja di portal Azure.
Jika Anda berharap dikenali sebagai Pemilik atau Kontributor di sumber daya ruang kerja:
Untuk menginisialisasi penyewa, Anda harus masuk sebagai pengguna biasa penyewa, bukan sebagai pengguna tamu. Anda juga harus memiliki peran Kontributor atau Pemilik di sumber daya ruang kerja Databricks. Administrator dapat memberikan peran kepada pengguna dari tab Kontrol Akses (IAM) dalam ruang kerja Azure Databricks di Azure portal.
Kesalahan ini mungkin juga terjadi jika nama domain email Anda ditetapkan ke beberapa direktori di ID Microsoft Entra (sebelumnya Azure Active Directory). Untuk mengatasi masalah ini, buat pengguna baru di direktori yang berisi langganan dengan ruang kerja Databricks Anda.
a. Di portal Azure, buka Microsoft Entra ID. Pilih Pengguna dan Grup >Tambahkan pengguna.
b. Tambahkan pengguna dengan
@<tenant-name>.onmicrosoft.comemail, bukan@<your-domain>email. Anda dapat menemukan opsi ini di Domain Kustom, di bawah ID Microsoft Entra di portal Azure.c. Berikan pengguna baru ini peran Kontributor pada sumber daya ruang kerja Databricks.
d. Masuk ke portal Azure dengan pengguna baru, dan temukan ruang kerja Databricks.
e. Luncurkan ruang kerja Databricks sebagai pengguna ini.
Jika Anda tidak membuat ruang kerja, dan Anda ditambahkan sebagai pengguna, hubungi orang yang membuat ruang kerja tersebut. Minta orang tersebut menambahkan Anda dengan menggunakan Konsol Admin Azure Databricks. Untuk petunjuk, lihat Menambahkan dan mengelola pengguna. Jika Anda membuat ruang kerja dan masih mendapatkan kesalahan ini, coba pilih Inisialisasi Ruang Kerja lagi dari portal Microsoft Azure.
Masalah: Kegagalan peluncuran penyedia cloud saat menyiapkan sumber daya komputasi (PublicIPCountLimitReached)
"Kegagalan Peluncuran Penyedia Cloud: Terjadi kesalahan penyedia cloud saat menyiapkan sumber daya komputasi. Untuk informasi lebih lanjut, lihat panduan Databricks. Kode kesalahan Azure: PublicIPCountLimitReached. Pesan galat Azure: Tidak dapat membuat lebih dari 10 alamat IP publik untuk langganan ini di wilayah ini."
Sumber daya komputasi Databricks menggunakan satu alamat IP publik per simpul (termasuk simpul driver). Langganan Azure memiliki batas alamat IP publik per wilayah. Dengan demikian, pembuatan sumber daya komputasi dan operasi peningkatan skala mungkin gagal jika menyebabkan jumlah alamat IP publik yang dialokasikan untuk langganan tersebut di wilayah tersebut melebihi batas. Batas ini juga mencakup alamat IP publik yang dialokasikan untuk penggunaan non-Databricks, seperti VM kustom yang ditentukan pengguna.
Secara umum, sumber daya komputasi hanya menggunakan alamat IP publik saat aktif. Namun, PublicIPCountLimitReached kesalahan mungkin terus terjadi untuk waktu yang singkat bahkan setelah komputasi lain dihentikan. Ini karena Databricks untuk sementara menyimpan sumber daya Azure saat sumber daya komputasi dihentikan. Caching sumber daya dilakukan secara sengaja, karena secara signifikan mengurangi latensi saat memulai komputasi dan penyesuaian skala otomatis dalam banyak skenario umum.
Jika langganan Anda telah mencapai batas alamat IP publiknya untuk wilayah tertentu, maka Anda harus melakukan salah satu atau yang lainnya dari yang berikut ini.
- Buat sumber daya komputasi baru di ruang kerja Databricks yang berbeda. Ruang kerja lainnya harus berada di wilayah tempat Anda belum mencapai batas alamat IP publik langganan Anda.
- Permintaan untuk meningkatkan batas alamat IP publik Anda. Pilih Kuota sebagai Tipe Masalah, dan Jaringan: ARM sebagai Tipe Kuota. Di Rincian, minta peningkatan kuota Alamat IP Publik. Misalnya, jika batas Anda saat ini adalah 60, dan Anda ingin membuat sumber daya komputasi 100 simpul, minta peningkatan batas menjadi 160.
Masalah: Kegagalan peluncuran tipe kedua penyedia cloud saat menyiapkan komputasi (MissingSubscriptionRegistration)
"Kegagalan Peluncuran Penyedia Cloud: Terjadi kesalahan penyedia cloud saat menyiapkan sumber daya komputasi. Untuk informasi lebih lanjut, lihat panduan Databricks. Kode kesalahan Azure: MissingSubscriptionRegistration Pesan kesalahan Azure: Langganan tidak terdaftar untuk menggunakan namespace 'Microsoft.Compute'. Lihat https://aka.ms/rps-not-found untuk cara mendaftarkan langganan."
- Buka portal Azure.
- Pilih langganan , langganan yang Anda gunakan, lalu Penyedia sumber daya.
- Dalam daftar penyedia sumber daya, di sebelah Microsoft.Compute, pilih Daftarkan. Anda harus memiliki peran kontributor atau pemilik pada langganan untuk mendaftarkan penyedia sumber daya.
Untuk instruksi lebih rinci, lihat Penyedia sumber daya dan jenis.
Masalah: Azure Databricks memerlukan izin untuk mengakses sumber daya di organisasi Anda yang hanya dapat diberikan admin.
Azure Databricks terintegrasi dengan MICROSOFT Entra ID. Atur izin dalam Azure Databricks (misalnya, pada buku catatan atau sumber daya komputasi) dengan menentukan pengguna dari ID Microsoft Entra. Agar Azure Databricks dapat mencantumkan nama pengguna dari Microsoft Entra ID Anda, Azure Databricks memerlukan izin baca untuk informasi tersebut dan persetujuan harus diberikan. Jika persetujuan belum tersedia, Anda akan melihat kesalahan.
Masuk sebagai administrator ke portal Azure. Untuk ID Microsoft Entra, buka tab Pengaturan
Masalah: Azure Databricks tidak mendukung pembuatan ruang kerja di Grup Sumber Daya Azure yang dibuat dengan menggunakan karakter Tionghoa.
Dukungan untuk validasi untuk skenario ini sebagai bagian dari pembuatan ruang kerja akan ditambahkan dalam rilis nanti.