Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Important
Fitur ini ada di Beta.
Cadangkan skema Unity Catalog dengan Azure Key Vault untuk menggunakan rahasia Azure Key Vault Anda di notebook, pekerjaan, dan UDF tanpa menyalinnya. Nilai-nilai tetap ada di Key Vault, dan hak istimewa Unity Catalog mengontrol siapa yang dapat membaca atau menggunakan setiap secret.
Berbeda dengan secret scope yang didukung Azure Key Vault, yang mengekspos seluruh vault ke satu workspace, skema Unity Catalog yang didukung Key Vault tersedia di setiap workspace yang terhubung ke metastore dan memberikan akses ke setiap secret secara terpisah.
Untuk membandingkan rahasia eksternal dengan rahasia yang dikelola Azure Databricks dan ruang lingkup rahasia workspace, lihat Pilih tempat menyimpan rahasia.
Cara kerja rahasia eksternal
Sebuah skema terhubung ke satu koneksi ke manajer rahasia cloud Anda. Dua kontrol independen memutuskan siapa yang boleh menggunakan secret. Izin kredensial layanan di secret manager Anda menentukan rahasia mana yang dapat diimpor dan dibaca oleh Unity Catalog, dan hak istimewa Unity Catalog menentukan principal mana yang dapat menggunakannya.
Setelah Anda mencadangkan skema, rahasia eksternal berperilaku sebagai berikut:
- Setiap pembacaan mengambil nilai saat ini: Secret yang Anda rotasi di secret manager berlaku pada pembacaan berikutnya, tanpa perubahan di Azure Databricks. Kode program yang sudah menyimpan nilai akan menyimpannya sampai membaca rahasia itu lagi. Nilai yang diambil dapat disimpan dalam cache pada komputasi yang memintanya, seperti halnya rahasia lainnya.
- Kelola rahasia di secret manager Anda: Buat, perbarui, rotasi, dan hapus secret di sana. Fitur tersebut bersifat hanya-baca di Unity Catalog. Ketika Anda menghapus rahasia secara permanen di secret manager Anda, Azure Databricks akan menghapus secret Unity Catalog, termasuk izin dan tag-nya.
- Mencantumkan mengimpor rahasia baru: Mencantumkan skema akan memulai impor asinkron. Rahasia yang ditambahkan atau dihapus dari secret manager Anda akan muncul di Unity Catalog setelah proses pencantuman berikutnya, yang bisa memakan waktu beberapa menit untuk store besar. Anda dapat membaca rahasia berdasarkan namanya sebelum muncul dalam daftar.
- Log audit merekam kedua sisi: Log audit Unity Catalog mencatat prinsipal Azure Databricks yang membaca rahasia. Log sisi cloud mengatribusikan akses ke kredensial layanan.
Persyaratan
- Penuhi persyaratan untuk rahasia Unity Catalog.
- Rahasia eksternal Beta harus diaktifkan untuk workspace Anda. Lihat Kelola Pratinjau Azure Databricks.
- Anda membutuhkan kredensial layanan Unity Catalog dan koneksi Unity Catalog yang menggunakannya untuk melakukan autentikasi ke secret manager Anda. Lihat Buat kredensial layanan dan Buat koneksi.
- Untuk mencadangkan skema, Anda perlu
USE CATALOGpada katalog, kepemilikan skema atauMANAGEdi dalamnya, danUSE CONNECTIONpada koneksi. Skema tidak boleh berisi rahasia yang dikelola Azure Databricks, jadi hapus dulu sebelum Anda mencadangkannya.
Siapkan rahasia eksternal
Buat kredensial layanan
Koneksi mengautentikasi ke secret manager Anda dengan kredensial layanan Unity Catalog.
- Buat kredensial layanan yang didukung oleh managed identity atau service principal, seperti dijelaskan dalam Buat kredensial layanan.
- Berikan izin identitas untuk mendaftar dan membaca rahasia di Key Vault. Misalnya, tetapkan peran Key Vault Secrets User, atau kebijakan akses dengan izin get dan daftar rahasia.
Buat koneksi
Buat koneksi Unity Catalog yang menggunakan kredensial layanan dan menunjuk ke secret manager Anda. Anda perlu CREATE CONNECTION pada metastore.
Penjelajah Katalog
- Di Catalog Explorer, klik + menu dan pilih Buat koneksi.
- Masukkan nama Koneksi dan pilih tipe koneksi Azure Key Vault.
- Pilih kredensial layanan, dan atur nama vault Key Vault Anda.
- Klik Buat.
Databricks CLI (antarmuka baris perintah)
Untuk membuat sambungan, jalankan perintah berikut. Atur vault_name ke nama Key Vault Anda dan credential ke nama kredensial layanan:
databricks connections create --json '{
"name": "my_key_vault_connection",
"connection_type": "AZURE_KEY_VAULT",
"options": {
"vault_name": "my-vault",
"credential": "my_key_vault_credential"
}
}'
REST API
Untuk membuat koneksi, jalankan hal berikut. Azure Databricks mengurai vault_name menjadi https://<vault_name>.vault.azure.net:
curl -X POST \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H 'Content-Type: application/json' \
-d '{
"name": "my_key_vault_connection",
"connection_type": "AZURE_KEY_VAULT",
"options": {
"vault_name": "my-vault",
"credential": "my_key_vault_credential"
}
}' \
"$DATABRICKS_HOST/api/2.1/unity-catalog/connections"
Cadangkan skema dengan koneksi
- Di Catalog Explorer, buka skema.
- Di detail skema, temukan pengaturan manajer rahasia eksternal dan klik Aktifkan. Enable tetap tidak tersedia hingga skema tidak lagi memiliki secret.
- Pilih koneksi yang Anda buat, lalu konfirmasi.
Untuk mengarahkan skema ke koneksi lain, klik Edit. Untuk mengembalikan skema ke penyimpanan yang dikelola Azure Databricks, edit skema dan nonaktifkan rahasia eksternal. Kedua perubahan ini akan menghapus rahasia yang sebelumnya diimpor dari skema, termasuk izin dan tagnya.
Memverifikasi penyiapan
Untuk memastikan bahwa Unity Catalog dapat mencantumkan dan membaca secrets Anda, jalankan hal berikut di notebook:
# List the secrets in the schema. This also starts an import of new secrets.
dbutils.secrets.list(catalog="main", schema="orders_app")
# Read one secret by name
dbutils.secrets.get(catalog="main", schema="orders_app", key="example_secret")
Jika daftar kosong, jalankan lagi setelah beberapa menit. Jika pembacaan gagal, lihat Pemecahan Masalah.
Nama secret di Unity Catalog
Unity Catalog hanya mengimpor rahasia eksternal jika namanya memenuhi aturan berikut:
- Nama yang lebih panjang dari 255 karakter tidak diimpor.
- Nama tidak sensitif terhadap huruf besar/kecil. Jika dua rahasia hanya berbeda berdasarkan kasus, Unity Catalog menyimpan rahasia pertama yang diimpor dan mengabaikan sisanya.
-
.menjadi:dan/menjadi|. Azure Databricks merekomendasikan untuk menghindari karakter-karakter ini dalam nama rahasia eksternal.
Untuk membaca rahasia sebelum muncul dalam daftar, gunakan namanya dengan substitusi ini.
Troubleshooting
- Sebuah rahasia tercantum, tetapi membacanya gagal: Identitas dapat mencantumkan rahasia tetapi tidak dapat membaca nilainya, atau rahasia tersebut dinonaktifkan di Key Vault. Berikan peran Key Vault Secrets User atau kebijakan akses dengan izin get, atau aktifkan kembali rahasia tersebut.
- Sebuah secret hilang: Unity Catalog tidak menampilkan secret Key Vault yang dihapus secara lembut. Pulihkan rahasia di Key Vault.
- Rahasia baru tidak muncul: Tampilkan skema, tunggu beberapa menit, lalu tampilkan lagi. Periksa pembatasan penamaan dan kuota skema.
- Beberapa rahasia tidak pernah muncul: Sebuah skema dapat menampung hingga 1.000 rahasia. Ketika pengelola secret Anda memiliki jumlah yang melebihi batas, Unity Catalog mengimpor yang paling lama terlebih dahulu berdasarkan tanggal pembuatan dan melewati sisanya. Ekspos hanya secret yang Anda butuhkan di setiap skema. Lihat rahasia kelompok berdasarkan siapa yang membutuhkannya.
Keterbatasan
Selain keterbatasan yang berlaku untuk semua rahasia Unity Catalog, rahasia yang didukung eksternal memiliki keterbatasan berikut:
- Akses lintas cloud tidak didukung: Gunakan skema yang didukung oleh pengelola rahasia bawaan untuk cloud workspace.
- Latensi dan biaya pembacaan: Setiap operasi pembacaan mengambil nilai dari pengelola rahasia eksternal, yang menambah latensi dan dapat menimbulkan biaya dari penyedia layanan cloud.
- Tidak ada penyaringan tag: Azure Key Vault tidak mendukung pemfilteran rahasia yang diimpor berdasarkan tag.
Note
Jika pengelola rahasia eksternal yang digunakan oleh suatu skema berada di wilayah yang berbeda dari metastore atau ruang kerja yang membacanya, nilai rahasia dan metadata-nya akan melintasi antarwilayah. Azure Databricks tidak menjamin pemrosesan rahasia eksternal di dalam wilayah.
Nama dan nilai rahasia eksternal dapat berisi data pribadi. Anda bertanggung jawab untuk menjaga data pribadi agar tidak masuk ke dalamnya kecuali jika Anda memerlukannya.
Sumber daya tambahan
| Resource | Deskripsi |
|---|---|
| Praktik terbaik untuk rahasia Unity Catalog | Atur rahasia berdasarkan lingkungan, aplikasi, atau tim, dan biarkan beban kerja menggunakan rahasia tanpa membacanya. |
| Rahasia dalam Katalog Unity | Buat, berikan, dan baca secret Unity Catalog. |