Bagikan melalui

Penyimpanan default di Databricks

Halaman ini menjelaskan cara kerja penyimpanan default di Azure Databricks dan cara membuat katalog dan objek data yang menggunakannya.

Apa itu penyimpanan default?

Penyimpanan default adalah platform penyimpanan objek terkelola penuh yang menyediakan penyimpanan siap pakai di akun Azure Databricks Anda. Beberapa fitur Azure Databricks menggunakan penyimpanan default sebagai alternatif untuk penyimpanan eksternal.

Ruang kerja tanpa server menggunakan penyimpanan default untuk penyimpanan internal dan ruang kerja, dan untuk katalog default yang dibuat dengan ruang kerja. Di ruang kerja tanpa server, Anda dapat membuat katalog tambahan di penyimpanan default atau di penyimpanan objek cloud Anda sendiri.

Di ruang kerja klasik dan ruang kerja tanpa server, penyimpanan default digunakan oleh fitur untuk menyimpan hal-hal seperti metadata sarana kontrol, data turunan, model, dan artefak lainnya. Misalnya, Clean Rooms, Data Classification, Deteksi anomali, dan Agent Bricks semuanya menggunakan penyimpanan default ruang kerja. Lihat dokumentasi fitur individual untuk detail tentang apa yang disimpan setiap fitur pada penyimpanan default.

Nota

Untuk informasi tentang memantau biaya penyimpanan default di akun Anda, lihat Memantau biaya penyimpanan default.

Persyaratan

  • Membuat katalog pada penyimpanan default hanya tersedia di ruang kerja tanpa server (Pratinjau Umum).
  • Secara default, katalog yang menggunakan penyimpanan default hanya dapat diakses dari ruang kerja tempat mereka dibuat. Anda dapat memberikan akses ruang kerja lain, termasuk ruang kerja klasik, tetapi mereka harus menggunakan komputasi tanpa server untuk mengakses data di katalog. Lihat Membatasi akses katalog ke ruang kerja tertentu.
  • Anda harus memiliki CREATE CATALOG hak istimewa untuk membuat katalog dengan penyimpanan default. Lihat Hak istimewa Unity Catalog dan objek yang dapat diamankan.
  • Jika klien Anda menggunakan driver ODBC Azure Databricks untuk mengakses katalog penyimpanan default dari belakang firewall, Anda harus mengonfigurasi firewall Anda untuk mengizinkan akses ke gateway penyimpanan regional Azure Databricks. Untuk detail IP dan nama domain untuk penyimpanan default, lihat Alamat IP dan domain untuk layanan dan aset Azure Databricks.

Membuat katalog baru

Selesaikan langkah-langkah berikut untuk membuat katalog baru menggunakan penyimpanan default:

  1. Klik ikon Data.Katalog di bilah samping. Penjelajah Katalog muncul.
  2. Klik Buat katalog. Dialog Buat katalog baru muncul.
  3. Berikan nama Katalog yang unik di akun Anda.
  4. Pilih opsi untuk Menggunakan penyimpanan default.
  5. Klik Buat.

Di ruang kerja tanpa server, Anda juga dapat menggunakan perintah SQL berikut untuk membuat katalog baru di penyimpanan default Anda. Anda tidak perlu menentukan lokasi untuk katalog.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Bekerja dengan penyimpanan default

Semua interaksi dengan penyimpanan default memerlukan komputasi tanpa server dan berkemampuan Katalog Unity.

Sumber daya yang didukung oleh penyimpanan default menggunakan model hak istimewa yang sama dengan objek lain di Unity Catalog. Anda harus memiliki hak istimewa yang memadai untuk membuat, menampilkan, mengkueri, atau mengubah objek data. Lihat Hak istimewa Unity Catalog dan objek yang dapat diamankan.

Anda bekerja dengan penyimpanan default dengan membuat dan berinteraksi dengan tabel terkelola dan volume terkelola yang didukung oleh penyimpanan default. Lihat Tabel terkelola Unity Catalog di Azure Databricks untuk Delta Lake dan Apache Iceberg dan Apa itu volume Unity Catalog?.

Anda bisa menggunakan Catalog Explorer, notebook, editor SQL, dan dasbor untuk berinteraksi dengan objek data yang disimpan dalam penyimpanan default.

Contoh tugas

Berikut ini adalah contoh tugas yang bisa Anda selesaikan dengan penyimpanan default:

Keterbatasan

Batasan berikut berlaku:

  • Komputasi klasik (komputasi apa pun yang tidak tanpa server) tidak dapat berinteraksi dengan aset data di penyimpanan default.
  • Berbagi Delta mendukung berbagi tabel ke penerima mana pun—terbuka atau Azure Databricks—dan penerima dapat menggunakan komputasi klasik untuk mengakses tabel bersama (Beta). Aktifkan fitur Delta Sharing untuk Penyimpanan Default – Akses yang Diperluas di konsol akun Anda.
    • Fitur ini tidak didukung di wilayah berikut: southcentralus, , uksouthdan westus2.
    • Semua aset lain yang dapat dibagikan hanya dapat dibagikan Delta dengan penerima Azure Databricks di cloud yang sama. Penerima harus menggunakan komputasi tanpa server.
  • Tabel dengan partisi diaktifkan tidak dapat dibagikan Delta.
  • Klien External Iceberg dan Delta tidak dapat langsung mengakses metadata, daftar manifes, dan file data yang mendasar untuk tabel UC pada penyimpanan default (akses FileIO tidak didukung). Namun, alat BI seperti Power BI dan Tableau dapat mengakses tabel Unity Catalog pada penyimpanan default menggunakan driver ODBC dan JDBC. Klien eksternal juga dapat mengakses volume Katalog Unity pada penyimpanan default menggunakan FILES API.
  • Penyimpanan default mendukung akses eksternal melalui driver ODBC dan JDBC Azure Databricks, termasuk pengoptimalan performa Cloud Fetch driver ODBC untuk kueri melalui himpunan data yang lebih besar. Namun, jika Anda mengakses tabel penyimpanan default dari ruang kerja yang mengaktifkan Private Link front-end, kueri klien ODBC Anda yang lebih besar dari 100 MB akan gagal karena pengoptimalan Cloud Fetch untuk tabel penyimpanan default saat ini tidak mendukung Private Link front-end.
  • Last updated on