Bagikan melalui

Batasan mode akses komputasi untuk Katalog Unity

  • Artikel

Databricks merekomendasikan penggunaan Unity Catalog dan mode akses bersama untuk sebagian besar beban kerja. Artikel ini menguraikan batasan dan persyaratan untuk setiap mode akses dengan Unity Catalog. Untuk detail tentang mode akses, lihat Mode akses.

Databricks merekomendasikan penggunaan kebijakan komputasi untuk menyederhanakan opsi konfigurasi bagi sebagian besar pengguna. Lihat Membuat dan mengelola kebijakan komputasi.

Catatan

Tidak ada isolasi yang dibagikan adalah mode akses lama yang tidak mendukung Katalog Unity.

Penting

Skrip dan pustaka init memiliki dukungan yang berbeda di seluruh mode akses dan versi Databricks Runtime. Lihat Di mana skrip init dapat diinstal? dan Pustaka cakupan kluster.

Batasan mode akses pengguna tunggal pada Unity Catalog

Mode akses pengguna tunggal pada Unity Catalog memiliki batasan berikut. Ini selain batasan umum untuk semua mode akses Katalog Unity. Lihat Batasan umum untuk Katalog Unity.

Batasan kontrol akses menenangkan untuk mode akses pengguna tunggal Katalog Unity

Pada Databricks Runtime 15.3 ke bawah, kontrol akses terperintah pada komputasi pengguna tunggal tidak didukung. Khususnya:

  • Anda tidak dapat mengakses tabel yang memiliki filter baris atau masker kolom.
  • Anda tidak dapat mengakses tampilan dinamis.
  • Untuk membaca dari tampilan apa pun, Anda harus memiliki SELECT semua tabel dan tampilan yang dirujuk oleh tampilan.

Untuk mengkueri tampilan dinamis, tampilan yang tidak Anda miliki SELECT pada tabel dan tampilan yang mendasar, dan tabel dengan filter baris atau masker kolom, gunakan salah satu hal berikut ini:

  • Gudang SQL.

  • Komputasi dengan mode akses bersama.

  • Komputasi dengan mode akses pengguna tunggal pada Databricks Runtime 15.4 LTS atau lebih tinggi.

    Databricks Runtime 15.4 LTS ke atas mendukung kontrol akses terperintah pada komputasi pengguna tunggal. Untuk memanfaatkan pemfilteran data yang disediakan di Databricks Runtime 15.4 LTS ke atas, verifikasi bahwa ruang kerja Anda diaktifkan untuk komputasi tanpa server.

    Komputasi tanpa server menangani pemfilteran data, yang memungkinkan akses ke tampilan tanpa memerlukan izin pada tabel dan tampilan yang mendasarnya. Karena komputasi tanpa server menangani pemfilteran data, Anda mungkin dikenakan biaya komputasi tanpa server saat Anda menggunakan komputasi pengguna tunggal untuk mengkueri tampilan. Untuk informasi selengkapnya, lihat Kontrol akses terperindar pada komputasi pengguna tunggal.

Tabel streaming dan batasan tampilan materialisasi untuk mode akses pengguna tunggal Katalog Unity

Pada Databricks Runtime 15.3 ke bawah, Anda tidak dapat menggunakan komputasi pengguna tunggal untuk mengkueri tabel yang dibuat menggunakan alur Tabel Langsung Delta, termasuk tabel streaming dan tampilan materialisasi, jika tabel tersebut dimiliki oleh pengguna lain. Pengguna yang membuat tabel adalah pemiliknya.

Untuk mengkueri tabel Streaming dan tampilan materialisasi yang dibuat oleh Tabel Langsung Delta dan dimiliki oleh pengguna lain, gunakan salah satu hal berikut ini:

  • Gudang SQL.

  • Komputasi dengan mode akses bersama pada Databricks Runtime 13.3 LTS atau lebih tinggi.

  • Komputasi dengan mode akses pengguna tunggal pada Databricks Runtime 15.4 LTS atau lebih tinggi.

    Ruang kerja Anda juga harus diaktifkan untuk komputasi tanpa server. Untuk informasi selengkapnya, lihat Kontrol akses terperindar pada komputasi pengguna tunggal.

Batasan streaming untuk mode akses pengguna tunggal Katalog Unity

  • Titik pemeriksaan asinkron tidak didukung di Databricks Runtime 11.3 LTS dan di bawahnya.
  • StreamingQueryListener memerlukan Databricks Runtime 15.1 atau lebih tinggi untuk menggunakan kredensial atau berinteraksi dengan objek yang dikelola oleh Unity Catalog pada komputasi pengguna tunggal.

Batasan mode akses bersama pada Unity Catalog

Mode akses bersama di Unity Catalog memiliki batasan berikut. Ini selain batasan umum untuk semua mode akses Katalog Unity. Lihat Batasan umum untuk Katalog Unity.

  • Databricks Runtime ML dan Spark Pembelajaran Mesin Library (MLlib) tidak didukung.

  • Pekerjaan Spark-submit tidak didukung.

  • Dalam Databricks Runtime 13.3 ke atas, baris individual tidak boleh melebihi 128MB.

  • UDF PySpark tidak dapat mengakses folder Git, file ruang kerja, atau volume untuk mengimpor modul di Databricks Runtime 14.2 ke bawah.

  • Akar dan pemasangan DBFS tidak mendukung FUSE.

  • Saat Anda menggunakan mode akses bersama dengan passthrough kredensial, fitur Katalog Unity dinonaktifkan.

  • Kontainer kustom tidak didukung.

Dukungan bahasa untuk mode akses bersama Katalog Unity

  • R tidak didukung.
  • Scala didukung di Databricks Runtime 13.3 ke atas.
    • Dalam Databricks Runtime 15.4 LTS ke atas, semua pustaka Java atau Scala (file JAR) yang dibundel dengan Databricks Runtime tersedia pada komputasi dalam mode akses Unity Catalog.
    • Untuk Databricks Runtime 15.3 atau di bawahnya pada komputasi yang menggunakan mode akses bersama, atur konfigurasi spark.databricks.scala.kernel.fullClasspath.enabled Spark ke true.

Batasan dan persyaratan Spark API untuk mode akses bersama Katalog Unity

  • API RDD tidak didukung.
  • DBUtils dan klien lain yang langsung membaca data dari penyimpanan cloud hanya didukung saat Anda menggunakan lokasi eksternal untuk mengakses lokasi penyimpanan. Lihat Membuat lokasi eksternal untuk menyambungkan penyimpanan cloud ke Azure Databricks.
  • Konteks Spark (sc),spark.sparkContext, dan sqlContext tidak didukung untuk Scala dalam Databricks Runtime apa pun dan tidak didukung untuk Python di Databricks Runtime 14.0 ke atas.
    • Databricks merekomendasikan penggunaan spark variabel untuk berinteraksi dengan SparkSession instans.
    • Fungsi berikut juga sc tidak didukung: emptyRDD, init_batched_serializertextFilenewAPIHadoopFileparallelizenewAPIHadoopRDDbinaryFileswholeTextFilesbinaryRecordsrangepickleFilesequenceFile, runJobsetSystemPropertyhadoopFilehadoopRDDunion, , uiWebUrlstop, , , setJobGroup, , setLocalProperty, . getConf
  • Operasi API Himpunan Data Scala berikut memerlukan Databricks Runtime 15.4 LTS atau lebih tinggi: map, , mapPartitionsforeachPartition, flatMap, reduce dan filter.

Batasan dan persyaratan UDF untuk mode akses bersama Unity Catalog

Fungsi yang ditentukan pengguna (UDF) memiliki batasan berikut dengan mode akses bersama:

  • UDF Apache Hive tidak didukung.

  • applyInPandas dan mapInPandas memerlukan Databricks Runtime 14.3 atau lebih tinggi.

  • UDF skalar Scala memerlukan Databricks Runtime 14.2 atau lebih tinggi. UDF dan UDAF Scala lainnya tidak didukung.

  • Dalam Databricks Runtime 14.2 ke bawah, menggunakan versi grpckustom , , pyarrowatau protobuf dalam UDF PySpark melalui pustaka yang tercakup dalam buku catatan atau cakupan kluster tidak didukung karena versi yang diinstal selalu disukai. Untuk menemukan versi pustaka yang diinstal, lihat bagian Lingkungan Sistem dari catatan rilis versi Runtime Databricks tertentu.

  • UDF skalar Python dan UDF Pandas memerlukan Databricks Runtime 13.3 LTS atau lebih tinggi.

  • UDF Python dan Pandas non-skalar, termasuk UDAF, UDTF, dan Panda di Spark, memerlukan Databricks Runtime 14.3 LTS atau lebih tinggi.

Lihat Fungsi yang ditentukan pengguna (UDF) di Unity Catalog.

Batasan dan persyaratan streaming untuk mode akses bersama Unity Catalog

Catatan

Beberapa opsi Kafka yang tercantum memiliki dukungan terbatas saat digunakan untuk konfigurasi yang didukung di Azure Databricks. Semua batasan Kafka yang tercantum berlaku untuk pemrosesan batch dan streaming. Lihat Pemrosesan aliran dengan Apache Kafka dan Azure Databricks.

  • Untuk Scala, foreach, foreachBatch, StreamingListeners, dan FlatMapGroupWithState tidak didukung.
  • Untuk Python, foreachBatch memiliki perubahan perilaku berikut dalam Databricks Runtime 14.0 ke atas:
    • print() perintah menulis output ke log driver.
    • Anda tidak dapat mengakses dbutils.widgets submodul di dalam fungsi.
    • Setiap file, modul, atau objek yang dirujuk dalam fungsi harus dapat diserialisasikan dan tersedia di Spark.
  • Untuk Scala, from_avro memerlukan Databricks Runtime 14.2 atau lebih tinggi.
  • applyInPandasWithState memerlukan Databricks Runtime 14.3 LTS atau lebih tinggi.
  • Bekerja dengan sumber soket tidak didukung.
  • sourceArchiveDir harus berada di lokasi eksternal yang sama dengan sumber saat Anda menggunakan option("cleanSource", "archive") sumber data yang dikelola oleh Katalog Unity.
  • Untuk sumber dan sink Kafka, opsi berikut tidak didukung:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Opsi Kafka berikut tidak didukung di Databricks Runtime 13.3 LTS ke atas tetapi tidak didukung di Databricks Runtime 12.2 LTS. Anda hanya dapat menentukan lokasi eksternal yang dikelola oleh Unity Catalog untuk opsi berikut:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • StreamingQueryListener memerlukan Databricks Runtime 14.3 LTS atau lebih tinggi untuk menggunakan kredensial atau berinteraksi dengan objek yang dikelola oleh Unity Catalog pada komputasi bersama.

Batasan akses jaringan dan sistem file dan persyaratan untuk mode akses bersama Katalog Unity

  • Anda harus menjalankan perintah pada simpul komputasi sebagai pengguna dengan hak istimewa rendah yang dilarang mengakses bagian sensitif sistem file.

  • Di Databricks Runtime 11.3 LTS dan di bawahnya, Anda hanya dapat membuat koneksi jaringan ke port 80 dan 443.

  • Anda tidak dapat tersambung ke layanan metadata instans atau Azure WireServer.

Batasan umum untuk Unity Catalog

Batasan berikut berlaku untuk semua mode akses yang diaktifkan Katalog Unity.

Batasan streaming untuk Unity Catalog

  • Mode pemrosesan berkelanjutan Apache Spark tidak didukung. Lihat Pemrosesan Berkelanjutan di Panduan Pemrograman Streaming Terstruktur Spark.

Lihat juga Batasan streaming untuk mode akses pengguna tunggal Katalog Unity dan Batasan streaming dan persyaratan untuk mode akses bersama Katalog Unity.

Untuk informasi selengkapnya tentang streaming dengan Katalog Unity, lihat Menggunakan Katalog Unity dengan Streaming Terstruktur.