Batasan jalur pemrosesan

Keterbatasan berikut penting untuk diketahui saat Anda mengembangkan pipeline:

• Workspace Azure Databricks dibatasi hingga 1.000 pembaruan pipeline secara bersamaan. Jumlah dataset yang dapat berisi dalam satu pipeline dibatasi hingga 1.000, tetapi pembaruan pipeline mungkin kehabisan memori atau sumber daya lain sebelum mencapai batas tersebut. Batas yang berguna ditentukan oleh konfigurasi pipeline dan kompleksitas beban kerja. Untuk batas sumber daya, lihat Batas sumber daya.

• Konfigurasi alur mencakup referensi ke file dan folder sumber.

  • Jika konfigurasi hanya mereferensikan buku catatan atau file individual, batas per alur adalah 100 file sumber.

  • Jika konfigurasi menyertakan folder, Anda dapat menyertakan hingga 50 entri sumber yang terdiri dari file atau folder.

    Mereferensikan folder secara tidak langsung mereferensikan file dalam folder tersebut. Dalam hal ini, batas jumlah file yang dirujuk (secara langsung atau tidak langsung) adalah 1000.

  Jika Anda memerlukan lebih dari 100 file sumber, atur file tersebut ke dalam folder. Untuk mempelajari cara menggunakan folder untuk menyimpan file sumber, lihat Peramban aset pipeline di editor pipeline Lakeflow.

• Himpunan data alur hanya dapat ditentukan sekali. Karena itu, mereka dapat menjadi target hanya satu operasi di semua alur. Pengecualiannya adalah tabel streaming dengan pemrosesan alur tambahan, yang memungkinkan Anda menulis ke tabel streaming dari beberapa sumber streaming. Lihat Alur default dan alur tambahan.

• Kolom identitas memiliki batasan berikut. Untuk mempelajari selengkapnya tentang kolom identitas dalam tabel Delta, lihat Kolom identitas.

  • Kolom identitas tidak dapat digunakan pada tabel yang menjadi target pemrosesan CDC OTOMATIS.
  • Kolom identitas mungkin dikomputasi ulang selama pembaruan pada tampilan materialisasi. Karena itu, Databricks merekomendasikan penggunaan kolom identitas hanya dalam alur yang menggunakan tabel streaming.

• Secara default, tampilan materialisasi dan tabel streaming hanya dapat diakses oleh klien dan aplikasi Azure Databricks. Untuk membuatnya dapat diakses oleh sistem eksternal, lihat Mengakses tampilan materialisasi dan tabel streaming menggunakan sistem eksternal.

• Ada batasan untuk komputasi Databricks yang diperlukan untuk menjalankan dan mengkueri alur Katalog Unity. Lihat Persyaratan untuk pipeline yang menerbitkan ke Unity Catalog.

• Kueri perjalanan waktu Delta Lake hanya didukung dengan tabel streaming, dan tidak didukung dengan tampilan materialisasi. Lihat Bekerja dengan riwayat tabel.

• Fungsi pivot() tidak didukung. Operasi pivot di Spark memerlukan pemrosesan awal data input untuk menghitung skema output. Kapabilitas ini tidak didukung dalam pipeline.

• Identitas run-as pipeline dapat berupa grup akun, tetapi grup tersebut harus berupa grup akun yang ditetapkan ke workspace. Grup workspace-local tidak dapat digunakan sebagai identitas run-as, begitu juga grup bawaan adminsluas , users, dan account users. Lihat Atur identitas run-as ke grup.

Untuk kuota sumber daya alur Lakeflow, lihat Batas sumber daya.