Batasan jalur pemrosesan

Berikut ini adalah batasan alur Lakeflow yang penting untuk diketahui saat Anda mengembangkan alur Anda:

• Ruang kerja Azure Databricks dibatasi hingga 1000 pembaruan alur bersamaan. Jumlah himpunan data yang dapat dimuat oleh satu alur ditentukan oleh konfigurasi alur dan kompleksitas beban kerja.

• Konfigurasi alur mencakup referensi ke file dan folder sumber.

  • Jika konfigurasi hanya mereferensikan buku catatan atau file individual, batas per alur adalah 100 file sumber.

  • Jika konfigurasi menyertakan folder, Anda dapat menyertakan hingga 50 entri sumber yang terdiri dari file atau folder.

    Mereferensikan folder secara tidak langsung mereferensikan file dalam folder tersebut. Dalam hal ini, batas jumlah file yang dirujuk (secara langsung atau tidak langsung) adalah 1000.

  Jika Anda memerlukan lebih dari 100 file sumber, atur file tersebut ke dalam folder. Untuk mempelajari cara menggunakan folder untuk menyimpan file sumber, lihat Peramban aset pipeline di editor pipeline Lakeflow.

• Himpunan data alur hanya dapat ditentukan sekali. Karena itu, mereka dapat menjadi target hanya satu operasi di semua alur. Pengecualiannya adalah tabel streaming dengan pemrosesan alur tambahan, yang memungkinkan Anda menulis ke tabel streaming dari beberapa sumber streaming. Lihat Alur default dan alur tambahan.

• Kolom identitas memiliki batasan berikut. Untuk mempelajari selengkapnya tentang kolom identitas dalam tabel Delta, lihat Kolom identitas.

  • Kolom identitas tidak dapat digunakan pada tabel yang menjadi target pemrosesan CDC OTOMATIS.
  • Kolom identitas mungkin dikomputasi ulang selama pembaruan pada tampilan materialisasi. Karena itu, Databricks merekomendasikan penggunaan kolom identitas hanya dalam alur yang menggunakan tabel streaming.

• Secara default, tampilan materialisasi dan tabel streaming hanya dapat diakses oleh klien dan aplikasi Azure Databricks. Untuk membuatnya dapat diakses oleh sistem eksternal, lihat Mengakses tampilan materialisasi dan tabel streaming menggunakan sistem eksternal.

• Ada batasan untuk komputasi Databricks yang diperlukan untuk menjalankan dan mengkueri alur Katalog Unity. Lihat Persyaratan untuk pipeline yang menerbitkan ke Unity Catalog.

• Kueri perjalanan waktu Delta Lake hanya didukung dengan tabel streaming, dan tidak didukung dengan tampilan materialisasi. Lihat Bekerja dengan riwayat tabel.

• Fungsi pivot() tidak didukung. Operasi pivot di Spark memerlukan pemrosesan awal data input untuk menghitung skema output. Kapabilitas ini tidak didukung dalam pipeline.

Untuk kuota sumber daya alur Lakeflow, lihat Batas sumber daya.