Mengonfigurasi alur tanpa server

Artikel ini menjelaskan konfigurasi untuk alur tanpa server.

Databricks merekomendasikan pengembangan alur baru menggunakan tanpa server. Beberapa beban kerja mungkin memerlukan konfigurasi komputasi klasik atau bekerja dengan metastore Hive warisan. Lihat Konfigurasi komputasi klasik untuk alur kerja dan Gunakan Lakeflow Spark Declarative Pipelines dengan metastore Hive lama.

Nota

• Alur tanpa server selalu menggunakan Katalog Unity. Lihat Menggunakan Unity Catalog dengan alur.
• Untuk batasan komputasi tanpa server, lihat Batasan komputasi Tanpa Server.
• Anda tidak dapat menambahkan pengaturan komputasi secara manual dalam objek clusters dalam konfigurasi JSON untuk alur tanpa server. Mencoba melakukannya menghasilkan kesalahan.

• Jika Anda perlu menggunakan koneksi Azure Private Link dengan Alur Deklaratif Lakeflow Spark tanpa server Anda, hubungi perwakilan Databricks Anda.

Persyaratan

• Ruang kerja Anda harus mengaktifkan Katalog Unity untuk menggunakan alur tanpa server.

• Ruang kerja Anda harus berada di wilayah yang diaktifkan tanpa server.

Konfigurasi yang direkomendasikan untuk alur tanpa server

Penting

Izin pembuatan kluster tidak diperlukan untuk mengonfigurasi alur tanpa server. Secara default, semua pengguna ruang kerja dapat menggunakan alur tanpa server.

Alur tanpa server menghapus sebagian besar opsi konfigurasi, karena Azure Databricks mengelola semua infrastruktur. Saat Anda membuat alur baru, defaultnya adalah menggunakan tanpa server. Untuk mempelajari cara mengonfigurasi alur tanpa server, lihat Mengonfigurasi Alur.

Anda juga dapat mengonversi alur yang ada yang dikonfigurasi dengan Unity Catalog untuk menggunakan tanpa server. Lihat Mengonversi alur yang ada untuk menggunakan tanpa server.

Pertimbangan konfigurasi lainnya

Opsi konfigurasi berikut ini juga tersedia untuk alur tanpa server:

• Anda dapat memilih untuk menggunakan mode alur Berkelanjutan saat menjalankan alur dalam produksi. Lihat Mode dipicu vs. mode jalur berkelanjutan.
• Tambahkan Pemberitahuan untuk pembaruan email berdasarkan kondisi sukses atau gagal. Lihat Menambahkan pemberitahuan email untuk peristiwa alur kerja.
• Gunakan bidang Konfigurasi untuk mengatur pasangan kunci-nilai untuk pipeline. Konfigurasi ini melayani dua tujuan:
  • Atur parameter arbitrer yang dapat Anda referensikan dalam kode sumber Anda. Lihat Menggunakan parameter dengan alur.
  • Mengonfigurasi pengaturan alur dan konfigurasi Spark. Lihat Referensi properti alur.
• Gunakan saluran Pratinjau untuk menguji pipeline Anda terhadap perubahan runtime Pipeline Deklaratif Lakeflow Spark yang tertunda dan fitur uji coba baru.

Kebijakan anggaran tanpa server

Penting

Fitur ini ada di Pratinjau Umum.

Kebijakan anggaran tanpa server memungkinkan organisasi Anda menerapkan tag kustom pada penggunaan tanpa server untuk atribusi penagihan terperinci. Setelah Anda memilih kotak centang Tanpa Server, pengaturan kebijakan anggaran muncul di mana Anda dapat memilih kebijakan yang ingin Anda terapkan ke alur. Tag diwariskan dari kebijakan anggaran tanpa server dan hanya dapat diedit oleh admin ruang kerja.

Nota

Setelah Anda diberi kebijakan anggaran tanpa server, alur yang ada tidak secara otomatis ditandai dengan kebijakan Anda. Anda harus memperbarui pipeline yang ada secara manual jika Anda ingin melampirkan kebijakan ke pipeline itu.

Untuk informasi selengkapnya tentang kebijakan anggaran tanpa server, lihat penggunaan Atribut dengan kebijakan anggaran tanpa server.

Pilih pengaturan performa

Untuk alur yang dipicu, Anda dapat memilih mode performa komputasi tanpa server menggunakan pengaturan Performa yang dioptimalkan di penjadwal alur. Ketika pengaturan ini dinonaktifkan, alur menggunakan mode performa standar. Mode performa standar dirancang untuk mengurangi biaya untuk beban kerja di mana latensi peluncuran yang sedikit lebih tinggi dapat diterima. Beban kerja tanpa server menggunakan mode performa standar biasanya dimulai dalam waktu empat hingga enam menit setelah dipicu, tergantung pada ketersediaan komputasi dan penjadwalan yang dioptimalkan.

Saat Performa yang dioptimalkan diaktifkan, alur Anda dioptimalkan untuk performa, menghasilkan startup dan eksekusi yang lebih cepat untuk beban kerja yang sensitif terhadap waktu.

Kedua mode menggunakan SKU yang sama, tetapi mode performa standar mengonsumsi lebih sedikit DBA, yang mencerminkan penggunaan komputasi yang lebih rendah.

Nota

Untuk menggunakan mode performa standar pada pipeline berkelanjutan, hubungi tim akun Anda di Databricks.

Fitur jalur tanpa server

Selain menyederhanakan konfigurasi, alur tanpa server memiliki fitur berikut:

• Refresh bertahap untuk tampilan materialisasi: Pembaruan untuk tampilan materialisasi diproses secara bertahap jika memungkinkan. Refresh inkremental memiliki hasil yang sama dengan komputasi ulang penuh. Pembaruan menggunakan refresh penuh jika hasil tidak dapat dihitung secara bertahap. Lihat Refresh inkremental untuk tampilan materialisasi.

• Pipelining aliran: Untuk meningkatkan pemanfaatan, throughput, dan latensi untuk beban kerja data streaming seperti penyerapan data, mikro-batch diproses secara pipelining . Dengan kata lain, alih-alih menjalankan microbatche secara berurutan seperti Streaming Terstruktur Spark standar, Alur Deklaratif Lakeflow Spark tanpa server menjalankan mikrobatche secara bersamaan, meningkatkan pemanfaatan sumber daya komputasi. Stream pipelining diaktifkan secara default dalam alur tanpa server.
• Penskalaan otomatis vertikal: Alur Deklaratif Lakeflow Spark tanpa server ditambahkan ke penskalaan otomatis horizontal yang disediakan oleh penskalaan otomatis yang ditingkatkan Databricks dengan secara otomatis mengalokasikan jenis instans paling hemat biaya yang dapat menjalankan alur Anda tanpa gagal karena kesalahan di luar memori. Ketahui lebih lanjut mengenai Apa itu autoscaling vertikal?

Mengonversi alur yang ada untuk menggunakan tanpa server

Anda dapat mengonversi alur yang ada yang dikonfigurasi dengan Unity Catalog ke alur tanpa server. Selesaikan langkah-langkah berikut:

1. Di bilah sisi ruang kerja Azure Databricks Anda, klik Tugas & Pipeline.
2. Klik Nama alur.
3. Klik Pengaturan.
4. Di bilah sisi kanan, di bawah Komputasi, klik .
5. Centang kotak di samping Tanpa Server.
6. Kliklah Simpan.

Penting

Saat Anda mengaktifkan tanpa server, pengaturan komputasi apa pun yang telah Anda konfigurasi untuk alur akan dihapus. Jika Anda mengalihkan alur kembali ke pembaruan tanpa server, Anda harus mengonfigurasi ulang pengaturan komputasi yang diinginkan ke konfigurasi alur.

Bagaimana cara menemukan penggunaan DBU dari alur tanpa server?

Anda dapat menemukan penggunaan DBU dari Lakeflow Spark Declarative Pipelines yang serverless dengan melakukan kueri pada tabel penggunaan yang dapat ditagih, sebagian dari tabel sistem Azure Databricks. Lihat Apa itu konsumsi DBU dari pipeline tanpa server?.