Mengoptimalkan performa gabungan di Azure Databricks

Dengan Azure Databricks, Anda dapat membuat gabungan di seluruh tabel batch atau streaming Anda. Beberapa sambungan bisa mahal. Berikut dapat membantu Anda mengoptimalkan join Anda.

Untuk informasi selengkapnya tentang gabungan, lihat Bekerja dengan gabungan di Azure Databricks.

Komputasi dengan Photon diaktifkan selalu memilih jenis gabungan terbaik. Lihat Apa itu Photon?. Menggunakan versi Databricks Runtime terbaru dengan Photon diaktifkan umumnya memberikan performa gabungan yang baik, tetapi Anda juga harus mempertimbangkan rekomendasi berikut:

• Operasi silang (cross join) dalam basis data sangat mahal. Hapus gabungan silang dari beban kerja dan kueri yang memerlukan latensi rendah atau komputasi ulang yang sering.

• Urutan bergabung itu penting. Saat melakukan beberapa gabungan, selalu gabungkan tabel terkecil Anda terlebih dahulu lalu gabungkan hasilnya dengan tabel yang lebih besar.

• Pengoptimal dapat berjuang pada kueri dengan banyak gabungan dan agregasi. Menyimpan hasil perantara dapat mempercepat perencanaan kueri dan hasil komputasi.

• Pertahankan statistik baru untuk meningkatkan performa. Pengoptimalan prediktif secara otomatis memperbarui dan mempertahankan statistik. Lihat Pengoptimalan prediktif untuk tabel yang dikelola oleh Unity Catalog.

  Anda juga bisa menjalankan kueri ANALYZE TABLE table_name COMPUTE STATISTICS untuk memperbarui statistik di perencana kueri.

Nota

Di Databricks Runtime 14.3 LTS dan di atasnya, Anda dapat memodifikasi kolom untuk statistik yang Delta Lake kumpulkan untuk melewatkan data dan kemudian menghitung ulang statistik yang ada dalam log Delta. Lihat Menentukan kolom statistik.