Mulai menggunakan Delta Lake

  • 3 menit

Delta Lake adalah lapisan penyimpanan sumber terbuka yang menambahkan semantik database hubungan ke pemrosesan data lake berbasis Spark. Delta Lake didukung di kumpulan Spark Azure Synapse Analytics untuk kode PySpark, Scala, dan .NET.

Manfaat menggunakan Delta Lake di Azure Databricks meliputi:

  • Tabel hubungan yang mendukung modifikasi data dan kueri. Dengan Delta Lake, Anda dapat menyimpan data dalam tabel yang mendukung operasi CRUD (buat, baca, perbarui, dan hapus). Dengan kata lain, Anda dapat memilih, menyisipkan, memperbarui, dan menghapus baris data dengan cara yang sama seperti yang Anda lakukan dalam sistem database hubungan.
  • Dukungan untuk transaksi ACID. Database hubungan dirancang untuk mendukung modifikasi data transaksional yang memberikan atomisitas (transaksi selesai sebagai satu unit kerja), konsistensi (transaksi membiarkan database dalam status konsisten), isolasi (transaksi yang sedang dalam proses tidak dapat mengganggu satu sama lain), dan durabilitas (ketika transaksi selesai, perubahan yang diberlakukan akan dipertahankan). Delta Lake menghadirkan dukungan transaksional yang sama ini ke Spark dengan menerapkan log transaksi dan memberlakukan isolasi yang dapat diserialisasikan untuk operasi bersamaan.
  • Penerapan versi dan perjalanan waktu. Karena semua transaksi dicatat dalam log transaksi, Anda dapat melacak beberapa versi setiap baris tabel dan bahkan menggunakan fitur perjalanan waktu untuk mengambil versi baris sebelumnya dalam kueri.
  • Dukungan untuk data streaming dan batch. Meskipun sebagian besar database hubungan menyertakan tabel yang menyimpan data statis, Spark menyertakan dukungan asli untuk mengalirkan data melalui API Streaming Terstruktur Spark. Tabel Delta Lake dapat digunakan sebagai sink (tujuan) dan sumber untuk data streaming.
  • Format standar dan interoperabilitas. Data yang mendasari untuk tabel Delta Lake disimpan dalam format Parquet, yang secara umum digunakan di alur penyerapan data lake.

Tip

Untuk informasi selengkapnya tentang Delta Lake di Azure Databricks, lihat panduan Delta Lake dalam dokumentasi Azure Databricks.