Streaming di Azure Databricks

Anda dapat menggunakan Azure Databricks untuk penyerapan data hampir real time, pemrosesan, pembelajaran mesin, dan AI untuk data streaming.

Azure Databricks menawarkan banyak pengoptimalan untuk streaming dan pemrosesan bertahap, termasuk yang berikut ini:

• DLT menyediakan sintaksis deklaratif untuk pemrosesan bertahap. Lihat Apa itu DLT?.
• Auto Loader menyederhanakan penyerapan inkremental dari penyimpanan objek cloud. Lihat Apa itu Pemuat Otomatis?.
• Unity Catalog menambahkan tata kelola data ke beban kerja streaming. Lihat Menggunakan Katalog Unity dengan Streaming Terstruktur.

Delta Lake menyediakan lapisan penyimpanan untuk integrasi ini. Lihat pembacaan dan penulisan streaming pada tabel Delta.

Untuk penyajian model real time, lihat Menyebarkan model menggunakan Mosaic AI Model Serving.

• Tutorial
• Konsep
• Stateful streaming
• Aplikasi stateful kustom
• Pertimbangan produksi
• Memantau aliran
• integrasi Unity Catalog
• Streaming bersama Delta
• Contoh

Azure Databricks memiliki fitur khusus untuk bekerja dengan bidang data semi terstruktur yang terkandung dalam Avro, buffer protokol, dan payload data JSON. Untuk mempelajari selengkapnya, lihat:

• Membaca dan menulis data Avro streaming
• Baca dan tulis protocol buffers
• Mengkueri string JSON

Sumber Daya Tambahan:

Apache Spark menyediakan Panduan Pemrograman Streaming Terstruktur yang memiliki informasi lebih lanjut tentang Streaming Terstruktur.

Untuk informasi referensi tentang Streaming Terstruktur, Databricks merekomendasikan referensi API Apache Spark berikut:

• Python
• Scala
• Java