Mengonfigurasi sumber data streaming
Azure Databricks dapat diintegrasikan dengan layanan olahpesan aliran untuk penyerapan data hampir real time ke dalam databricks lakehouse. Azure Databricks juga dapat menyinkronkan data yang diperkaya dan diubah di lakehouse dengan sistem streaming lainnya.
Streaming Terstruktur menyediakan akses streaming asli ke format file yang didukung oleh Apache Spark, tetapi Databricks merekomendasikan Auto Loader untuk sebagian besar operasi Streaming Terstruktur yang membaca data dari penyimpanan objek cloud. Lihat Apa itu Pemuat Otomatis?.
Menyerap pesan streaming ke Delta Lake memungkinkan Anda mempertahankan pesan tanpa batas waktu, memungkinkan Anda memutar ulang aliran data tanpa takut kehilangan data karena ambang batas retensi.
Untuk mempelajari selengkapnya tentang konfigurasi tertentu untuk streaming dari antrean pesan, lihat: