Streamelési adatforrások konfigurálása
Az Azure Databricks integrálható stream-üzenetkezelési szolgáltatásokkal a databricks lakehouse-ba való közel valós idejű adatbetöltés céljából. Az Azure Databricks a tóházban lévő bővített és átalakított adatokat más streamelési rendszerekkel is szinkronizálhatja.
A strukturált streamelés natív streamelési hozzáférést biztosít az Apache Spark által támogatott fájlformátumokhoz, de a Databricks az Automatikus betöltőt javasolja a legtöbb strukturált streamelési művelethez, amely adatokat olvas be a felhőbeli objektumtárolóból. Lásd : Mi az automatikus betöltő?.
A streamelt üzenetek Delta Lake-be való betöltése lehetővé teszi az üzenetek határozatlan ideig történő megőrzését, így anélkül játszhatja le az adatfolyamokat, hogy az adatmegőrzési küszöbértékek miatt adatvesztéstől tartana.
Az üzenetsorokból történő streamelés konkrét konfigurációiról az alábbiakban olvashat bővebben: