Strukturált streamelési fogalmak

Az Apache Spark Strukturált Streaming lehetővé teszi, hogy streaming alkalmazásokat és pipeline-okat építs ugyanazokkal a Spark API-kkal, amelyeket a köteges feldolgozáshoz használsz. Az Azure Databricksben két feldolgozási mód támogatott:

• Valós idejű mód (RTM): Másodperc alatti működési terhelésekre tervezték, például csalásészlelés és valós idejű személyre szabás. Az RTM a rekordokat úgy dolgozza fel, ahogy megérkeznek, a végpontok közötti késleltetés akár öt ezredmásodperc is lehet. Lásd a valós idejű mód koncepciókat.
• Mikrokötegelt mód: Analitikai pipeline-okhoz és ETL-munkaterhelésekhez tervezték. A mikrokötegelt mód kis adagokban dolgozza fel az adatfolyamokat, egyensúlyban tartva a számítási költségeket a késleltetési követelményekkel, amelyeket másodpercekben vagy percekben mérnek. A mikro-kötegelt feldolgozás az alapértelmezett mód.

Mindkét mód ugyanazt a Structured Streaming API-kat használja. Mindkét mód által támogatott lekérdezéseknél a trigger és a számítási konfiguráción keresztül válthatod a módokat. Lásd: Valós idejű mód beállítása.

A Structured Streaming a Lakeflow pipeline-okban történő streamelést is támogatja, amelyek az Apache Spark™ Declarative Pipelines-ra épülnek. A pipeline kezeli az orkestrációt, az ellenőrzőpontokat és a helyreállítást, és a transzformációkat SQL vagy Python nyelven definiálod.

Részletes oktatóanyagért tekintse meg az első strukturált streamelési számítási feladat futtatását.

Olvasás adatfolyamból

A strukturált streamelés használatával növekményesen betölthet adatokat a támogatott adatforrásokból.

Funkció	Leírás
Automatikus betöltő	Növekményesen és hatékonyan dolgozza fel az új adatfájlokat a felhőbeli tárolóba érkezve.
Delta Lake-táblastreamelés olvasása és írása	A Delta Lake-táblákat streamforrásként és fogadóként használhatja pontosan egyszeri feldolgozási garanciával.
SQL és Spark API-k	Csatlakozz üzenetbuszokhoz, üzenetsorokhoz és vállalati alkalmazásokhoz SQL és Spark API-k segítségével.
Mikroadag mérete	Korlátozza a bemeneti sebességeket a konzisztens kötegméretek fenntartása és a feldolgozási késések elkerülése érdekében.

Írás adatgyűjtőbe

Konfigurálja, hogy a strukturált stream hogyan kézbesíti az adatokat a célrendszereknek.

Funkció	Leírás
Ellenőrzőpontok	Tárolja a feldolgozási állapotot a hibatűrés és az egyszeri pontos kézbesítés szemantikájának biztosításához.
Kimeneti mód	Válasszon az állapotalapú streamelési lekérdezések hozzáfűzési, frissítési és teljes módjai közül.
Eseményindító időközei	Állítson be triggerintervallumokat a feldolgozási követelmények késésének és költségeinek egyensúlyba hozásához.
Valós idejű mód strukturált streamelésben	Valós idejű számítási feladatok adatait dolgozza fel, és a végpontok közötti késés akár öt ezredmásodperc is lehet.

Állapotalapú és állapot nélküli feldolgozás

Az állapot nélküli lekérdezések állapotmegőrzés nélkül dolgozzák fel a sorokat. Az állapotalapú lekérdezések köztes állapotot tartanak fenn az aggregációk, illesztések és deduplikációk esetében.

Funkció	Leírás
Állapot nélküli streamelési lekérdezések	Optimalizálja az adatokat feldolgozó lekérdezéseket köztes állapot fenntartása nélkül.
Vízjelek	Annak szabályozása, hogy a strukturált streamelés mennyi ideig várakozik az állapotalapú műveletekben későn érkező adatokra.
Állapotmegtartó streamelés	Állapotalapú operátorokkal kezelheti az aggregációkat, stream-adatfolyam-illesztéseket és deduplikációkat.

Megfigyelés és kezelés

Nyomon követheti a lekérdezési teljesítményt, optimalizálást alkalmazhat, és szabályozhatja az adatokhoz való hozzáférést az éles strukturált streamelési munkaterhelésekhez.

Funkció	Leírás
Monitorozás a StreamingQueryListenerrel	A Lekérdezések előrehaladásának és teljesítménymetrikáinak nyomon követése a Spark felhasználói felület és a figyelő API használatával.
Irányítás a Unity-katalógussal	Konfigurálja a Unity Katalógust streamelő munkafolyamatokhoz kormányzással és hozzáférés-szabályozással.