Direktuppspelning i Azure Databricks

Du kan använda Azure Databricks för datainmatning i nära realtid, bearbetning, maskininlärning och AI för strömmande data.

Azure Databricks erbjuder många optimeringar för strömning och inkrementell bearbetning, inklusive följande:

• Delta Live Tables innehåller deklarativ syntax för inkrementell bearbetning. Se Vad är Delta Live Tables?.
• Automatisk inläsning förenklar inkrementell inmatning från molnobjektlagring. Se Vad är automatisk inläsare?.
• Unity Catalog lägger till datastyrning för strömmande arbetsbelastningar. Se Använda Unity-katalogen med strukturerad direktuppspelning.

Delta Lake tillhandahåller lagringsskiktet för dessa integreringar. Se Delta table streaming reads and writes (Delta table streaming reads and writes).

Information om modellservering i realtid finns i Modellservering med Azure Databricks.

• Självstudie

  Lär dig grunderna i nästan realtid och inkrementell bearbetning med strukturerad direktuppspelning i Azure Databricks.

• Begrepp

  Lär dig grundläggande begrepp för att konfigurera inkrementella och nästan realtidsarbetsbelastningar med strukturerad direktuppspelning.

• Tillståndskänslig direktuppspelning

  Genom att hantera mellanliggande tillståndsinformation för tillståndskänsliga frågor för strukturerad direktuppspelning kan du förhindra oväntade svarstider och produktionsproblem.

• Produktionsöverväganden

  Denna artikel innehåller rekommendationer för att konfigurera inkrementella bearbetningslaster för produktion med Strukturerad direktuppspelning i Azure Databricks för att uppfylla svarstids- och kostnadskraven för realtids- eller batchprogram.

• Övervaka strömmar

  Lär dig hur du övervakar strukturerade strömningsprogram i Azure Databricks.

• Integration av Unity-katalog

  Lär dig hur du använder Unity Catalog tillsammans med strukturerad direktuppspelning i Azure Databricks.

• Direktuppspelning med Delta

  Lär dig hur du använder Delta Lake-tabeller som strömmande källor och mottagare.

• Exempel

  Se exempel på hur du använder Spark Structured Streaming med Cassandra, Azure Synapse Analytics, Python Notebooks och Scala Notebooks i Azure Databricks.

Azure Databricks har specifika funktioner för att arbeta med halvstrukturerade datafält som finns i Avro, protokollbuffertar och JSON-datanyttolaster. Mer information finns i:

• Läsa och skriva Avro-direktuppspelningsdata
• Läs- och skrivprotokollbuffertar
• Fråga efter JSON-strängar

Ytterligare resurser

Apache Spark tillhandahåller en programmeringsguide för strukturerad direktuppspelning som innehåller mer information om strukturerad direktuppspelning.

För referensinformation om strukturerad direktuppspelning rekommenderar Databricks följande Apache Spark API-referenser:

• Python
• Scala
• Java