Modo em tempo real no Structured Streaming

O modo em tempo real é um tipo de acionador de streaming estruturado com latência de ponta a ponta de apenas cinco milissegundos. Utilize-o para cargas de trabalho operacionais que devem responder imediatamente a dados em fluxo, como deteção de fraude e personalização em tempo real.

O modo em tempo real utiliza as mesmas APIs de Structured Streaming que o processamento em micro-lotes. Ativa-se ao definir o gatilho em tempo real numa consulta de streaming. Para comparar com os outros tipos de gatilhos de Streaming Estruturado, veja Configurar intervalos de gatilho de Streaming Estruturado.

O modo em tempo real também está disponível nos pipelines do Lakeflow. Veja Usar o modo em tempo real nos pipelines Lakeflow.

Introdução

Página	Description
Configurar o modo em tempo real	Configura o Classic Compute, ativa o trigger em tempo real e dimensiona o teu cluster.
Conceitos de modo em tempo real	Aprende como funciona o modo em tempo real e quando o usar em vez do modo micro-batch.
Tutorial: Executar uma carga de trabalho de streaming em tempo real	Execute a sua primeira consulta de streaming com o gatilho em tempo real e uma fonte de taxa.

Construir aplicações em tempo real

Página	Description
Otimizar e monitorizar o desempenho das consultas em modo em tempo real	Ajuste o cálculo, reduza a latência de ponta a ponta e monitorize o desempenho das consultas com métricas incorporadas.
Limitações do modo em tempo real	Compreenda limitações conhecidas para fontes, sindicatos e mapPartitions.
Referência do modo em tempo real	Analise ambientes suportados, linguagens, tipos de computação, fontes, sumidouros e operadores.
Exemplos de modos em tempo real	Explore exemplos de código para Kafka, Kinesis, Lakebase, consultas com estado e sinks personalizados.

Recursos adicionais

• Conceitos de Streaming Estruturado
• Configurar intervalos de gatilho do Streaming Estruturado
• Utilizar o modo em tempo real nos pipelines Lakeflow