Partilhar via

Fluxo de Eventos do Fabric - visão geral

O recurso eventstreams na experiência do Microsoft Fabric Real-Time Intelligence permite trazer eventos em tempo real para o Fabric, transformá-los e, em seguida, roteá-los para vários destinos sem escrever nenhum código (no-code). Você cria um fluxo de eventos, que é uma instância do item Eventstream na malha, adiciona fontes de dados de evento ao fluxo, opcionalmente adiciona transformações para transformar os dados de evento e, em seguida, roteia os dados para destinos suportados. Além disso, com os pontos de extremidade Apache Kafka disponíveis no item Eventstream, você pode enviar ou consumir eventos em tempo real usando o protocolo Kafka.

Insira eventos no Fabric

O recurso eventstreams fornece vários conectores de origem para buscar dados de eventos de várias fontes. Há mais fontes disponíveis quando você habilita os recursos Avançados no momento da criação de um fluxo de eventos.

Origens Descrição
Azure Data Explorer (visualização) Se você tiver um banco de dados do Azure Data Explorer e uma tabela, poderá ingerir dados da tabela no Microsoft Fabric usando o Eventstream.
Hubs de Eventos do Azure Se você tiver um hub de eventos do Azure, poderá ingerir dados do hub de eventos no Microsoft Fabric usando o Eventstream.
Azure Event Grid (visualização) Se você tiver um namespace da Grade de Eventos do Azure, poderá ingerir dados de eventos MQTT ou não MQTT no Microsoft Fabric usando o Eventstream.
Barramento de Serviço do Azure (pré-visualização) Você pode ingerir dados de uma fila do Azure Service Bus ou da assinatura de um tópico no Microsoft Fabric usando o Eventstream.
Hub IoT do Azure Se você tiver um hub IoT do Azure, poderá ingerir dados de IoT no Microsoft Fabric usando o Eventstream.
Ponto de extremidade personalizado (ou seja, aplicação personalizada na funcionalidade padrão) O recurso de ponto de extremidade personalizado permite que os seus aplicativos ou clientes Kafka se conectem ao Eventstream usando uma cadeia de ligação, permitindo a incorporação fluida de dados de streaming no Eventstream.
Dados de exemplo Você pode escolher Bicicletas, Táxi Amarelo ou eventos do Mercado de Ações como uma fonte de dados de exemplo para testar a ingestão de dados durante a configuração de um fluxo de eventos.
Meteorologia em tempo real (pré-visualização) Você pode adicionar uma fonte meteorológica em tempo real a um fluxo de eventos para transmitir dados meteorológicos em tempo real de diferentes locais.
Captura de Dados de Alteração do Banco de Dados SQL do Azure (CDC) O conector de origem CDC do Azure SQL Database permite capturar um snapshot dos dados atuais num banco de dados SQL do Azure. Em seguida, o conector observa e regista quaisquer alterações futuras ao nível de linha nesses dados.
Banco de Dados PostgreSQL CDC O conector de origem CDC (Change Data Capture) da base de dados PostgreSQL permite capturar uma imagem instantânea dos dados atuais numa base de dados PostgreSQL. Em seguida, o conector observa e regista quaisquer alterações futuras ao nível de linha nesses dados.
Banco de dados MySQL CDC O conector de origem Change Data Capture (CDC) do Azure Database for MySQL permite capturar um instantâneo dos dados atuais em um banco de dados do Azure Database for MySQL. Você pode especificar as tabelas a serem monitoradas e o fluxo de eventos registra quaisquer alterações futuras no nível da linha nas tabelas.
Azure Cosmos DB CDC O conector de origem CDC (Change Data Capture) do Azure Cosmos DB para fluxos de eventos do Microsoft Fabric permite capturar uma imagem instantânea dos dados atuais em um banco de dados do Azure Cosmos DB. Em seguida, o conector observa e regista quaisquer alterações futuras ao nível de linha nesses dados.
SQL Server em máquina virtual (VM) Banco de dados (DB) CDC O conector de origem do SQL Server on VM DB (CDC) para fluxos de eventos do Fabric permite capturar um instantâneo dos dados atuais em um banco de dados do SQL Server na VM. Em seguida, o conector monitora e registra quaisquer alterações futuras nos dados no nível da linha.
Azure SQL Managed Instance CDC O conector de origem CDC do Azure SQL Managed Instance para fluxos de eventos do Microsoft Fabric permite capturar um instantâneo dos dados atuais em um banco de dados do Azure SQL Managed Instance. Em seguida, o conector observa e regista quaisquer alterações futuras ao nível de linha nesses dados.
Eventos de Itens da Workspace Fabric Os eventos de Itens do Espaço de Trabalho Fabric são eventos discretos de Fabric que ocorrem quando são feitas alterações no seu Espaço de Trabalho Fabric. Essas alterações incluem a criação, atualização ou exclusão de um item de tecido. Com os fluxos de eventos do Fabric, você pode capturar esses eventos do espaço de trabalho do Fabric, transformá-los e roteá-los para vários destinos no Fabric para análise adicional.
Eventos do Fabric OneLake Os eventos do OneLake permitem que você assine alterações em arquivos e pastas no OneLake e, em seguida, reaja a essas alterações em tempo real. Com os fluxos de eventos do Fabric, você pode capturar esses eventos do OneLake, transformá-los e roteá-los para vários destinos no Fabric para análise adicional. Essa integração perfeita de eventos OneLake em fluxos de eventos do Fabric oferece maior flexibilidade para monitorar e analisar atividades em seu OneLake.
Eventos do Fabric Job Os eventos de tarefa permitem inscrever-se nas alterações produzidas quando o Fabric executa uma tarefa. Por exemplo, você pode reagir a alterações ao atualizar um modelo semântico, executar um pipeline agendado ou executar um bloco de anotações. Cada uma dessas atividades pode gerar um trabalho correspondente, que por sua vez gera um conjunto de eventos de trabalho correspondentes. Com os fluxos de eventos do Fabric, você pode capturar esses eventos de trabalho, transformá-los e roteá-los para vários destinos no Fabric para análise adicional. Essa integração perfeita de eventos de trabalho nos fluxos de eventos do Fabric oferece maior flexibilidade para monitorar e analisar as atividades em seu trabalho.
Eventos de Azure Blob Storage Os eventos do Armazenamento de Blobs do Azure são acionados quando um cliente cria, substitui ou exclui um blob. O conector permite vincular eventos do Blob Storage aos eventos de Fabric no hub em tempo-real. Você pode converter esses eventos em fluxos de dados contínuos e transformá-los antes de roteá-los para vários destinos no Fabric.
Google Cloud Pub/Sub O Google Pub/Sub é um serviço de mensagens que permite publicar e assinar fluxos de eventos. Você pode adicionar o Google Pub/Sub como fonte ao seu fluxo de eventos para capturar, transformar e rotear eventos em tempo real para vários destinos no Fabric.
Amazon Kinesis Data Streams O Amazon Kinesis Data Streams é um serviço de ingestão e processamento de dados altamente escalável e durável, otimizado para streaming de dados. Ao integrar o Amazon Kinesis Data Streams como uma fonte em seu fluxo de eventos, você pode processar facilmente fluxos de dados em tempo real antes de roteá-los para vários destinos no Fabric.
Confluent Cloud para Apache Kafka Confluent Cloud for Apache Kafka é uma plataforma de streaming que oferece poderosas funcionalidades de streaming e processamento de dados usando o Apache Kafka. Ao integrar o Confluent Cloud for Apache Kafka como uma fonte em seu fluxo de eventos, você pode processar perfeitamente fluxos de dados em tempo real antes de roteá-los para vários destinos no Fabric.
Apache Kafka (pré-visualização) O Apache Kafka é uma plataforma distribuída de código aberto para a construção de sistemas de dados escaláveis e em tempo real. Ao integrar o Apache Kafka como uma fonte em seu fluxo de eventos, você pode facilmente trazer eventos em tempo real do seu Apache Kafka e processá-los antes de roteá-los para vários destinos no Fabric.
Amazon MSK Kafka O Amazon MSK Kafka é um serviço Kafka totalmente gerenciado que simplifica a configuração, o dimensionamento e o gerenciamento. Ao integrar o Amazon MSK Kafka como uma fonte em seu fluxo de eventos, você pode facilmente trazer os eventos em tempo real do seu MSK Kafka e processá-los antes de roteá-los para vários destinos no Fabric. 
MQTT (visualização) Os fluxos de eventos do Microsoft Fabric permitem que você se conecte a um broker MQTT, onde as mensagens no broker MQTT são ingeridas no fluxo de eventos do Fabric e roteadas para vários destinos dentro do Fabric. 
Solace PubSub+ (pré-visualização) Os fluxos de eventos do Microsoft Fabric permitem que você se conecte ao Solace PubSub+, permitindo que mensagens do Solace PubSub+ sejam ingeridas no fluxo de eventos do Fabric e roteadas para vários destinos no Fabric. 

Processar eventos através de uma experiência sem necessidade de programação

A experiência de arrastar e soltar oferece uma maneira intuitiva e fácil de criar a lógica de processamento, transformação e roteamento de dados de eventos sem escrever nenhum código. Um diagrama de fluxo de dados de ponta a ponta em um fluxo de eventos pode fornecer uma compreensão abrangente do fluxo de dados e da organização. O editor do processador de eventos é uma experiência sem código que permite arrastar e soltar para projetar a lógica de processamento de dados do evento.

Transformação Descrição
Filtro Use a transformação Filter para filtrar eventos com base no valor de um campo na entrada. Dependendo do tipo de dados (número ou texto), a transformação mantém os valores que correspondem à condição selecionada, como is null ou is not null.
Gerir campos A transformação Gerenciar campos permite adicionar, remover, alterar o tipo de dados ou renomear campos provenientes de uma entrada ou outra transformação.
Agregado Use a transformação Agregada para calcular uma agregação (Soma, Mínimo, Máximo ou Média) sempre que um novo evento ocorrer durante um período de tempo. Essa operação também permite renomear essas colunas calculadas e filtrar ou fatiar a agregação com base em outras dimensões em seus dados. Você pode ter uma ou mais agregações na mesma transformação.
Agrupar por Utilize a transformação "Agrupar por" para calcular agregações em todos os eventos dentro de uma determinada janela de tempo. Você pode agrupar pelos valores em um ou mais campos. É como se a transformação Agregada permitisse a renomeação de colunas, mas fornece mais opções para agregação e inclui opções mais complexas para janelas de tempo. Como o Agregado, você pode adicionar mais de uma agregação por transformação.
União Use a transformação União para conectar dois ou mais nós e adicionar eventos com campos compartilhados (com o mesmo nome e tipo de dados) em uma tabela. Os campos que não correspondem são descartados e não são incluídos na saída.
Expandir Use a transformação Expandir matriz para criar uma nova linha para cada valor dentro de uma matriz.
Participar Use a transformação Join para combinar dados de dois fluxos com base em uma condição correspondente entre eles.

Se ativou Capacidades Melhoradas ao criar um eventstream, as operações de transformação são suportadas para todos os destinos (com o stream derivado atuando como uma ponte intermediária para alguns destinos, como Custom endpoint, Fabric Activator). Se não, as operações de transformação estão disponíveis apenas para os destinos Lakehouse e Eventhouse (processamento de eventos antes da ingestão).

Direcionar eventos para destinos

O recurso Fluxos de eventos do Fabric suporta o envio de dados para os seguintes destinos suportados.

Destino Descrição
Endpoint personalizado (i.e., Aplicação Personalizada em capacidade padrão) Com esse destino, você pode facilmente rotear seus eventos em tempo real para um ponto de extremidade personalizado. Você pode conectar seus próprios aplicativos ao fluxo de eventos e consumir os dados do evento em tempo real. Esse destino é útil quando você deseja enviar dados em tempo real para um sistema externo fora do Microsoft Fabric.
Casa de eventos Esse destino permite que você ingira seus dados de eventos em tempo real em uma Eventhouse, onde você pode usar a poderosa Kusto Query Language (KQL) para consultar e analisar os dados. Com os dados na Eventhouse, você pode obter informações mais detalhadas sobre os dados do seu evento e criar relatórios e painéis avançados. Você pode escolher entre dois modos de ingestão: Ingestão direta e Processamento de eventos antes da ingestão.
Casa do Lago Este destino dá-lhe a capacidade de transformar os seus eventos em tempo real antes de os ingerir na sua casa do lago. Os eventos em tempo real são convertidos para o formato Delta Lake e, em seguida, armazenados nas tabelas designadas do lakehouse. Este destino suporta cenários de armazenamento de dados.
Fluxo derivado Fluxo derivado é um tipo especializado de destino que você pode criar depois de adicionar operações de fluxo, como Filtrar ou Gerenciar Campos, a um fluxo de eventos. O fluxo derivado representa o fluxo padrão transformado após o processamento do fluxo. Você pode rotear o fluxo derivado para vários destinos no Fabric e exibir o fluxo derivado no Hub em Tempo Real.
Ativador de Tecido (pré-visualização) Este destino permite que o utilizador conecte diretamente os seus dados de eventos em tempo real a um Ativador Fabric. Activator é um tipo de agente inteligente que contém todas as informações necessárias para se conectar aos dados, monitorar as condições e agir. Quando os dados atingem determinados limites ou correspondem a outros padrões, o Activator toma automaticamente as medidas apropriadas, como alertar os utilizadores ou iniciar fluxos de trabalho do Power Automatic.

Você pode anexar vários destinos em um fluxo de eventos para receber simultaneamente dados de seus fluxos de eventos sem interferir uns com os outros.

Captura de tela mostrando uma visão geral do item Eventstream.

Nota

Recomendamos que você use o recurso de fluxos de eventos do Microsoft Fabric com pelo menos quatro unidades de capacidade (SKU: F4)

Apache Kafka em fluxos de eventos do Fabric

O recurso Fabric event streams oferece um ponto de extremidade Apache Kafka no item Eventstream, permitindo que os usuários se conectem e consumam eventos de streaming por meio do protocolo Kafka. Se o seu aplicativo já usa o protocolo Apache Kafka para enviar ou receber eventos de streaming com tópicos específicos, você pode conectá-lo facilmente ao seu Eventstream. Basta atualizar as suas configurações de ligação para usar o endpoint Kafka fornecido no seu Eventstream.

O recurso de fluxos de eventos de malha é desenvolvido pelos Hubs de Eventos do Azure, um serviço nativo da nuvem totalmente gerenciado. Quando um fluxo de eventos é criado, um namespace de hub de eventos é provisionado automaticamente e um hub de eventos é alocado para o fluxo padrão sem exigir nenhuma configuração de provisionamento. Para saber mais sobre os recursos compatíveis com Kafka no serviço Hubs de Eventos do Azure, consulte Hubs de Eventos do Azure para Apache Kafka.

Para saber mais sobre como obter os detalhes do ponto de extremidade Kafka para enviar eventos para o fluxo de eventos, consulte Adicionar origem de ponto de extremidade personalizada a um fluxo de eventos e, para consumir eventos do fluxo de eventos, consulte Adicionar um destino de ponto de extremidade personalizado a um fluxo de eventos.

Limitações

O Fabric Eventstream tem as seguintes limitações gerais. Antes de trabalhar com o Eventstream, revise essas limitações para garantir que elas estejam alinhadas com seus requisitos.

Limite Valor
Tamanho máximo da mensagem 1 MB
Período máximo de retenção de dados de eventos 90 dias
Garantias de entrega de eventos Pelo menos uma vez

Conteúdos relacionados