Configurar a ingestão de dados da transmissão em fluxo no cluster do Azure Data Explorer
A ingestão de transmissão em fluxo é útil para carregar dados quando precisa de baixa latência entre a ingestão e a consulta. Considere utilizar a ingestão de transmissão em fluxo nos seguintes cenários:
- É necessária latência inferior a um segundo.
- Para otimizar o processamento operacional de muitas tabelas em que o fluxo de dados para cada tabela é relativamente pequeno (alguns registos por segundo), mas o volume global de ingestão de dados é elevado (milhares de registos por segundo).
Se o fluxo de dados para cada tabela for elevado (mais de 4 GB por hora), considere utilizar a ingestão em fila.
Para saber mais sobre diferentes métodos de ingestão, veja Descrição geral da ingestão de dados.
Para exemplos de código baseados em versões anteriores do SDK, veja o artigo arquivado.
Escolha o tipo de ingestão de transmissão em fluxo adequado
São suportados dois tipos de ingestão de transmissão em fluxo:
Tipo de ingestão | Description |
---|---|
Ligação de dados | Os Hubs de Eventos, Hub IoT e ligações de dados do Event Grid podem utilizar a ingestão de transmissão em fluxo, desde que esteja ativada ao nível do cluster. A decisão de utilizar a ingestão de transmissão em fluxo é tomada de acordo com a política de ingestão de transmissão em fluxo configurada na tabela de destino. Para obter informações sobre como gerir ligações de dados, veja Hub de Eventos, Hub IoT e Event Grid. |
Ingestão personalizada | A ingestão personalizada requer que escreva uma aplicação que utilize uma das bibliotecas de cliente do Azure Data Explorer. Utilize as informações neste tópico para configurar a ingestão personalizada. Também pode considerar útil a aplicação de exemplo de ingestão de transmissão em fluxo C# . |
Utilize a seguinte tabela para o ajudar a escolher o tipo de ingestão adequado para o seu ambiente:
Critério | Ligação de dados | Ingestão Personalizada |
---|---|---|
Atraso de dados entre o início da ingestão e os dados disponíveis para consulta | Atraso mais longo | Atraso mais curto |
Sobrecarga de desenvolvimento | Configuração rápida e fácil, sem sobrecarga de desenvolvimento | Sobrecarga de desenvolvimento elevada para criar uma aplicação ingerir os dados, lidar com erros e garantir a consistência dos dados |
Nota
Pode gerir o processo para ativar e desativar a ingestão de transmissão em fluxo no cluster com o portal do Azure ou programaticamente em C#. Se estiver a utilizar C# para a sua aplicação personalizada, poderá considerar mais conveniente utilizar a abordagem programática.
Pré-requisitos
- Uma subscrição do Azure. Crie uma conta gratuita do Azure.
Considerações de desempenho e operacionais
Os principais contribuintes que podem afetar a ingestão de transmissão em fluxo são:
- Tamanho da VM e do cluster: o desempenho da ingestão de transmissão em fluxo e as escalas de capacidade com tamanhos de VM e cluster aumentados. O número de pedidos de ingestão simultâneos está limitado a seis por núcleo. Por exemplo, para SKUs de 16 núcleos, como D14 e L16, a carga máxima suportada é de 96 pedidos de ingestão simultâneos. Para dois SKUs principais, como D11, a carga máxima suportada é de 12 pedidos de ingestão simultâneos.
- Limite de tamanho dos dados: o limite de tamanho dos dados para um pedido de ingestão de transmissão em fluxo é de 4 MB. Isto inclui quaisquer dados criados para políticas de atualização durante a ingestão.
- Atualizações de esquema: as atualizações de esquema, como a criação e modificação de tabelas e mapeamentos de ingestão, podem demorar até cinco minutos para o serviço de ingestão de transmissão em fluxo. Para obter mais informações, veja Ingestão de transmissão em fluxo e alterações de esquema.
- Capacidade SSD: ativar a ingestão de transmissão em fluxo num cluster, mesmo quando os dados não são ingeridos através da transmissão em fluxo, utiliza parte do disco SSD local das máquinas de cluster para transmitir dados de ingestão de dados e reduz o armazenamento disponível para cache frequente.
Ativar a ingestão de transmissão em fluxo no cluster
Antes de poder utilizar a ingestão de transmissão em fluxo, tem de ativar a capacidade no cluster e definir uma política de ingestão de transmissão em fluxo. Pode ativar a capacidade ao criar o cluster ou adicioná-lo a um cluster existente.
Aviso
Reveja as limitações antes de ativar a ingestão de transmissão em fluxo.
Ativar a ingestão de transmissão em fluxo ao criar um novo cluster
Pode ativar a ingestão de transmissão em fluxo ao criar um novo cluster com o portal do Azure ou programaticamente em C#.
Ao criar um cluster com os passos em Criar um cluster e uma base de dados do Azure Data Explorer, no separador Configurações, selecione Ingestão de transmissão> em fluxoAtivada.
Ativar a ingestão de transmissão em fluxo num cluster existente
Se tiver um cluster existente, pode ativar a ingestão de transmissão em fluxo com o portal do Azure ou programaticamente em C#.
No portal do Azure, aceda ao cluster do Azure Data Explorer.
Em Definições, selecione Configurações.
No painel Configurações , selecione Ativado para ativar a ingestão de transmissão em fluxo.
Selecione Guardar.
Criar uma tabela de destino e definir a política
Crie uma tabela para receber os dados de ingestão de transmissão em fluxo e definir a política relacionada com o portal do Azure ou programaticamente em C#.
No portal do Azure, navegue para o cluster.
Selecione Consulta.
Para criar a tabela que irá receber os dados através da ingestão de transmissão em fluxo, copie o seguinte comando para o painel Consulta e selecioneExecutar.
.create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
Copie um dos seguintes comandos para o painel Consulta e selecioneExecutar. Isto define a política de ingestão de transmissão em fluxo na tabela que criou ou na base de dados que contém a tabela.
Dica
Uma política definida ao nível da base de dados aplica-se a todas as tabelas existentes e futuras na base de dados. Quando ativa a política ao nível da base de dados, não é necessário ativá-la por tabela.
Para definir a política na tabela que criou, utilize:
.alter table TestTable policy streamingingestion enable
Para definir a política na base de dados que contém a tabela que criou, utilize:
.alter database StreamingTestDb policy streamingingestion enable
Criar uma aplicação de ingestão de transmissão em fluxo para ingerir dados no cluster
Crie a sua aplicação para ingerir dados no cluster com o seu idioma preferido.
using System.IO;
using System.Threading.Tasks;
using Kusto.Data; // Requires Package Microsoft.Azure.Kusto.Data
using Kusto.Data.Common;
using Kusto.Ingest; // Requires Package Microsoft.Azure.Kusto.Ingest
namespace StreamingIngestion;
class Program
{
static async Task Main(string[] args)
{
var clusterPath = "https://<clusterName>.<region>.kusto.windows.net";
var appId = "<appId>";
var appKey = "<appKey>";
var appTenant = "<appTenant>";
// Create Kusto connection string with App Authentication
var connectionStringBuilder = new KustoConnectionStringBuilder(clusterPath)
.WithAadApplicationKeyAuthentication(
applicationClientId: appId,
applicationKey: appKey,
authority: appTenant
);
// Create a disposable client that will execute the ingestion
using var client = KustoIngestFactory.CreateStreamingIngestClient(connectionStringBuilder);
// Ingest from a compressed file
var fileStream = File.Open("MyFile.gz", FileMode.Open);
// Initialize client properties
var ingestionProperties = new KustoIngestionProperties(databaseName: "<databaseName>", tableName: "<tableName>");
// Create source options
var sourceOptions = new StreamSourceOptions { CompressionType = DataSourceCompressionType.GZip, };
// Ingest from stream
await client.IngestFromStreamAsync(fileStream, ingestionProperties, sourceOptions);
}
}
Desativar a ingestão de transmissão em fluxo no cluster
Aviso
A desativação da ingestão de transmissão em fluxo pode demorar algumas horas.
Antes de desativar a ingestão de transmissão em fluxo no cluster do Azure Data Explorer, remova a política de ingestão de transmissão em fluxo de todas as tabelas e bases de dados relevantes. A remoção da política de ingestão de transmissão em fluxo aciona a reorganização de dados no cluster do Azure Data Explorer. Os dados de ingestão de transmissão em fluxo são movidos do armazenamento inicial para o armazenamento permanente no arquivo de colunas (extensões ou partições horizontais). Este processo pode demorar entre alguns segundos a algumas horas, dependendo da quantidade de dados no armazenamento inicial.
Remover a política de ingestão de transmissão em fluxo
Pode remover a política de ingestão de transmissão em fluxo com o portal do Azure ou programaticamente em C#.
No portal do Azure, aceda ao cluster do Azure Data Explorer e selecione Consulta.
Para remover a política de ingestão de transmissão em fluxo da tabela, copie o seguinte comando para o painel Consulta e selecioneExecutar.
.delete table TestTable policy streamingingestion
Em Definições, selecione Configurações.
No painel Configurações , selecione Desativar para desativar a ingestão de transmissão em fluxo.
Selecione Guardar.
Limitações
- Os mapeamentos de dados têm de ser pré-criados para utilização na ingestão de transmissão em fluxo. Os pedidos individuais de ingestão de transmissão em fluxo não acomodam mapeamentos de dados inline.
- As etiquetas de extensão não podem ser definidas nos dados de ingestão de transmissão em fluxo.
- Atualizar política. A política de atualização só pode referenciar os dados ingeridos recentemente na tabela de origem e não quaisquer outros dados ou tabelas na base de dados.
- Se a ingestão de transmissão em fluxo estiver ativada num cluster utilizado como líder para bases de dados de seguidores, a ingestão de transmissão em fluxo tem de ser ativada nos seguintes clusters, bem como para seguir os dados de ingestão de transmissão em fluxo. O mesmo se aplica se os dados do cluster são partilhados através de Data Share.
Conteúdo relacionado
Comentários
https://aka.ms/ContentUserFeedback.
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja:Submeter e ver comentários