Como carregar seus dados de métrica no Assistente de Métricas
Importante
A partir de 20 de setembro de 2023, você não pode criar novos recursos do Assistente de Métricas. O serviço Assistente de Métricas está sendo desativado no dia 1º de outubro de 2026.
Use este artigo para saber mais sobre a integração dos dados ao Assistente de Métricas.
Requisitos e configuração do esquema de dados
O Assistente de Métricas de IA do Azure é um serviço para detecção, diagnóstico e análise de anomalias de séries temporais. Como um serviço da plataforma de IA, ele usa os dados para treinar o modelo usado. O serviço aceita tabelas de dados agregados com as seguintes colunas:
- Medida (obrigatória): uma medida é um termo fundamental ou específico da unidade e um valor quantificável da métrica. Significa uma ou mais colunas contendo valores numéricos.
- Carimbo de data/hora (opcional): zero ou uma coluna com o tipo
DateTimeouString. Quando essa coluna não for definida, o carimbo de data/hora será designado como a hora de início de cada período de ingestão. Formate o carimbo de data/hora da seguinte maneira:yyyy-MM-ddTHH:mm:ssZ. - Dimensão (opcional): uma dimensão é composta por um ou mais valores categóricos. A combinação desses valores identifica uma série temporal univariada específica (por exemplo, país/região, idioma e locatário). As colunas de dimensão podem ser de qualquer tipo de dados. Tenha cuidado ao trabalhar com grandes volumes de colunas e valores, para impedir que números excessivos de dimensões sejam processados.
Se você estiver usando fontes de dados como o Azure Data Lake Storage ou Armazenamento de Blobs do Azure, poderá agregar seus dados para alinhá-los com o esquema de métricas esperado. Isso ocorre porque essas fontes de dados usam um arquivo como entrada de métricas.
Se você estiver usando fontes de dados como o SQL do Azure ou o Data Explorer, poderá usar as funções de agregação para agregar dados em seu esquema esperado. Isso ocorre porque essas fontes de dados dão suporte à execução de uma consulta para obter dados de métricas das fontes.
Se você não tiver certeza sobre alguns dos termos, consulte o Glossário.
Evite carregar dados parciais
Os dados parciais são causados por inconsistências entre os dados armazenados no Assistente de Métricas e na fonte de dados. Isso pode acontecer quando a fonte de dados é atualizada após a conclusão do pull de dados pelo Assistente de Métricas. O Assistente de Métricas só efetua pull de dados de determinada fonte de dados uma vez.
Por exemplo, se uma métrica foi integrada ao Assistente de Métricas para monitoramento. O Assistente de Métricas captura com êxito os dados de métrica no carimbo de data/hora A e executa a detecção de anomalias neles. No entanto, se os dados de métrica desse carimbo de data/hora específico foram atualizados após a ingestão dos dados. O novo valor de dados não é recuperado.
Você pode tentar provisionar os dados históricos (descritos posteriormente) para atenuar as inconsistências, mas isso não vai disparar novos alertas de anomalia se os alertas para esses pontos de tempo já tiverem sido disparados. Esse processo pode adicionar mais carga de trabalho ao sistema e não é automático.
Para evitar o carregamento de dados parciais, recomendamos duas abordagens:
Gerar dados em uma transação:
Verifique se os valores de métrica para todas as combinações de dimensão no mesmo carimbo de data/hora são armazenados na fonte de dados em uma só transação. No exemplo acima, aguarde até que os dados de todas as fontes de dados estejam prontos e carregue-os no Assistente de Métricas em uma só transação. O Assistente de Métricas pode sondar o feed de dados regularmente até que os dados sejam recuperados com êxito (ou parcialmente).
Atrase a ingestão de dados definindo um valor adequado para o parâmetro Deslocamento de tempo de ingestão:
Defina o parâmetro Deslocamento de tempo de ingestão do feed de dados para atrasar a ingestão até que os dados estejam totalmente preparados. Isso pode ser útil para algumas fontes de dados que não dão suporte a transações como o Armazenamento de Tabelas do Azure. Confira Configurações avançadas para obter detalhes.
Comece adicionando um feed de dados
Depois de entrar no portal do Assistente de Métricas e escolher seu workspace, clique em Introdução. Depois, na página principal do workspace, clique em Adicionar feed de dados no menu à esquerda.
Adicionar configurações de conexão
1. Configurações básicas
Em seguida, você inserirá um conjunto de parâmetros para conectar sua fonte de dados de série temporal.
- Tipo de fonte: o tipo de fonte de dados em que os dados de série temporal ficam armazenados.
- Granularidade: o intervalo entre pontos de dados consecutivos nos dados de série temporal. Atualmente, o Assistente de Métricas dá suporte a: Anual, Mensal, Semanal, Diário, Por hora e Personalizado. O menor intervalo da opção de personalização dá suporte a 60 segundos.
- Segundos: o número de segundos durante o quais granularityName é definido como Personalizar.
- Ingerir dados desde (UTC) : a hora de início de linha de base para a ingestão de dados.
startOffsetInSecondsé geralmente usado para adicionar um deslocamento para ajudar na consistência dos dados.
2. Especificar cadeia de conexão
Em seguida, você precisará especificar as informações de conexão para a fonte de dados. Para obter detalhes sobre os outros campos e como conectar diferentes tipos de fontes de dados, confira Instruções: Conectar fontes de dados diferentes.
3. Especificar a consulta para um único carimbo de data/hora
Para obter detalhes sobre diferentes tipos de fontes de dados, confira Instruções: Conectar fontes de dados diferentes.
Carregar dados
Depois que a cadeia de conexão e a cadeia de caracteres de consulta forem inseridas, selecione Carregar dados. Nessa operação, o Assistente de Métricas verificará a conexão e a permissão para carregar dados, verificar os parâmetros necessários (@IntervalStart e @IntervalEnd)) que precisam ser usados na consulta e verificar o nome da coluna da fonte de dados.
Se ocorrer um erro nesta etapa:
- Primeiro, verifique se a cadeia de conexão é válida.
- Em seguida, verifique se há permissões suficientes e se o endereço IP do trabalho de ingestão tem acesso concedido.
- Em seguida, verifique se os parâmetros necessários (@IntervalStart e @IntervalEnd)) são usados em sua consulta.
Configuração de esquema
Quando o esquema de dados for carregado, selecione os campos apropriados.
Se o carimbo de data/hora de um ponto de dados for omitido, o Assistente de Métricas usará o carimbo de data/hora de quando o ponto de dados é ingerido. Para cada feed de dados, você pode especificar, no máximo, uma coluna como um carimbo de data/hora. Se você receber uma mensagem informando que uma coluna não pode ser especificada como um carimbo de data/hora, verifique a consulta ou a fonte de dados e se há vários carimbos de data/hora no resultado da consulta, não apenas nos dados de visualização. Ao executar a ingestão de dados, o Assistente de Métricas só pode consumir uma parte (por exemplo, um dia, uma hora, de acordo com a granularidade) de dados de série temporal da origem especificada por vez.
| Seleção | Descrição | Observações |
|---|---|---|
| Nome de Exibição | Nome a ser exibido no seu workspace em vez do nome da coluna original. | Opcional. |
| Timestamp | O carimbo de data/hora de um ponto de dados. Se omitido, o Assistente de Métricas usará o carimbo de data/hora de quando o ponto de dados for ingerido. Para cada feed de dados, você pode especificar, no máximo, uma coluna como um carimbo de data/hora. | Opcional. Deve ser especificado com, no máximo, uma coluna. Se você receber um erro A coluna não pode ser especificada como um carimbo de data/hora, verifique a consulta ou a fonte de dados em busca de carimbos de data/hora duplicados. |
| Medida | Os valores numéricos no feed de dados. Para cada feed de dados, você pode especificar várias medidas, mas, pelo menos, uma coluna deve ser selecionada como uma medida. | Deve ser especificado com, pelo menos, uma coluna. |
| Dimensão | Valores categóricos. Uma combinação de valores diferentes identifica uma série temporal de dimensão única específica, por exemplo: país/região, idioma, locatário. Você pode selecionar zero ou mais colunas como dimensões. Observação: tenha cuidado ao selecionar uma coluna que não seja de cadeia de caracteres como uma dimensão. | Opcional. |
| Ignorar | Ignorar a coluna selecionada. | Opcional. Para obter suporte a fontes de dados usando uma consulta para obter dados, não há a opção "Ignorar". |
Caso você deseje ignorar colunas, recomendamos atualizar a consulta ou a fonte de dados para excluir essas colunas. Você também pode ignorar colunas usando as opções Ignorar colunas e Ignorar nas colunas específicas. Se uma coluna precisar ser uma dimensão e for definida incorretamente como Ignorada, o Assistente de Métricas poderá acabar ingerindo dados parciais. Por exemplo, suponha que os dados da consulta sejam os seguintes:
| ID de linha | Timestamp | País/Região | Idioma | Receita |
|---|---|---|---|---|
| 1 | 10/11/2019 | China | ZH-CN | 10000 |
| 2 | 10/11/2019 | China | EN-US | 1000 |
| 3 | 10/11/2019 | EUA | ZH-CN | 12000 |
| 4 | 11/11/2019 | EUA | EN-US | 23000 |
| ... | ... | ... | ... | ... |
Se Country for uma dimensão e Language for definido como Ignorado, a primeira e a segunda linhas terão as mesmas dimensões de um carimbo de data/hora. O Assistente de Métricas usará arbitrariamente um valor das duas linhas. Ele não agregará as linhas nesse caso.
Depois de configurar o esquema, selecione Verificar esquema. Nessa operação, o Assistente de Métricas executará as seguintes verificações:
- Se o carimbo de data/hora dos dados consultados se enquadra em um intervalo.
- Se há valores duplicados retornados para a mesma combinação de dimensão dentro de um intervalo de métrica.
Configurações de acúmulo automático
Importante
Caso você deseje habilitar a análise de causa raiz e outras funcionalidades de diagnóstico, a Configuração de rollup automático precisa ser definida. Depois de habilitadas, as configurações de rollup automático não poderão ser alteradas.
O Assistente de Métricas pode executar automaticamente a agregação (por exemplo, SUM, MAX, MIN) em cada dimensão durante a ingestão e criar uma hierarquia que será usada na análise de causa raiz e em outros recursos de diagnóstico.
Considere os seguintes cenários:
“Não preciso incluir a análise de rollup para meus dados.”
Você não precisa usar o rollup do Assistente de Métricas.
“Meus dados já foram acumulados, e o valor da dimensão é representado por: NULL ou Vazio (Padrão), somente NULL e Outros.”
Essa opção significa que o Assistente de Métricas não precisa acumular os dados porque as linhas já foram somadas. Por exemplo, se você selecionar somente NULL, a segunda linha de dados no exemplo abaixo será vista como uma agregação de todos os países e do idioma EN-US. No entanto, a quarta linha de dados, que tem um valor vazio para Country, será vista como uma linha comum, o que poderá indicar dados incompletos.
País/Região Idioma Receita China ZH-CN 10000 (NULL) EN-US 999999 EUA EN-US 12000 EN-US 5.000 “Preciso do Assistente de Métricas para acumular meus dados calculando Soma/Máx./Mín./Méd./Contagem e representá-los por {alguma cadeia de caracteres}."
Algumas fontes de dados como o Azure Cosmos DB ou o Armazenamento de Blobs do Azure não dão suporte a determinados cálculos como agrupar por ou cubo. O Assistente de Métricas fornece a opção de rollup para gerar automaticamente um cubo de dados durante a ingestão. Essa opção significa que você precisa que o Assistente de Métricas calcule o rollup usando o algoritmo selecionado e use a cadeia de caracteres especificada para representar o rollup nele. Isso não vai alterar nenhum dado na fonte de dados. Por exemplo, suponha que você tenha um conjunto de série temporal que represente as métricas de Vendas com a dimensão (País, Região). Para determinado carimbo de data/hora, isso pode ser semelhante ao seguinte:
País Região Sales Canada Alberta 100 Canada Colúmbia Britânica 500 Estados Unidos Montana 100 Depois que você habilitar o Rollup Automático com Soma, o Assistente de Métricas calculará as combinações de dimensões e somará as métricas durante a ingestão de dados. O resultado poderá ser:
País Região Sales Canada Alberta 100 NULO Alberta 100 Canada Colúmbia Britânica 500 NULO Colúmbia Britânica 500 Estados Unidos Montana 100 NULO Montana 100 NULO NULO 700 Canada NULO 600 Estados Unidos NULO 100 (Country=Canada, Region=NULL, Sales=600)significa que a soma das Vendas no Canadá (todas as regiões) é 600.Veja a seguir a transformação na linguagem SQL.
SELECT dimension_1, dimension_2, ... dimension_n, sum (metrics_1) AS metrics_1, sum (metrics_2) AS metrics_2, ... sum (metrics_n) AS metrics_n FROM each_timestamp_data GROUP BY CUBE (dimension_1, dimension_2, ..., dimension_n);Considere o seguinte antes de usar o recurso de Rollup Automático:
- Caso deseje usar SOMA para agregar seus dados, verifique se as métricas são aditivas em cada dimensão. Estes são alguns exemplos de métricas não aditivas:
- Métricas baseadas em frações. Isso inclui proporção, porcentagem, etc. Por exemplo, você não deve somar a taxa de desemprego de cada estado para calcular a taxa de desemprego de todo o país/região.
- Sobreposição na dimensão. Por exemplo, você não deve adicionar o número de pessoas a cada esporte para calcular o número de pessoas que gostam de esportes, porque há uma sobreposição entre elas, pois uma pessoa pode gostar de vários esportes.
- Para garantir a integridade de todo o sistema, o tamanho do cubo é limitado. Atualmente, o limite é 100 mil. Se os dados excederem esse limite, a ingestão falhará nesse carimbo de data/hora.
- Caso deseje usar SOMA para agregar seus dados, verifique se as métricas são aditivas em cada dimensão. Estes são alguns exemplos de métricas não aditivas:
Configurações avançadas
Há várias configurações avançadas para habilitar os dados ingeridos de uma forma personalizada, como especificar o deslocamento de ingestão ou a simultaneidade. Para obter mais informações, confira a seção Configurações avançadas no artigo sobre gerenciamento do feed de dados.
Especificar um nome para o feed de dados e verificar o andamento da ingestão
Dê um nome personalizado para o feed de dados, que será exibido no workspace. Em seguida, selecione Enviar. Na página de detalhes do feed de dados, use a barra de progresso da ingestão para ver as informações de status.
Para verificar os detalhes da falha de ingestão:
- Selecione Mostrar Detalhes.
- Selecione Status e, em seguida, escolha Falha ou Erro.
- Posicione o cursor em uma ingestão com falha e veja a mensagem de detalhes exibida.
Um status Com falha indica que a ingestão dessa fonte de dados será repetida mais tarde. Um status de Erro indica que o Assistente de Métricas não tentará ingerir a fonte de dados novamente. Para recarregar os dados, você precisará disparar um provisionamento/recarregamento manualmente.
Você também pode recarregar o progresso de uma ingestão clicando em Atualizar Progresso. Após a conclusão da ingestão de dados, você ficará livre para clicar nas métricas e verificar os resultados da detecção de anomalias.