Solucionar problemas com consultas de diagnóstico avançado com o Azure Cosmos DB para Apache Cassandra

APLICA-SE A: NoSQL MongoDB Cassandra Gremlin

• API para NoSQL
• API para MongoDB
• API para Apache Cassandra
• API para Apache Gremlin

Neste artigo, abordaremos como escrever consultas mais avançadas para ajudar a solucionar problemas com sua conta do Azure Cosmos DB para Cassandra usando logs de diagnóstico enviados para tabelas específicas de recursos.

Para tabelas de Diagnóstico do Azure, todos os dados são gravados em uma única tabela. Os usuários especificam qual categoria desejam consultar. Se você quiser exibir a consulta de texto completo de sua solicitação, consulte Monitorar dados do Azure Cosmos DB usando configurações de diagnóstico no Azure para saber como habilitar esse recurso.

Para tabelas específicas de recursos, os dados são gravados em tabelas individuais para cada categoria do recurso. Recomendamos este modo porque:

• Torna muito mais fácil trabalhar com os dados.
• Fornece melhor capacidade de descoberta dos esquemas.
• Melhora o desempenho em latência de ingestão e tempos de consulta.

Pré-requisitos

• Criar API para a conta Cassandra
• Crie um espaço de trabalho do Log Analytics.
• Crie configurações de diagnóstico.

Aviso

Ao criar uma configuração de diagnóstico para a API para a conta Cassandra, certifique-se de que "DataPlaneRequests" permaneça desmarcado. Além disso, para a tabela Destino, certifique-se de que "Específico do recurso" seja escolhido, pois oferece economias de custos significativas em relação ao "Diagnóstico do Azure.

Nota

Observe que, ao habilitar o diagnóstico de texto completo, as consultas retornadas conterão dados de PII. Esse recurso não apenas registrará o esqueleto da consulta com parâmetros ofuscados, mas também registrará os valores dos próprios parâmetros. Isso pode ajudar a diagnosticar se as consultas em uma Chave Primária específica (ou conjunto de Chaves Primárias) estão consumindo muito mais RUs do que consultas em outras Chaves Primárias.

Consultas do Log Analytics com diferentes cenários

Consumo de RU

• Operações Cassandra que estão consumindo alto RU/s.

  CDBCassandraRequests 
  | where DatabaseName=="azure_comos" and CollectionName=="user" 
  | project TimeGenerated, RequestCharge, OperationName,
  requestType=split(split(PIICommandText,'"')[3], ' ')[0]
  | summarize max(RequestCharge) by bin(TimeGenerated, 10m), tostring(requestType), OperationName;
  

• Monitoramento do consumo de RU por operação em chaves de partição lógicas.

  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_comos" and CollectionName=="user"
  | summarize TotalRequestCharge=sum(todouble(RequestCharge)) by PartitionKey, PartitionKeyRangeId
  | order by TotalRequestCharge;
  
  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_comos" and CollectionName=="user"
  | summarize TotalRequestCharge=sum(todouble(RequestCharge)) by OperationName, PartitionKey
  | order by TotalRequestCharge;
  
  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_comos" and CollectionName=="user"
  | summarize TotalRequestCharge=sum(todouble(RequestCharge)) by bin(TimeGenerated, 1m), PartitionKey
  | render timechart;
  

• Quais são as principais consultas que afetam o consumo de RU?

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where TimeGenerated > ago(24h)
  | project ActivityId, DatabaseName, CollectionName, queryText=split(split(PIICommandText,'"')[3], ' ')[0], RequestCharge, TimeGenerated
  | order by RequestCharge desc;
  

• Consumo de RU com base em variações nos tamanhos de carga útil para operações de leitura e escrita.

  // This query is looking at read operations
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName =="SELECT"
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  
  // This query is looking at write operations
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName in ("CREATE", "UPDATE", "INSERT", "DELETE", "DROP")
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  
  // Write operations over a time period.
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName in ("CREATE", "UPDATE", "INSERT", "DELETE", "DROP")
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  | render timechart;
  
  // Read operations over a time period.
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName =="SELECT"
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  | render timechart;
  

• Consumo de RU baseado em operações de leitura e gravação por partição lógica.

  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where OperationName in ("Delete", "Read", "Upsert")
  | summarize totalRU=max(RequestCharge) by OperationName, PartitionKeyRangeId
  

• Consumo de RU por partição física e lógica.

  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | summarize totalRequestCharge=sum(RequestCharge) by PartitionKey, PartitionKeyRangeId;
  

• Uma partição quente está levando a um alto consumo de RU?

  CDBPartitionKeyStatistics
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where  TimeGenerated > now(-8h)
  | summarize StorageUsed = sum(SizeKb) by PartitionKey
  | order by StorageUsed desc
  

• Como a chave de partição afeta o consumo de RU?

  let storageUtilizationPerPartitionKey = 
  CDBPartitionKeyStatistics
  | project AccountName=tolower(AccountName), PartitionKey, SizeKb;
  CDBCassandraRequests
  | project AccountName=tolower(AccountName),RequestCharge, ErrorCode, OperationName, ActivityId, DatabaseName, CollectionName, PIICommandText, RegionName
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | join kind=inner storageUtilizationPerPartitionKey  on $left.AccountName==$right.AccountName
  | where ErrorCode != -1 //successful
  | project AccountName, PartitionKey,ErrorCode,RequestCharge,SizeKb, OperationName, ActivityId, DatabaseName, CollectionName, PIICommandText, RegionName;
  

Latência

• Número de tempos limite do lado do servidor (Código de status - 408) visto na janela de tempo.

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where ErrorCode in (4608, 4352) //Corresponding code in Cassandra
  | summarize max(DurationMs) by bin(TimeGenerated, 10m), ErrorCode
  | render timechart;
  

• Observamos picos nas latências do lado do servidor na janela de tempo especificada?

  CDBCassandraRequests
  | where TimeGenerated > now(-6h)
  | DatabaseName=="azure_cosmos" and CollectionName=="user"
  | summarize max(DurationMs) by bin(TimeGenerated, 10m)
  | render timechart;
  

• Operações que estão sendo limitadas.

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project RequestLength, ResponseLength,
  RequestCharge, DurationMs, TimeGenerated, OperationName,
  query=split(split(PIICommandText,'"')[3], ' ')[0]
  | summarize max(DurationMs) by bin(TimeGenerated, 10m), RequestCharge, tostring(query),
  RequestLength, OperationName
  | order by RequestLength, RequestCharge;
  

Limitação

• Seu aplicativo está passando por alguma limitação?

  CDBCassandraRequests
  | where RetriedDueToRateLimiting != false and RateLimitingDelayMs > 0;
  

• Quais consultas estão fazendo com que seu aplicativo seja acelerado com um período de tempo especificado, olhando especificamente para 429.

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where ErrorCode==4097 // Corresponding error code in Cassandra
  | project DatabaseName , CollectionName , CassandraCommands=split(split(PIICommandText,'"')[3], ' ')[0] , OperationName, TimeGenerated;
  

Próximos passos

• Habilite a análise de log em sua API para a conta Cassandra.
• Definição de código de erro de visão geral.