Risolvere i problemi relativi alle query di diagnostica avanzate con Azure Cosmos DB for Apache Cassandra

  • Articolo

SI APPLICA A: NoSQL MongoDB Cassandra Gremlin

In questo articolo verrà illustrato come scrivere query più avanzate per risolvere i problemi relativi all'account Azure Cosmos DB for Cassandra usando i log di diagnostica inviati a tabelle specifiche delle risorse.

Per le tabelle di Diagnostica di Azure, tutti i dati vengono scritti in una singola tabella. Gli utenti specificano la categoria su cui si vuole eseguire una query. Per visualizzare la query full-text della richiesta, vedere Monitorare i dati di Azure Cosmos DB usando le impostazioni di diagnostica in Azure per informazioni su come abilitare questa funzionalità.

Per tabelle specifiche delle risorse, i dati sono scritti in singole tabelle per ogni categoria della risorsa. È consigliabile usare questa modalità perché:

  • Semplifica notevolmente l'uso dei dati.
  • Offre una migliore individuabilità degli schemi.
  • Migliora le prestazioni sia nella latenza di inserimento che nei tempi di query.

Prerequisiti

Avviso

Quando si crea un'impostazione di diagnostica per l'account API Cassandra, assicurarsi che "DataPlaneRequests" rimanga non selezionato. Inoltre, per la tabella Destinazione, assicurarsi che sia scelto "Specifico della risorsa" perché offre risparmi significativi sui costi rispetto alla "Diagnostica di Azure".

Nota

Si noti che, con l'abilitazione della diagnostica full-text, le query restituite conterranno dati personali. Questa funzionalità non solo consente di registrare la struttura della query con parametri offuscati, ma di registrare i valori dei parametri stessi. Ciò consente di diagnosticare se le query su una chiave primaria specifica (o un set di chiavi primarie) utilizzano molte più UR rispetto alle query su altre chiavi primarie.

Query di Log Analytics con scenari diversi

Image of a bubble word map with possible questions on how to leverage Log Analytics within Azure Cosmos DB

Consumo di UR

  • Operazioni Cassandra che utilizzano UR/sec elevate.

    CDBCassandraRequests 
| where DatabaseName=="azure_comos" and CollectionName=="user" 
| project TimeGenerated, RequestCharge, OperationName,
requestType=split(split(PIICommandText,'"')[3], ' ')[0]
| summarize max(RequestCharge) by bin(TimeGenerated, 10m), tostring(requestType), OperationName;

  • Monitoraggio del consumo di UR per operazione su chiavi di partizione logiche.

    CDBPartitionKeyRUConsumption
| where DatabaseName=="azure_comos" and CollectionName=="user"
| summarize TotalRequestCharge=sum(todouble(RequestCharge)) by PartitionKey, PartitionKeyRangeId
| order by TotalRequestCharge;

CDBPartitionKeyRUConsumption
| where DatabaseName=="azure_comos" and CollectionName=="user"
| summarize TotalRequestCharge=sum(todouble(RequestCharge)) by OperationName, PartitionKey
| order by TotalRequestCharge;

CDBPartitionKeyRUConsumption
| where DatabaseName=="azure_comos" and CollectionName=="user"
| summarize TotalRequestCharge=sum(todouble(RequestCharge)) by bin(TimeGenerated, 1m), PartitionKey
| render timechart;

  • Quali sono le query principali che influiscono sul consumo di UR?

    CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| where TimeGenerated > ago(24h)
| project ActivityId, DatabaseName, CollectionName, queryText=split(split(PIICommandText,'"')[3], ' ')[0], RequestCharge, TimeGenerated
| order by RequestCharge desc;

  • Consumo di UR in base alle variazioni nelle dimensioni del payload per le operazioni di lettura e scrittura.

    // This query is looking at read operations
CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
| where cassandraOperationName =="SELECT"
| summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)

// This query is looking at write operations
CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
| where cassandraOperationName in ("CREATE", "UPDATE", "INSERT", "DELETE", "DROP")
| summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)

// Write operations over a time period.
CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
| where cassandraOperationName in ("CREATE", "UPDATE", "INSERT", "DELETE", "DROP")
| summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
| render timechart;

// Read operations over a time period.
CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
| where cassandraOperationName =="SELECT"
| summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
| render timechart;

  • Consumo di UR in base alle operazioni di lettura e scrittura per partizione logica.

    CDBPartitionKeyRUConsumption
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| where OperationName in ("Delete", "Read", "Upsert")
| summarize totalRU=max(RequestCharge) by OperationName, PartitionKeyRangeId

  • Consumo di UR per partizione fisica e logica.

    CDBPartitionKeyRUConsumption
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| summarize totalRequestCharge=sum(RequestCharge) by PartitionKey, PartitionKeyRangeId;

  • Una partizione ad accesso frequente comporta un consumo elevato di UR?

    CDBPartitionKeyStatistics
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| where  TimeGenerated > now(-8h)
| summarize StorageUsed = sum(SizeKb) by PartitionKey
| order by StorageUsed desc

  • In che modo la chiave di partizione influisce sul consumo di UR?

    let storageUtilizationPerPartitionKey = 
CDBPartitionKeyStatistics
| project AccountName=tolower(AccountName), PartitionKey, SizeKb;
CDBCassandraRequests
| project AccountName=tolower(AccountName),RequestCharge, ErrorCode, OperationName, ActivityId, DatabaseName, CollectionName, PIICommandText, RegionName
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| join kind=inner storageUtilizationPerPartitionKey  on $left.AccountName==$right.AccountName
| where ErrorCode != -1 //successful
| project AccountName, PartitionKey,ErrorCode,RequestCharge,SizeKb, OperationName, ActivityId, DatabaseName, CollectionName, PIICommandText, RegionName;

Latenza

  • Numero di timeout sul lato server (Codice di stato - 408) visualizzati nell'intervallo di tempo.

    CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| where ErrorCode in (4608, 4352) //Corresponding code in Cassandra
| summarize max(DurationMs) by bin(TimeGenerated, 10m), ErrorCode
| render timechart;

  • Si osservano picchi nelle latenze lato server nell'intervallo di tempo specificato?

    CDBCassandraRequests
| where TimeGenerated > now(-6h)
| DatabaseName=="azure_cosmos" and CollectionName=="user"
| summarize max(DurationMs) by bin(TimeGenerated, 10m)
| render timechart;

  • Operazioni che vengono limitate.

    CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| project RequestLength, ResponseLength,
RequestCharge, DurationMs, TimeGenerated, OperationName,
query=split(split(PIICommandText,'"')[3], ' ')[0]
| summarize max(DurationMs) by bin(TimeGenerated, 10m), RequestCharge, tostring(query),
RequestLength, OperationName
| order by RequestLength, RequestCharge;

Limitazione

  • Si riscontrano limitazioni di richieste nell'applicazione?

    CDBCassandraRequests
| where RetriedDueToRateLimiting != false and RateLimitingDelayMs > 0;

  • Quali query causano la limitazione di richieste dell'applicazione con un periodo di tempo specificato, in particolare con errore 429?

    CDBCassandraRequests
| where DatabaseName=="azure_cosmos" and CollectionName=="user"
| where ErrorCode==4097 // Corresponding error code in Cassandra
| project DatabaseName , CollectionName , CassandraCommands=split(split(PIICommandText,'"')[3], ' ')[0] , OperationName, TimeGenerated;

Passaggi successivi