Share via

Recuperare in modo ricorrente set di dati sui costi di grandi dimensioni con Esportazioni

  • Articolo

Questo articolo descrive come esportare regolarmente grandi quantità di dati con esportazioni da Gestione dei costi. L'esportazione è la modalità consigliata per recuperare i dati dei costi non aggregati. Soprattutto quando i file dei dati di utilizzo sono troppo grandi per essere richiamati e scaricati in modo affidabile usando l'API Dettagli dei costi. I dati esportati vengono inseriti nell'account di archiviazione di Azure scelto. Da qui è possibile caricarli nei propri sistemi e analizzarli in base alle esigenze. Per configurare le esportazioni nel portale di Azure, vedere Esportare dati.

Se si vogliono automatizzare le esportazioni in diversi ambiti, la richiesta di API di esempio nella sezione successiva è un buon punto di partenza. È possibile usare l'API Esportazioni per creare esportazioni automatiche nell'ambito della configurazione generale dell'ambiente. Le esportazioni automatiche consentono di ottenere i dati necessari. È possibile usarle nei sistemi della propria organizzazione man mano che si espande l'utilizzo di Azure.

Configurazioni di esportazione comuni

Prima di creare la prima esportazione, considerare lo scenario e le opzioni di configurazione necessarie per abilitarlo. Considerare le opzioni di esportazione seguenti:

  • Ricorrenza: determina la frequenza con cui viene eseguito il processo di esportazione e quando si inserisce un file nell'account di archiviazione di Azure. Scegliere tra Ogni giorno, Ogni settimana e Ogni mese. Provare a configurare la ricorrenza in modo che corrisponda a quella dei processi di importazione dei dati usati dal sistema interno dell'organizzazione.
  • Periodo di ricorrenza: determina per quanto tempo rimane valida l'esportazione. I file vengono esportati solo durante il periodo di ricorrenza.
  • Intervallo di tempo: determina la quantità di dati generati dall'esportazione in una determinata esecuzione. Le opzioni comuni sono MonthToDate e WeekToDate.
  • StartDate: configura quando avviare la pianificazione dell'esportazione. L'esportazione viene creata in base alla data di inizio indicata in StartDate e successivamente in base alla ricorrenza.
  • Tipo: sono disponibili tre tipi di esportazione:
    • ActualCost: mostra l'utilizzo totale e i costi per il periodo specificato, man mano che vengono accumulati e visualizzati nella fattura.
    • AmortizedCost: mostra l'utilizzo totale e i costi per il periodo specificato, con ammortamento applicato ai costi di acquisto della prenotazione applicabili.
    • Usage: tutte le esportazioni create prima del 20 luglio 2020 sono di tipo Usage. Aggiornare tutte le esportazioni pianificate come ActualCost o AmortizedCost.
  • Colonne: definisce i campi dati da includere nel file di esportazione. Corrispondono ai campi disponibili nell'API Dettagli dei costi.
  • Partizionamento: impostare l'opzione su true se si dispone di un set di dati di grandi dimensioni e si vuole suddividerlo in più file. Ciò semplifica e velocizza l'inserimento dei dati. Per altre informazioni sul partizionamento, vedere Partizionamento di file per set di dati di grandi dimensioni.

Creare un'esportazione giornaliera da inizio mese per una sottoscrizione

URL richiesta: PUT https://management.azure.com/{scope}/providers/Microsoft.CostManagement/exports/{exportName}?api-version=2020-06-01

{
  "properties": {
    "schedule": {
      "status": "Active",
      "recurrence": "Daily",
      "recurrencePeriod": {
        "from": "2020-06-01T00:00:00Z",
        "to": "2020-10-31T00:00:00Z"
      }
    },
    "format": "Csv",
    "deliveryInfo": {
      "destination": {
        "resourceId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/MYDEVTESTRG/providers/Microsoft.Storage/storageAccounts/{yourStorageAccount} ",
        "container": "{yourContainer}",
        "rootFolderPath": "{yourDirectory}"
      }
    },
    "definition": {
      "type": "ActualCost",
      "timeframe": "MonthToDate",
      "dataSet": {
        "granularity": "Daily",
        "configuration": {
          "columns": [
            "Date",
            "MeterId",
            "ResourceId",
            "ResourceLocation",
            "Quantity"
          ]
        }
      }
    }
}

Copiare BLOB di Archiviazione di Azure di grandi dimensioni

È possibile usare Gestione dei costi per pianificare le esportazioni dei dettagli di utilizzo di Azure in account di Archiviazione di Azure come BLOB. Le dimensioni dei BLOB risultanti potrebbero essere di svariati gigabyte. Il team di Gestione dei costi ha collaborato con il team di Archiviazione di Azure per testare il processo di copia di BLOB di Archiviazione di Azure di grandi dimensioni. Questi risultati sono documentati nelle sezioni seguenti: È possibile prevedere risultati simili durante la copia dei BLOB di archiviazione da un'area di Azure a un'altra.

Per testare le prestazioni, il team ha trasferito i BLOB dagli account di archiviazione nell'area Stati Uniti occidentali alle stesse aree e ad altre aree. Il team ha misurato velocità che vanno da 2 GB al secondo nella stessa area a 150 MB al secondo per gli account di archiviazione nell'area Asia sud-orientale.

configurazione di test

Per misurare la velocità di trasferimento dei BLOB, il team ha creato una semplice applicazione console .NET che fa riferimento alla versione più recente (v2.0.1) della libreria di spostamento dati di Azure (DLM) tramite NuGet. DLM è un SDK fornito dal team di Archiviazione di Azure che consente l'accesso a livello di codice ai servizi di trasferimento. Il team ha quindi creato account di archiviazione V2 Standard in più aree e usato gli Stati Uniti occidentali come area di origine. Gli account di archiviazione sono stati popolati con contenitori, ciascuno contenente dieci BLOB in blocchi da 2 GB. I contenitori sono stati copiati in altri account di archiviazione usando il metodo DLM TransferManager.CopyDirectoryAsync() con l'opzione CopyMethod.ServiceSideSyncCopy. I test sono stati eseguiti in un computer che esegue Windows 10 con 12 core e una rete 1 GbE.

Impostazioni dell'applicazione usate:

  • TransferManager.Configurations.ParallelOperations = Environment.ProcessorCount * 32. Il team ha rilevato che questa impostazione ha avuto l'impatto sulla velocità effettiva complessiva, ovvero un valore pari a 32 volte il numero di core ha fornito la velocità effettiva migliore per il client di test.
  • ServicePointManager.DefaultConnectionLimit = int.MaxValue. Se si imposta su un valore massimo, il controllo completo del parallelismo di trasferimento viene trasferito efficacemente all'impostazione ParallelOperations precedente.
  • TransferManager.Configurations.BlockSize = 4,194,304. Questa impostazione ha avuto un certo effetto sulla velocità di trasferimento con 4 MB, dimostrando di essere l'impostazione migliore per i test.

Per altre informazioni e codice di esempio, vedere i collegamenti nella sezione Contenuto correlato.

Risultati del test

Numero di test Regione di destinazione BLOB Tempo (sec) MB/s Commenti
1 WestUS 2 GB x 10 10 2,000
2 Stati Uniti occidentali 2 2 GB x 10 33 600
3 EastUS 2 GB x 10 67 300
4 EastUS 2 GB x 10 x 4 99 200 4 trasferimenti paralleli con 8 account di archiviazione: media 4 ovest - 4 est per trasferimento
6 EastUS 2 GB x 10 x 4 92 870 4 trasferimenti paralleli da 1 account di archiviazione a un altro
5 EastUS 2G x 10 x 8 148 135 8 trasferimenti paralleli con 8 account di archiviazione: media 4 ovest - 4x2 est per trasferimento
7 SE Asia 2 GB x 10 133 150
8 SE Asia 2 GB x 10 x 4 444 180 4 trasferimenti paralleli da 1 account di archiviazione a un altro

Caratteristiche di trasferimento della sincronizzazione

Ecco alcune delle caratteristiche del trasferimento della sincronizzazione lato servizio usato con DML che sono rilevanti per l'uso:

  • DML può trasferire un singolo BLOB o una directory. Per il trasferimento della directory, è possibile usare un criterio di ricerca per trovare una corrispondenza con il prefisso BLOB.
  • I trasferimenti di BLOB in blocchi vengono eseguiti in parallelo. L'intera operazione viene completata verso la fine del processo di trasferimento. I singoli blocchi di BLOB vengono trasferiti in parallelo.
  • Il trasferimento viene eseguito in modo asincrono nel client. Lo stato del trasferimento è disponibile periodicamente tramite un callback a un metodo che può essere definito in un oggetto TransferContext.
  • Durante l'esecuzione il trasferimento crea checkpoint ed espone un oggetto TransferCheckpoint. L'oggetto rappresenta il checkpoint più recente tramite l'oggetto TransferContext. Se l'oggetto transferCheckpoint viene salvato prima dell'annullamento o dell'interruzione di un trasferimento, il trasferimento può essere ripreso dal checkpoint per un massimo di sette giorni. Il trasferimento può essere ripreso da qualsiasi checkpoint, non solo da quello più recente.
  • Se il processo client di trasferimento viene terminato e riavviato senza implementare la funzionalità di checkpoint.
    • Prima del completamento dei trasferimenti dei BLOB, il trasferimento viene riavviato.
    • Dopo il completamento di alcuni BLOB, il trasferimento viene riavviato solo per i BLOB incompleti.
  • La sospensione dell'esecuzione client sospende i trasferimenti.
  • La funzionalità di trasferimento dei BLOB astrae il client da errori temporanei. Ad esempio, la limitazione della larghezza di banda per l'account di archiviazione in genere non causa un errore di trasferimento, ma rallenta il trasferimento stesso.
  • I trasferimenti lato servizio hanno un utilizzo ridotto a livello di risorse client per CPU e memoria, larghezza di banda di rete e connessioni.

Caratteristiche di trasferimento asincrono

È possibile richiamare il metodo TransferManager.CopyDirectoryAsync() con l'opzione CopyMethod.ServiceSideAsyncCopy. Funziona in modo simile al meccanismo di trasferimento della sincronizzazione dal punto di vista del client, ma con le differenze seguenti:

  • Le velocità di trasferimento sono molto più lente rispetto al trasferimento della sincronizzazione equivalente (in genere 10 MB/s o meno).
  • Il trasferimento continua anche se termina il processo client.
  • Anche se i checkpoint sono supportati, la ripresa di un trasferimento tramite l'oggetto TransferCheckpoint non riprenderà al momento del checkpoint, ma allo stato corrente del trasferimento.

Riepilogo del test

Archiviazione BLOB di Azure supporta velocità di trasferimento globali elevate con la funzionalità di trasferimento della sincronizzazione lato servizio. L'uso della funzionalità nelle applicazioni .NET è semplice grazie alla libreria di spostamento dati. È possibile che le esportazioni di Gestione dei costi copino in modo affidabile centinaia di gigabyte di dati in un account di archiviazione in una posizione qualsiasi in meno di un'ora.

Contenuto correlato