Monitoraggio di Azure Databricks

  • Articolo

Azure Databricks è un servizio di analisi veloce e potente basato su Apache Spark che consente di sviluppare e distribuire rapidamente soluzioni di intelligenza artificiale e analisi dei Big Data. Molti utenti sfruttano la semplicità dei notebook nelle proprie soluzioni Azure Databricks. Per gli utenti che richiedono opzioni di elaborazione più affidabili, Azure Databricks supporta l'esecuzione distribuita di codice dell'applicazione personalizzato.

Il monitoraggio costituisce un aspetto essenziale di qualsiasi soluzione a livello di produzione e Azure Databricks offre potenti funzionalità per il monitoraggio di metriche dell'applicazione personalizzate, eventi di query in streaming e messaggi di log dell'applicazione. Azure Databricks può inviare questi dati di monitoraggio a diversi servizi di registrazione.

Gli articoli seguenti illustrano come inviare i dati di monitoraggio da Azure Databricks a Monitoraggio di Azure, la piattaforma dei dati di monitoraggio per Azure.

La libreria di codice fornita con questi articoli consente di estendere la funzionalità di base di monitoraggio di Azure Databricks per l'invio di metriche, eventi e informazioni di monitoraggio Spark a Monitoraggio di Azure.

Questi articoli e la libreria di codice fornita sono destinati a sviluppatori di soluzioni Apache Spark e Azure Databricks. Il codice deve essere compilato in file JAR (Java Archive) e quindi distribuito in un cluster Azure Databricks. Il codice è una combinazione di Scala e Java, con un set corrispondente di file POM (Project Object Model) Maven per la compilazione dei file JAR di output. La conoscenza di Java, Scala e Maven è un prerequisito consigliato.

Passaggi successivi

Per iniziare, compilare la libreria di codice e distribuirla nel cluster Azure Databricks.

Inviare i log dell'applicazione di Azure Databricks a Monitoraggio di Azure