Az Azure Databricks monitorozása

  • Cikk

Az Azure Databricks egy gyors, hatékony Apache Spark-alapú elemzési szolgáltatás, amely megkönnyíti a big data-elemzések és a mesterségesintelligencia-megoldások gyors fejlesztését és üzembe helyezését. Rengeteg felhasználó használja ki a notebookok nyújtotta egyszerűség előnyeit az Azure Databricks-megoldásokban. A robusztusabb számítási lehetőségeket igénylő felhasználók esetében az Azure Databricks támogatja az egyéni alkalmazáskód elosztott végrehajtását.

A monitorozás kritikus részét képezi az éles megoldásoknak, így az Azure Databricks hatékony funkciókat kínál az egyéni alkalmazásmetrikák, a streamelési lekérdezési események és az alkalmazásnapló-üzenetek monitorozásához. Az Azure Databricks továbbítani tudja ezeket a monitorozási adatokat a különböző naplózási szolgáltatásoknak.

Az alábbi cikkek a monitorozási adatok az Azure Databricksből az Azure Monitorba, az Azure monitorozási adatok számára fenntartott platformjára való továbbításának módját mutatják be.

A cikkekhez kapcsolódó kódtár kibővíti az Azure Databricks alapvető monitorozási funkcióját, hogy a Spark-metrikákat, eseményeket és naplózási információkat is továbbítsa az Azure Monitornak.

A cikkeket és a kiegészítő kódtárat az Azure Spark és az Azure Databricks megoldásfejlesztőinek szánták. A kódot Java Archive (JAR-) fájlokba kell beépíteni, majd üzembe kell helyezni egy Azure Databricks-fürtön. A kód Scala és Java nyelven íródott, és Maven projektobjektum-modell (POM-) fájlokat tartalmaz a kimeneti JAR-fájlok létrehozásához. A Java, a Scala és a Maven ismerete a javasolt előfeltételek közé tartozik.

További lépések

Első lépésként hozza létre a kódtárat, és helyezze üzembe az Azure Databricks-fürtön.

Azure Databricks-alkalmazásnaplók küldése az Azure Monitornak