Az Azure Databricks monitorozása
Az Azure Databricks egy gyors, hatékony Apache Spark-alapú elemzési szolgáltatás, amely megkönnyíti a big data-elemzések és a mesterségesintelligencia-megoldások gyors fejlesztését és üzembe helyezését. Rengeteg felhasználó használja ki a notebookok nyújtotta egyszerűség előnyeit az Azure Databricks-megoldásokban. A robusztusabb számítási lehetőségeket igénylő felhasználók esetében az Azure Databricks támogatja az egyéni alkalmazáskód elosztott végrehajtását.
A monitorozás kritikus részét képezi az éles megoldásoknak, így az Azure Databricks hatékony funkciókat kínál az egyéni alkalmazásmetrikák, a streamelési lekérdezési események és az alkalmazásnapló-üzenetek monitorozásához. Az Azure Databricks továbbítani tudja ezeket a monitorozási adatokat a különböző naplózási szolgáltatásoknak.
Az alábbi cikkek a monitorozási adatok az Azure Databricksből az Azure Monitorba, az Azure monitorozási adatok számára fenntartott platformjára való továbbításának módját mutatják be.
- Azure Databricks-alkalmazásnaplók küldése az Azure Monitornak
- Irányítópultok használata az Azure Databricks-metrikák megjelenítésére
- A teljesítménybeli szűk keresztmetszetek hibaelhárítása
A cikkekhez kapcsolódó kódtár kibővíti az Azure Databricks alapvető monitorozási funkcióját, hogy a Spark-metrikákat, eseményeket és naplózási információkat is továbbítsa az Azure Monitornak.
A cikkeket és a kiegészítő kódtárat az Azure Spark és az Azure Databricks megoldásfejlesztőinek szánták. A kódot Java Archive (JAR-) fájlokba kell beépíteni, majd üzembe kell helyezni egy Azure Databricks-fürtön. A kód Scala és Java nyelven íródott, és Maven projektobjektum-modell (POM-) fájlokat tartalmaz a kimeneti JAR-fájlok létrehozásához. A Java, a Scala és a Maven ismerete a javasolt előfeltételek közé tartozik.
Következő lépések
Első lépésként hozza létre a kódtárat, és helyezze üzembe az Azure Databricks-fürtön.