Überwachen von Big Data-Clustern mit azdata und kubectl
In diesem Artikel wird erläutert, wie Sie den Status eines Big-Data-Clusters mit Azure und Kubectl anzeigen.
Wichtig
Das Microsoft SQL Server 2019-Big Data-Cluster-Add-On wird eingestellt. Der Support für SQL Server 2019-Big Data-Clusters endet am 28. Februar 2025. Alle vorhandenen Benutzer*innen von SQL Server 2019 mit Software Assurance werden auf der Plattform vollständig unterstützt, und die Software wird bis zu diesem Zeitpunkt weiterhin über kumulative SQL Server-Updates verwaltet. Weitere Informationen finden Sie im Ankündigungsblogbeitrag und unter Big Data-Optionen auf der Microsoft SQL Server-Plattform.
Verwenden von azdata
Sie können auch azdata-Befehle zum Anzeigen beider Endpunkte sowie des Clusterstatus verwenden.
Dienstendpunkte
Authentifizieren Sie sich beim Big-Data-Cluster mit azdata login. Legen Sie den Parameter
--controller-endpointauf die externe IP-Adresse des Controllerendpunkts fest.azdata login --endpoint https://<ip-address-of-controller-svc-external>:30080 --username <user-name>Geben Sie den Benutzernamen und das Kennwort an (AZDATA_USERNAME und AZDATA_PASSWORD), die Sie während der Bereitstellung für den Controller konfiguriert haben.
Für die AD-Authentifizierung lautet der Befehl wie folgt:
azdata login --endpoint https://<control_domain_name>:30080 --auth adFühren Sie
azdata bdc endpoint listaus, um eine Liste mit Beschreibungen jedes Endpunkts sowie deren entsprechende IP-Adressen und Portwerte abzurufen.azdata bdc endpoint list -o tableDie folgende Liste zeigt eine Beispielausgabe dieses Befehls an:
Description Endpoint Ip Name Port Protocol ------------------------------------------------------ --------------------------------------------------------- -------------- ----------------- ------ ---------- Gateway to access HDFS files, Spark https://11.111.111.111:30443 11.111.111.111 gateway 30443 https Spark Jobs Management and Monitoring Dashboard https://11.111.111.111:30443/gateway/default/sparkhistory 11.111.111.111 spark-history 30443 https Spark Diagnostics and Monitoring Dashboard https://11.111.111.111:30443/gateway/default/yarn 11.111.111.111 yarn-ui 30443 https Application Proxy https://11.111.111.111:30778 11.111.111.111 app-proxy 30778 https Management Proxy https://11.111.111.111:30777 11.111.111.111 mgmtproxy 30777 https Log Search Dashboard https://11.111.111.111:30777/kibana 11.111.111.111 logsui 30777 https Metrics Dashboard https://11.111.111.111:30777/grafana 11.111.111.111 metricsui 30777 https Cluster Management Service https://11.111.111.111:30080 11.111.111.111 controller 30080 https SQL Server Master Instance Front-End 11.111.111.111,31433 11.111.111.111 sql-server-master 31433 tcp HDFS File System Proxy https://11.111.111.111:30443/gateway/default/webhdfs/v1 11.111.111.111 webhdfs 30443 https Proxy for running Spark statements, jobs, applications https://11.111.111.111:30443/gateway/default/livy/v1 11.111.111.111 livy 30443 https
Clusterstatus anzeigen
Sie können den Status des Clusters mit dem Befehl azdata bdc status show anzeigen.
azdata bdc status show
Tipp
Zum Ausführen der Statusbefehle müssen Sie sich zunächst mit dem Befehl azdata login anmelden, der im vorangegangenen Abschnitt zu Endpunkten gezeigt wurde.
Im Folgenden wird eine Beispielausgabe dieses Befehls angezeigt:
Bdc: ready Health Status: healthy
===========================================================================================================================================================================================================================================
Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Servicename State Healthstatus Details
spark ready healthy -
sql ready healthy -
hdfs ready healthy -
control ready healthy -
gateway ready healthy -
app ready healthy -
Spark Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
sparkhead ready healthy StatefulSet sparkhead is healthy
storage-0 ready healthy StatefulSet storage-0 is healthy
Sql Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
master ready healthy StatefulSet master is healthy
compute-0 ready healthy StatefulSet compute-0 is healthy
data-0 ready healthy StatefulSet data-0 is healthy
storage-0 ready healthy StatefulSet storage-0 is healthy
Hdfs Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
nmnode-0 ready healthy StatefulSet nmnode-0 is healthy
zookeeper ready healthy StatefulSet zookeeper is healthy
storage-0 ready healthy StatefulSet storage-0 is healthy
sparkhead ready healthy StatefulSet sparkhead is healthy
Control Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
controldb ready healthy StatefulSet controldb is healthy
control ready healthy ReplicaSet control is healthy
metricsdc ready healthy DaemonSet metricsdc is healthy
metricsui ready healthy ReplicaSet metricsui is healthy
metricsdb ready healthy StatefulSet metricsdb is healthy
logsui ready healthy ReplicaSet logsui is healthy
logsdb ready healthy StatefulSet logsdb is healthy
mgmtproxy ready healthy ReplicaSet mgmtproxy is healthy
controlwd ready healthy ReplicaSet controlwd is healthy
Gateway Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
gateway ready healthy StatefulSet gateway is healthy
App Services: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
appproxy ready healthy ReplicaSet appproxy is healthy
Status einer bestimmten Ressource
Sie können den Status einer bestimmten Ressource im Cluster mit dem Befehl azdata bdc status show anzeigen. Wenn Sie diesen Befehl verwenden, können Sie mit dem --resource-Parameter filtern. Beispiele für --resource-Parametereingaben
- master
- Steuerung
- compute-0
- storage-0
- gateway
Der folgende Befehl zeigt z. B. den Status des Speicherpools an:
azdata bdc status show --all --resource storage-0
Wenn Sie den Status aller Komponenten anzeigen möchten, die einen bestimmten Dienst ausführen, müssen Sie die entsprechende azdata bdc <serviceName> status show-Befehlsgruppe verwenden. Beispiel:
azdata bdc sql status show --allazdata bdc hdfs status show --allazdata bdc spark status show --all
Beispielausgabe:
Storage-0: ready Health Status: healthy
===========================================================================================================================================================================================================================================
Instances: running Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Instancename State Healthstatus Details
storage-0-0 running healthy Pod storage-0-0 is healthy
storage-0-1 running healthy Pod storage-0-1 is healthy
Dashboards
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Name Url
nodeMetricsUrl https://13.91.50.9:30777/api/v1/bdc/instances/storage-0-1/status/nodemetrics/ui
sqlMetricsUrl https://13.91.50.9:30777/api/v1/bdc/instances/storage-0-1/status/sqlmetrics/ui
logsUrl https://13.91.50.9:30777/api/v1/bdc/instances/storage-0-1/status/logs/ui
Tipp
Führen Sie den Befehl "Status" mit --all-Parametern für weitere Integritätsdetails aus, einschließlich Links zu den Dashboards „Metriken“ und „Protokolle“, die der jeweiligen Instanz entsprechen. Im Folgenden sehen Sie eine Beispielausgabe unter Verwendung der --all-Parameter:
Spark: ready Health Status: healthy
===========================================================================================================================================================================================================================================
Resources: ready Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Resourcename State Healthstatus Details
sparkhead ready healthy StatefulSet sparkhead is healthy
storage-0 ready healthy StatefulSet storage-0 is healthy
Sparkhead Resources: running Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Instancename State Healthstatus Details
sparkhead-0 running healthy Pod sparkhead-0 is healthy
sparkhead-1 running healthy Pod sparkhead-1 is healthy
Dashboards
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Name Url
nodeMetricsUrl https://13.91.50.9:30777/api/v1/bdc/instances/sparkhead-1/status/nodemetrics/ui
sqlMetricsUrl https://13.91.50.9:30777/api/v1/bdc/instances/sparkhead-1/status/sqlmetrics/ui
logsUrl https://13.91.50.9:30777/api/v1/bdc/instances/sparkhead-1/status/logs/ui
Storage-0 Resources: running Health Status: healthy
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Instancename State Healthstatus Details
storage-0-0 running healthy Pod storage-0-0 is healthy
storage-0-1 running healthy Pod storage-0-1 is healthy
Dashboards
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Name Url
nodeMetricsUrl https://13.91.50.9:30777/api/v1/bdc/instances/storage-0-1/status/nodemetrics/ui
sqlMetricsUrl https://13.91.50.9:30777/api/v1/bdc/instances/storage-0-1/status/sqlmetrics/ui
logsUrl https://13.91.50.9:30777/api/v1/bdc/instances/storage-0-1/status/logs/ui
Anzeigen des Controllerstatus
Sie können den Controllerstatus mit dem Befehl azdata bdc control status show anzeigen. Dieser stellt ähnliche Links zu den Dashboards für die Überwachung bereit, die im Zusammenhang mit den Controllerkomponenten des Big Data-Clusters stehen.