Számítási problémák elhárítása

  • Cikk

Ez a cikk olyan erőforrásokat tartalmaz, amelyek abban az esetben használhatók, ha a munkaterület számítási viselkedését kell elhárítania. A cikkben szereplő témakörök a számítás indítási problémáival kapcsolatosak.

További hibaelhárítási cikkek:

Az új számítás nem válaszol, vagy "a számításisík-hálózat helytelenül van konfigurálva" eseménynapló-hiba

Probléma: A munkaterület sikeres üzembe helyezése után az első tesztszámítás nem válaszol. Körülbelül 20–30 perc elteltével, ha ellenőrzi a számítási eseménynaplót, az alábbihoz hasonló hibaüzenet jelenik meg:

The compute plane network is misconfigured. Please verify that the network for your compute plane is configured correctly. Error message: Node daemon ping timeout in 600000 ms …

Ok: Az előző hibaüzenet azt jelzi, hogy az útválasztás vagy a tűzfal helytelen. Az Azure Databricks virtuálisgép-példányokat kért egy új számításhoz, de hosszú késéssel várta, hogy a virtuálisgép-példány elinduljon, és csatlakozzon a vezérlősíkhoz. A számítási kezelő leállítja a példányokat, és jelenti ezt a hibát.

Javasolt javítás: A hálózati konfigurációnak lehetővé kell tennie, hogy a számítási csomópont példányai sikeresen csatlakozzanak a Databricks vezérlősíkhoz. A számítási feladatoknál gyorsabb hibaelhárítási módszer érdekében üzembe helyezhet egy virtuálisgép-példányt a munkaterület alhálózatainak egyikén, és elvégezheti a hálózati hibaelhárítási lépéseket, például nc: , pingtelnetvagy traceroute.

Lásd: Control plane NAT, webapp, extended infrastructure IP addresses and domains for access domains, IPP, and relay CNAMEs by region. Az Artifact Storage esetében győződjön meg arról, hogy az Azure Blob Storage-hoz sikeres hálózati elérési út vezet.

Az alábbi példa az Azure-régiót westushasználja:

# Verify access to the web application
nc -zv 40.118.174.12 443
nc -zv 20.42.129.160 443

# Verify access to the secure compute connectivity relay
nc -zv tunnel.westus.azuredatabricks.net 443

# Verify Artifact Blob storage access
nc -zv dbartifactsprodwestus.blob.core.windows.net 443
nc -zv arprodwestusa1.blob.core.windows.net 443
..
nc -zv arprodwestusa15.blob.core.windows.net 443
nc -zv dbartifactsprodwestus2.blob.core.windows.net 443

# Verify Metastore Database access
nc -zv consolidated-westus-prod-metastore.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-1.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-2.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-3.mysql.database.azure.com 3306
nc -zv consolidated-westus2c2-prod-metastore-addl-1.mysql.database.azure.com 3306

# Verify Log Blob storage access
nc -zv dblogprodwestus.blob.core.windows.net 443

Ha az előző parancsok helyesen térnek vissza, előfordulhat, hogy a hálózati útvonal megfelelően van konfigurálva, de tűzfal használata esetén más probléma is előfordulhat. Előfordulhat, hogy a tűzfal mély csomagvizsgálatot, SSL-ellenőrzést vagy valami mást használ, amely miatt az Azure Databricks-parancsok meghiúsulnak. Az Azure Databricks alhálózatban egy virtuálisgép-példányt használva futtassa a következő parancsot a személyes hozzáférési jogkivonatra és <workspace-url> a munkaterület URL-címére cserélve<token>:

curl -X GET -H ‘Authorization: Bearer <token>’ [https://](https://)<workspace-url>/api/2.0/clusters/spark-versions

Ha az előző kérés meghiúsul, futtassa újra a parancsot az -k SSL-ellenőrzés eltávolításának lehetőségével. Ha ez működik, akkor a tűzfal ssl-tanúsítványokkal kapcsolatos problémát okoz.

Az SSL-tanúsítványok megtekintéséhez futtassa a következő parancsot, és cserélje le <workspace-url> a munkaterület URL-címét:

openssl s_client -showcerts -connect <workspace-url>:443

Az előző parancs megjeleníti a visszatérési kódot és az Azure Databricks-tanúsítványokat. Ha hibát ad vissza, előfordulhat, hogy a tűzfal helytelenül van konfigurálva.

Vegye figyelembe, hogy az SSL-problémák nem a hálózati réteg problémái. A tűzfalon lévő forgalom megtekintése nem jeleníti meg ezeket az SSL-problémákat. A forrás- és célkérések megtekintése a várt módon működik.

A metaadattár vagy a számítási eseménynapló használatával kapcsolatos problémák közé tartoznak METASTORE_DOWN események

Probléma: Úgy tűnik, hogy a munkaterület be van állítva, és beállíthatja a számítást, de vannak METASTORE_DOWN események a számítási eseménynaplóban, vagy a metaadattár nem működik.

Javasolt javítás: Ellenőrizze, hogy használ-e webalkalmazási tűzfalat (WAF), például Squid proxyt. A számítási tagoknak több olyan szolgáltatáshoz kell csatlakozniuk, amelyek nem működnek WAF-en keresztül.