Megosztás a következőn keresztül:

Rövid útmutató: Felügyelt Apache Spark-fürt üzembe helyezése az Azure Databricks használatával

  • Cikk

Az Apache Cassandra felügyelt Azure-példánya automatizált üzembe helyezési és skálázási műveleteket biztosít a felügyelt nyílt forráskódú Apache Cassandra-adatközpontokhoz. Ez a funkció felgyorsítja a hibrid forgatókönyveket, és csökkenti a folyamatos karbantartást.

Ez a rövid útmutató bemutatja, hogyan hozhat létre teljes körűen felügyelt Apache Spark-fürtöt az Azure Portal használatával az Apache Cassandra-fürt Azure-beli felügyelt példányának Azure-beli virtuális hálózatán belül. A Spark-fürtöt az Azure Databricksben hozhatja létre. Később jegyzetfüzeteket hozhat létre vagy csatolhat a fürthöz, adatokat olvashat különböző adatforrásokból, és elemezheti az elemzéseket.

Az Azure Databricks azure-beli virtuális hálózatban (virtual network injection) való üzembe helyezésére vonatkozó részletes útmutatással is többet tudhat meg.

Előfeltételek

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Azure Databricks-fürt létrehozása

Az alábbi lépéseket követve hozzon létre egy Azure Databricks-fürtöt egy olyan virtuális hálózaton, amely rendelkezik az Apache Cassandra Azure Managed Instance-példányával:

  1. Jelentkezzen be az Azure Portalra.

  2. A bal oldali navigációs panelen keresse meg az Erőforráscsoportokat. Lépjen a felügyelt példányt üzembe helyező virtuális hálózatot tartalmazó erőforráscsoportra.

  3. Nyissa meg a virtuális hálózati erőforrást, és jegyezze fel a címteret:

    Képernyőkép a virtuális hálózat címterének lekéréséről.

  4. Az erőforráscsoportban válassza az Azure Databricks hozzáadása és keresése lehetőséget a keresőmezőben:

    Képernyőkép az Azure Databricks keresésről.

  5. Azure Databricks-fiók létrehozásához válassza a Létrehozás lehetőséget:

    Képernyőkép az Azure Databricks ajánlatról a Létrehozás gomb kiválasztásával.

  6. Írja be a következő értékeket:

    • Munkaterület neve Adja meg a Databricks-munkaterület nevét.
    • Régió Győződjön meg arról, hogy ugyanazt a régiót választja ki, mint a virtuális hálózat.
    • Tarifacsomag – Válasszon a standard, a prémium vagy a próbaverzió közül. További információkért a csomagokkal kapcsolatban tekintse meg a Databricks díjszabását ismertető oldalt.

    Képernyőkép egy párbeszédpanelről, ahol megadhatja a Databricks-fiók munkaterületnevét, régióját és tarifacsomagjait.

  7. Ezután válassza a Hálózatkezelés lapot, és adja meg a következő részleteket:

    • Azure Databricks-munkaterület üzembe helyezése a virtuális hálózaton (VNet) Válassza az Igen lehetőséget.
    • Virtuális hálózat a legördülő listából válassza ki azt a virtuális hálózatot, ahol a felügyelt példány létezik.
    • Nyilvános alhálózat neve Adja meg a nyilvános alhálózat nevét.
    • Nyilvános alhálózati CIDR-tartomány : Adjon meg egy IP-tartományt a nyilvános alhálózathoz.
    • Privát alhálózat neve Adja meg a magánhálózat nevét.
    • Privát alhálózati CIDR-tartomány : Adjon meg egy IP-tartományt a privát alhálózathoz.

    A tartományütközések elkerülése érdekében győződjön meg arról, hogy magasabb tartományokat választ ki. Ha szükséges, használjon vizualizációs alhálózat-kalkulátort a tartományok felosztásához:

    Képernyőkép a Visual Alhálózat kalkulátorról két kiemelt azonos hálózati címmel.

    Az alábbi képernyőkép a hálózatkezelési panelen látható példaadatokat mutatja be:

    Képernyőkép a megadott nyilvános és privát alhálózatnevekről.

  8. Válassza a Véleményezés, majd a Létrehozás lehetőséget a munkaterület üzembe helyezéséhez.

  9. A munkaterület létrehozása után indítsa el a munkaterületet .

  10. A rendszer átirányítja az Azure Databricks portálra. A portálon válassza az Új fürt lehetőséget.

  11. Az Új fürt panelen fogadja el az alapértelmezett értékeket az alábbi mezőkön kívül minden mező esetében:

    • Fürt neve Adja meg a fürt nevét.
    • Databricks Runtime verzió : Javasoljuk, hogy a Spark 3.x támogatásához válassza a Databricks 7.5-ös vagy újabb verzióját.

    Képernyőkép az Új fürt párbeszédpanelről, amelyen a Databricks Futtatókörnyezet verziója van kiválasztva.

  12. Bontsa ki a Speciális beállítások elemet , és adja hozzá a következő konfigurációt. Győződjön meg arról, hogy lecseréli a csomópont IP-címeket és hitelesítő adatokat:

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
spark.cassandra.auth.password cassandra
spark.cassandra.connection.port 9042
spark.cassandra.auth.username cassandra
spark.cassandra.connection.ssl.enabled true

  13. Adja hozzá az Apache Spark Cassandra Connector kódtárat a fürthöz, hogy natív és Azure Cosmos DB Cassandra-végpontokhoz is csatlakozzon. A fürtben válassza a Kódtárak>új maven telepítése>lehetőséget, majd adja hozzá com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 a Maven koordinátáit.

Képernyőkép a Maven-csomagok keresésről a Databricksben.

Az erőforrások eltávolítása

Ha nem fogja továbbra is használni ezt a felügyelt példányfürtöt, törölje a következő lépésekkel:

  1. Az Azure Portal bal oldali menüjében válassza az Erőforráscsoportok lehetőséget.
  2. A listából válassza ki a rövid útmutatóhoz létrehozott erőforráscsoportot.
  3. Az Erőforráscsoport áttekintése panelen válassza az Erőforráscsoport törlése lehetőséget.
  4. A következő ablakban adja meg a törölni kívánt erőforráscsoport nevét, majd válassza a Törlés lehetőséget.

Következő lépések

Ebben a rövid útmutatóban megtanulta, hogyan hozhat létre teljes körűen felügyelt Apache Spark-fürtöt az Azure Managed Instance for Apache Cassandra-fürt virtuális hálózatán belül. Ezután megtudhatja, hogyan kezelheti a fürt és az adatközpont erőforrásait:

Felügyelt Azure-példány kezelése Apache Cassandra-erőforrásokhoz az Azure CLI használatával