Rövid útmutató: Felügyelt Apache Spark-fürt üzembe helyezése az Azure Databricks használatával

Az Apache Cassandra felügyelt Azure-példánya automatizált üzembe helyezési és skálázási műveleteket biztosít a felügyelt nyílt forráskódú Apache Cassandra-adatközpontokhoz. Ez a funkció felgyorsítja a hibrid forgatókönyveket, és segít csökkenteni a folyamatos karbantartást.

Ez a rövid útmutató bemutatja, hogyan hozhat létre teljes körűen felügyelt Apache Spark-fürtöt az Azure Portal használatával az Apache Cassandra-fürt Azure-beli felügyelt példányának Azure-beli virtuális hálózatán belül. A Spark-fürtöt az Azure Databricksben hozhatja létre. Később jegyzetfüzeteket hozhat létre vagy csatolhat a fürthöz, adatokat olvashat különböző adatforrásokból, és elemezheti az elemzéseket.

Az Azure Databricks azure-beli virtuális hálózatban való üzembe helyezésére (virtuális hálózat injektálására) vonatkozó részletes útmutatással is többet tudhat meg.

Előfeltételek

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Azure Databricks-fürt létrehozása

Az alábbi lépéseket követve hozzon létre egy Azure Databricks-fürtöt egy olyan virtuális hálózaton, amely tartalmazza az Apache Cassandra-hoz készült Azure Managed Instance-t.

  1. Jelentkezzen be az Azure Portalra.

  2. A bal oldali panelen keresse meg az Erőforráscsoportokat. Lépjen a felügyelt példányt üzembe helyező virtuális hálózatot tartalmazó erőforráscsoportra.

  3. Nyissa meg a virtuális hálózati erőforrást, és jegyezze fel a címtartományt.

    Képernyőkép a virtuális hálózat címterének lekéréséről.

  4. Az erőforráscsoportban válassza a Hozzáadás lehetőséget, és keressen rá az Azure Databricks szolgáltatásra a keresőmezőben.

    Az Azure Databricks keresését bemutató képernyőkép.

  5. Azure Databricks-fiók létrehozásához válassza a Létrehozás lehetőséget.

    Képernyőkép, amely az Azure Databricks ajánlatot mutatja a Létrehozás kiválasztásával.

  6. Írja be a következő értékeket:

    • Munkaterület neve: Adja meg az Azure Databricks-munkaterület nevét.
    • Régió: Győződjön meg arról, hogy ugyanazt a régiót választja ki, mint a virtuális hálózat.
    • Tarifacsomag: Válassza a Standard, a Premium vagy a Próbaverzió lehetőséget. Ezekről a szintekről további információt az Azure Databricks díjszabási oldalán talál.

    Képernyőkép egy párbeszédpanelről, ahol megadhatja az Azure Databricks-fiók munkaterületnevét, régióját és tarifacsomagjait.

  7. Válassza a Hálózatkezelés lapot, és adja meg a következő adatokat:

    • Azure Databricks-munkaterület üzembe helyezése a virtuális hálózaton (VNet): Válassza az Igen lehetőséget.
    • Virtuális hálózat: A legördülő listában válassza ki azt a virtuális hálózatot, ahol a felügyelt példány létezik.
    • Nyilvános alhálózat neve: Adja meg a nyilvános alhálózat nevét.
    • Nyilvános alhálózat CIDR-tartománya: Adjon meg egy IP-tartományt a nyilvános alhálózathoz.
    • Privát alhálózat neve: Adja meg a magánhálózat nevét.
    • Privát alhálózat CIDR-tartománya: Adjon meg egy IP-tartományt a privát alhálózathoz.

    A tartományütközések elkerülése érdekében győződjön meg arról, hogy magasabb tartományokat választ ki. Ha szükséges, használjon vizualizációs alhálózat-kalkulátort a tartományok felosztásához.

    Képernyőkép a Visual Alhálózat Kalkulátorról, amelyen két kiemelt azonos hálózati cím látható.

    Az alábbi képernyőképen a hálózatkezelési panelen látható példaadatok láthatók.

    A megadott nyilvános és privát alhálózatneveket bemutató képernyőkép.

  8. Válassza a Véleményezés + létrehozás lehetőséget, majd a Létrehozás lehetőséget a munkaterület üzembe helyezéséhez.

  9. Nyissa meg a munkaterületet a munkaterület létrehozása után.

  10. A rendszer átirányítja az Azure Databricks portálra. A portálon válassza az Új fürt lehetőséget.

  11. Az Új fürt panelen az összes mezőnél fogadja el az alapértelmezett értékeket, kivéve az alábbi mezőket:

    • Fürt neve: Adja meg a fürt nevét.
    • Databricks Runtime-verzió: Javasoljuk, hogy a Spark 3.x támogatásához válassza az Azure Databricks 7.5-ös vagy újabb verzióját.

    Képernyőkép az Új fürt párbeszédablakról, amelyben egy Azure Databricks futtatókörnyezet verziója van kiválasztva.

  12. Bontsa ki a Speciális beállítások elemet, és adja hozzá a következő konfigurációt. Győződjön meg arról, hogy lecseréli a csomópont IP-címeket és hitelesítő adatokat.

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
spark.cassandra.auth.password cassandra
spark.cassandra.connection.port 9042
spark.cassandra.auth.username cassandra
spark.cassandra.connection.ssl.enabled true

  13. Adja hozzá az Apache Spark Cassandra Connector kódtárat a fürthöz, hogy natív és Azure Cosmos DB Cassandra-végpontokhoz is csatlakozzon. A fürtben válassza a Könyvtárak>Új Maven telepítése>, majd adja hozzá com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 a Maven Koordináták mezőjéhez.

    Képernyőkép a Maven-csomagok keresésről az Azure Databricksben.

  14. Válassza a Telepítéslehetőséget.

Az erőforrások eltávolítása

Ha nem kívánja tovább használni ezt a felügyelt példányfürtöt, kövesse az alábbi lépéseket annak törléséhez:

  1. Az Azure Portal bal oldali menüjében válassza az Erőforráscsoportok lehetőséget.
  2. A listából válassza ki a rövid útmutatóhoz létrehozott erőforráscsoportot.
  3. Az Erőforráscsoport áttekintése panelen válassza az Erőforráscsoport törlése lehetőséget.
  4. A következő panelen adja meg a törölni kívánt erőforráscsoport nevét, majd válassza a Törlés lehetőséget.

Következő lépés

Ebben a gyorsútmutatóban megtanulta, hogyan hozhat létre teljesen felügyelt Apache Spark-fürtöt az Apache Cassandra-fürthöz készült Azure Managed Instance virtuális hálózatán belül. Ezután megtanulhatja, hogyan kezelheti a cluster és a datacenter erőforrásait.

Felügyelt Azure-példány kezelése Apache Cassandra-erőforrásokhoz az Azure CLI használatával

  • Last updated on