Snabbstart: Distribuera ett hanterat Apache Spark-kluster med Azure Databricks

  • Artikel

Azure Managed Instance för Apache Cassandra tillhandahåller automatiserade distributions- och skalningsåtgärder för hanterade Apache Cassandra-datacenter med öppen källkod. Den här funktionen påskyndar hybridscenarier och minskar pågående underhåll.

Den här snabbstarten visar hur du använder Azure Portal för att skapa ett fullständigt hanterat Apache Spark-kluster i Azure Virtual Network för ditt Azure Managed Instance för Apache Cassandra-kluster. Du skapar Spark-klustret i Azure Databricks. Senare kan du skapa eller koppla notebook-filer till klustret, läsa data från olika datakällor och analysera insikter.

Du kan också lära dig mer med detaljerade instruktioner om hur du distribuerar Azure Databricks i din Azure Virtual Network (Virtual Network Injection).

Krav

Om du inte har en Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar.

Skapa ett Azure Databricks-kluster

Följ de här stegen för att skapa ett Azure Databricks-kluster i en Virtual Network som har Azure Managed Instance för Apache Cassandra:

  1. Logga in på Azure-portalen.

  2. Leta upp Resursgrupper i det vänstra navigeringsfönstret. Gå till resursgruppen som innehåller Virtual Network där den hanterade instansen distribueras.

  3. Öppna resursen Virtual Network och anteckna adressutrymmet:

    Skärmbild som visar var du hämtar adressutrymmet för din Virtual Network.

  4. I resursgruppen väljer du Lägg till och söker efter Azure Databricks i sökfältet:

    Skärmbild som visar en sökning efter Azure Databricks.

  5. Välj Skapa för att skapa ett Azure Databricks-konto:

    Skärmbild som visar Azure Databricks-erbjudandet med knappen Skapa vald.

  6. Ange följande värden:

    • Namn på arbetsyta Ange ett namn för Databricks-arbetsytan.
    • Regionen Se till att välja samma region som din Virtual Network.
    • Prisnivå Välj mellan Standard, Premium eller Utvärdering. Mer information om de här nivåerna finns på prissättningssidan för Databricks.

    Skärmbild som visar en dialogruta där du kan ange arbetsytans namn, region och prisnivå för Databricks-kontot.

  7. Välj sedan fliken Nätverk och ange följande information:

    • Distribuera Azure Databricks-arbetsytan i din Virtual Network (VNet) Välj Ja.
    • Virtual Network I listrutan väljer du den Virtual Network där den hanterade instansen finns.
    • Namn på offentligt undernät Ange ett namn för det offentliga undernätet.
    • CIDR-intervall för offentligt undernät Ange ett IP-intervall för det offentliga undernätet.
    • Namn på privat undernät Ange ett namn för det privata undernätet.
    • CIDR-intervall för privat undernät Ange ett IP-intervall för det privata undernätet.

    Se till att du väljer högre intervall för att undvika intervallkollisioner. Använd vid behov en undernätskalkylator för visuella objekt för att dela upp intervallen:

    Skärmbild som visar kalkylatorn för det visuella undernätet med två markerade identiska nätverksadresser.

    Följande skärmbild visar exempelinformation i nätverksfönstret:

    Skärmbild som visar angivna namn på offentliga och privata undernät.

  8. Välj Granska och skapa och sedan Skapa för att distribuera arbetsytan.

  9. Starta arbetsytan när den har skapats.

  10. Du omdirigeras till Azure Databricks-portalen. I portalen väljer du Nytt kluster.

  11. I fönstret Nytt kluster accepterar du standardvärden för alla andra fält än följande fält:

    • Klusternamn Ange ett namn för klustret.
    • Databricks Runtime-version Vi rekommenderar att du väljer Databricks runtime version 7.5 eller senare för Spark 3.x-stöd.

    Skärmbild som visar dialogrutan Nytt kluster med en Databricks Runtime-version vald.

  12. Expandera Avancerade alternativ och lägg till följande konfiguration. Ersätt nod-IP-adresserna och autentiseringsuppgifterna:

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
spark.cassandra.auth.password cassandra
spark.cassandra.connection.port 9042
spark.cassandra.auth.username cassandra
spark.cassandra.connection.ssl.enabled true

  13. Lägg till Apache Spark Cassandra Connector-biblioteket i klustret för att ansluta till både interna slutpunkter och Azure Cosmos DB Cassandra-slutpunkter. I klustret väljer du Bibliotek>Installera ny>Maven och lägger sedan till com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 Maven-koordinater.

Skärmbild som visar sökning efter Maven-paket i Databricks.

Rensa resurser

Om du inte kommer att fortsätta att använda det här klustret för den hanterade instansen tar du bort det med följande steg:

  1. På den vänstra menyn i Azure Portal väljer du Resursgrupper.
  2. I listan väljer du den resursgrupp som du skapade för den här snabbstarten.
  3. I fönstret Översikt för resursgruppen väljer du Ta bort resursgrupp.
  4. I nästa fönster anger du namnet på resursgruppen som ska tas bort och väljer sedan Ta bort.

Nästa steg

I den här snabbstarten har du lärt dig hur du skapar ett fullständigt hanterat Apache Spark-kluster i Virtual Network för ditt Azure Managed Instance för Apache Cassandra-kluster. Härnäst kan du lära dig hur du hanterar kluster- och datacenterresurser:

Hantera Azure Managed Instance för Apache Cassandra-resurser med hjälp av Azure CLI