Snabbstart: Distribuera ett hanterat Apache Spark-kluster med Azure Databricks

Azure Managed Instance för Apache Cassandra tillhandahåller automatiserade distributions- och skalningsåtgärder för hanterade Apache Cassandra-datacenter med öppen källkod. Den här funktionen påskyndar hybridscenarier och minskar pågående underhåll.

Den här snabbstarten visar hur du använder Azure-Portal för att skapa ett fullständigt hanterat Apache Spark-kluster i Azure-Virtual Network i azure-Managed Instance för Apache Cassandra-kluster. Du skapar Spark-klustret i Azure Databricks. Senare kan du skapa eller koppla notebook-filer till klustret, läsa data från olika datakällor och analysera insikter.

Du kan också lära dig mer med detaljerade instruktioner om hur du distribuerar Azure Databricks i azure-Virtual Network (Virtual Network inmatning).

Krav

Om du inte har en Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar.

Skapa ett Azure Databricks-kluster

Följ dessa steg för att skapa ett Azure Databricks-kluster i en Virtual Network som har Azure Managed Instance för Apache Cassandra:

  1. Logga in på Azure-portalen.

  2. Leta upp Resursgrupper i det vänstra navigeringsfönstret. Gå till resursgruppen som innehåller Virtual Network där din hanterade instans distribueras.

  3. Öppna resursen Virtual Network och anteckna adressutrymmet:

    Skärmbild som visar var du hämtar adressutrymmet för din Virtual Network.

  4. I resursgruppen väljer du Lägg till och söker efter Azure Databricks i sökfältet:

    Skärmbild som visar en sökning efter Azure Databricks.

  5. Välj Skapa för att skapa ett Azure Databricks-konto:

    Skärmbild som visar Azure Databricks-erbjudandet med knappen Skapa markerad.

  6. Ange följande värden:

    • Namn på arbetsyta Ange ett namn för databricks-arbetsytan.
    • Regionen Se till att välja samma region som din Virtual Network.
    • Prisnivå Välj mellan Standard, Premium eller Utvärderingsversion. Mer information om de här nivåerna finns på prissättningssidan för Databricks.

    Skärmbild som visar en dialogruta där du kan ange arbetsytans namn, region och prisnivå för Databricks-kontot.

  7. Välj sedan fliken Nätverk och ange följande information:

    • Distribuera Azure Databricks-arbetsytan i din Virtual Network (VNet) Välj Ja.
    • Virtual Network I listrutan väljer du Virtual Network där den hanterade instansen finns.
    • Namn på offentligt undernät Ange ett namn för det offentliga undernätet.
    • CIDR-intervall för offentligt undernät Ange ett IP-intervall för det offentliga undernätet.
    • Privat undernätsnamn Ange ett namn för det privata undernätet.
    • CIDR-intervall för privat undernät Ange ett IP-intervall för det privata undernätet.

    Se till att du väljer högre intervall för att undvika intervallkollisioner. Om det behövs använder du en visuell undernätskalkylator för att dela upp intervallen:

    Skärmbild som visar kalkylatorn för det visuella undernätet med två markerade identiska nätverksadresser.

    Följande skärmbild visar exempelinformation i nätverksfönstret:

    Skärmbild som visar angivna offentliga och privata undernätsnamn.

  8. Välj Granska och skapa och sedan Skapa för att distribuera arbetsytan.

  9. Starta arbetsytan när den har skapats.

  10. Du omdirigeras till Azure Databricks-portalen. I portalen väljer du Nytt kluster.

  11. I fönstret Nytt kluster accepterar du standardvärden för alla andra fält än följande fält:

    • Klusternamn Ange ett namn för klustret.
    • Databricks Runtime-version Vi rekommenderar att du väljer Databricks runtime version 7.5 eller senare för Stöd för Spark 3.x.

    Skärmbild som visar dialogrutan Nytt kluster med en Databricks Runtime-version markerad.

  12. Expandera Avancerade alternativ och lägg till följande konfiguration. Se till att ersätta nod-IP-adresser och autentiseringsuppgifter:

    spark.cassandra.connection.host <node1 IP>,<node 2 IP>, <node IP>
    spark.cassandra.auth.password cassandra
    spark.cassandra.connection.port 9042
    spark.cassandra.auth.username cassandra
    spark.cassandra.connection.ssl.enabled true
    
  13. Lägg till Apache Spark Cassandra Connector-biblioteket i klustret för att ansluta till både interna och Azure Cosmos DB Cassandra-slutpunkter. I klustret väljer du Bibliotek>Installera ny>Maven och lägger sedan till com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0 i Maven-koordinater.

Skärmbild som visar sökning efter Maven-paket i Databricks.

Rensa resurser

Om du inte kommer att fortsätta att använda det här hanterade instansklustret tar du bort det med följande steg:

  1. Välj Resursgrupper på den vänstra menyn i Azure-Portal.
  2. I listan väljer du den resursgrupp som du skapade för den här snabbstarten.
  3. I fönstret Översikt för resursgruppen väljer du Ta bort resursgrupp.
  4. I nästa fönster anger du namnet på resursgruppen som ska tas bort och väljer sedan Ta bort.

Nästa steg

I den här snabbstarten har du lärt dig hur du skapar ett fullständigt hanterat Apache Spark-kluster i Virtual Network i azure-Managed Instance för Apache Cassandra-kluster. Sedan kan du lära dig hur du hanterar kluster- och datacenterresurserna: