Migrace fondů Sparku z Azure Synapse do prostředků infrastruktury

  • Článek

Azure Synapse sice nabízí fondy Sparku, ale Prostředky infrastruktury nabízejí úvodní fondy a vlastní fondy. Počáteční fond může být dobrou volbou, pokud máte jeden fond bez vlastních konfigurací nebo knihoven ve službě Azure Synapse a pokud velikost uzlu Střední splňuje vaše požadavky. Pokud ale hledáte větší flexibilitu s konfiguracemi fondu Sparku, doporučujeme použít vlastní fondy. Existují dvě možnosti:

  • Možnost 1: Přesuňte fond Sparku do výchozího fondu pracovního prostoru.
  • Možnost 2: Přesuňte fond Sparku do vlastního prostředí v prostředcích infrastruktury.

Pokud máte více než jeden fond Sparku a plánujete je přesunout do stejného pracovního prostoru Prostředků infrastruktury, doporučujeme použít možnost 2 a vytvořit několik vlastních prostředí a fondů.

Důležité informace o fondu Sparku najdete v rozdílech mezi Azure Synapse Sparkem a prostředky infrastruktury.

Předpoklady

Pokud ho ještě nemáte, vytvořte ve svém tenantovi pracovní prostor Fabric.

Možnost 1: Z fondu Sparku do výchozího fondu pracovního prostoru

Z pracovního prostoru Prostředků infrastruktury můžete vytvořit vlastní fond Sparku a použít ho jako výchozí fond v pracovním prostoru. Výchozí fond používají všechny poznámkové bloky a definice úloh Sparku ve stejném pracovním prostoru.

Pokud chcete přejít z existujícího fondu Sparku z Azure Synapse do výchozího fondu pracovního prostoru:

  1. Přístup k pracovnímu prostoru Azure Synapse: Přihlaste se do Azure. Přejděte do pracovního prostoru Azure Synapse, přejděte do fondů Analytics a vyberte fondy Apache Sparku.
  2. Vyhledejte fond Spark: Ve fondech Apache Spark vyhledejte fond Sparku, který chcete přesunout do prostředků infrastruktury, a zkontrolujte vlastnosti fondu.
  3. Získat vlastnosti: Získejte vlastnosti fondu Sparku, jako je verze Apache Sparku, řada velikostí uzlů, velikost uzlu nebo automatické škálování. Pokud se chcete podívat na rozdíly, podívejte se na aspekty fondu Sparku.
  4. Vytvoření vlastního fondu Sparku v prostředcích infrastruktury:
    • Přejděte do pracovního prostoru Fabric a vyberte Nastavení pracovního prostoru.
    • Přejděte na Datoví technici/Věda a vyberte Nastavení Sparku.
    • Na kartě Fond a v části Výchozí fond pro pracovní prostor rozbalte rozevírací nabídku a vyberte vytvořit nový fond.
    • Vytvořte vlastní fond s odpovídajícími cílovými hodnotami. Vyplňte název, řadu uzlů, velikost uzlu, automatické škálování a možnosti přidělení dynamického exekutoru.
  5. Vyberte verzi modulu runtime:
    • Přejděte na kartu Prostředí a vyberte požadovanou verzi modulu runtime. Tady najdete dostupné moduly runtime.
    • Zakažte možnost Nastavit výchozí prostředí.

Screenshot showing default pool.

Poznámka:

V této možnosti nejsou podporovány knihovny nebo konfigurace na úrovni fondu. Můžete ale upravit konfiguraci výpočetních prostředků pro jednotlivé položky, jako jsou poznámkové bloky a definice úloh Sparku, a přidat vložené knihovny. Pokud potřebujete do prostředí přidat vlastní knihovny a konfigurace, zvažte vlastní prostředí.

Možnost 2: Z fondu Sparku do vlastního prostředí

Pomocí vlastních prostředí můžete nastavit vlastní vlastnosti a knihovny Sparku. Vytvoření vlastního prostředí:

  1. Přístup k pracovnímu prostoru Azure Synapse: Přihlaste se do Azure. Přejděte do pracovního prostoru Azure Synapse, přejděte do fondů Analytics a vyberte fondy Apache Sparku.
  2. Vyhledejte fond Spark: Ve fondech Apache Spark vyhledejte fond Sparku, který chcete přesunout do prostředků infrastruktury, a zkontrolujte vlastnosti fondu.
  3. Získat vlastnosti: Získejte vlastnosti fondu Sparku, jako je verze Apache Sparku, řada velikostí uzlů, velikost uzlu nebo automatické škálování. Pokud se chcete podívat na rozdíly, podívejte se na aspekty fondu Sparku.
  4. Vytvoření vlastního fondu Sparku:
    • Přejděte do pracovního prostoru Fabric a vyberte Nastavení pracovního prostoru.
    • Přejděte na Datoví technici/Věda a vyberte Nastavení Sparku.
    • Na kartě Fond a v části Výchozí fond pro pracovní prostor rozbalte rozevírací nabídku a vyberte vytvořit nový fond.
    • Vytvořte vlastní fond s odpovídajícími cílovými hodnotami. Vyplňte název, řadu uzlů, velikost uzlu, automatické škálování a možnosti přidělení dynamického exekutoru.
  5. Vytvořte položku prostředí , pokud ji nemáte.
  6. Konfigurace výpočetních prostředků Sparku:
    • V rámci prostředí přejděte do výpočetních prostředků>Sparku.
    • Vyberte nově vytvořený fond pro nové prostředí.
    • Můžete nakonfigurovat jádra ovladačů a exekutorů a paměť.
  7. Vyberte verzi modulu runtime pro prostředí. Tady najdete dostupné moduly runtime.
  8. Klikněte na Uložit a publikovat změny.

Přečtěte si další informace o vytváření a používání prostředí.

Screenshot showing custom environment.

Další kroky