Správa konfigurace Apache Sparku

Článek
04/19/2023

V tomto kurzu se dozvíte, jak vytvořit konfiguraci Apache Sparku pro synapse Studio. Vytvořenou konfiguraci Apache Sparku je možné spravovat standardizovaným způsobem a při vytváření definice úlohy Poznámkový blok nebo Apache Spark můžete vybrat konfiguraci Apache Sparku, kterou chcete použít s fondem Apache Sparku. Když ho vyberete, zobrazí se podrobnosti o konfiguraci.

Vytvoření konfigurace Apache Sparku

Vlastní konfigurace můžete vytvářet z různých vstupních bodů, například ze stránky konfigurace Apache Sparku existujícího fondu Sparku.

Vytváření vlastních konfigurací v konfiguracích Apache Sparku

Pomocí následujícího postupu vytvořte konfiguraci Apache Sparku v Synapse Studio.

Vyberte Spravovat>konfigurace Apache Sparku.
Kliknutím na tlačítko Nový vytvořte novou konfiguraci Apache Sparku nebo klikněte na Import místního souboru .json do pracovního prostoru.
Po kliknutí na tlačítko Nový se otevře nová konfigurační stránka Apache Sparku.
Do pole Název můžete zadat upřednostňovaný a platný název.
Do pole Popis můžete zadat nějaký popis.
V části Poznámky můžete přidat poznámky kliknutím na tlačítko Nový a také můžete odstranit existující poznámky tak, že vyberete a kliknete na tlačítko Odstranit.
V části Vlastnosti konfigurace přizpůsobte konfiguraci kliknutím na tlačítko Přidat a přidejte vlastnosti. Pokud nepřidáte vlastnost, Azure Synapse použije výchozí hodnotu, pokud je k dispozici.
Klikněte na tlačítko Pokračovat .
Po úspěšném ověření klikněte na tlačítko Vytvořit .
Publikovat vše

Poznámka

Funkce konfigurace nahrávání Apache Sparku byla odebrána, ale Synapse Studio zachová vaši dříve nahranou konfiguraci.

Vytvoření konfigurace Apache Sparku v již existujícím fondu Apache Sparku

Pomocí následujícího postupu vytvořte konfiguraci Apache Sparku v existujícím fondu Apache Sparku.

Vyberte existující fond Apache Sparku a klikněte na akci "..." Tlačítko.
V seznamu obsahu vyberte konfiguraci Apache Sparku .
V případě konfigurace Apache Sparku můžete z rozevíracího seznamu vybrat již vytvořenou konfiguraci nebo kliknutím na +Nová vytvořit novou konfiguraci.
- Pokud kliknete na + Nový, otevře se stránka Konfigurace Apache Sparku a můžete vytvořit novou konfiguraci podle kroků v tématu Vytváření vlastních konfigurací v konfiguracích Apache Sparku.
- Pokud vyberete existující konfiguraci, zobrazí se podrobnosti o konfiguraci v dolní části stránky. Můžete také kliknout na tlačítko Upravit a upravit existující konfiguraci.
Kliknutím na Zobrazit konfigurace otevřete stránku Vybrat konfiguraci . Na této stránce se zobrazí všechny konfigurace. Můžete vybrat konfiguraci, kterou chcete použít v tomto fondu Apache Sparku.
Kliknutím na tlačítko Použít akci uložte.

Vytvoření konfigurace Apache Sparku v relaci konfigurace poznámkového bloku

Pokud při vytváření poznámkového bloku potřebujete použít vlastní konfiguraci Apache Sparku, můžete ji vytvořit a nakonfigurovat v relaci konfigurace pomocí následujícího postupu.

Vytvořte nový nebo otevřete existující poznámkový blok.
Otevřete vlastnosti tohoto poznámkového bloku.
Kliknutím na Konfigurovat relaci otevřete stránku Konfigurovat relaci.
Posuňte se dolů na stránce konfigurace relace, v případě konfigurace Apache Sparku rozbalte rozevírací nabídku a kliknutím na tlačítko Nový můžete vytvořit novou konfiguraci. Nebo vyberte existující konfiguraci. Pokud vyberete existující konfiguraci, klikněte na ikonu Upravit a přejděte na stránku Upravit konfiguraci Apache Sparku a upravte konfiguraci.
Kliknutím na Zobrazit konfigurace otevřete stránku Vybrat konfiguraci . Na této stránce se zobrazí všechny konfigurace. Můžete vybrat konfiguraci, kterou chcete použít.

Vytvoření konfigurace Apache Sparku v definicích úloh Apache Sparku

Při vytváření definice úlohy Sparku musíte použít konfiguraci Apache Sparku, kterou můžete vytvořit pomocí následujícího postupu:

Vytvořte novou nebo otevřete existující definice úloh Apache Sparku.
V případě konfigurace Apache Sparku můžete kliknutím na tlačítko Nový vytvořit novou konfiguraci. Nebo vyberte existující konfiguraci v rozevírací nabídce. Pokud vyberete existující konfiguraci, klikněte na ikonu Upravit a přejděte na stránku Upravit konfiguraci Apache Sparku a upravte konfiguraci.
Kliknutím na Zobrazit konfigurace otevřete stránku Vybrat konfiguraci . Na této stránce se zobrazí všechny konfigurace. Můžete vybrat konfiguraci, kterou chcete použít.

Poznámka

Pokud konfigurace Apache Sparku v definici poznámkového bloku a úlohy Apache Sparku nedělá nic zvláštního, použije se při spuštění úlohy výchozí konfigurace.

Import a export konfigurace Apache Sparku

Můžete importovat .txt/.conf/.json config ve třech formátech a pak ho převést na artefakt a publikovat ho. A můžete také exportovat do jednoho z těchto tří formátů.

Importujte .txtkonfiguraci /.conf/.json z místního prostředí.
Exportujte konfiguraci .txt/.conf/.json do místního umístění.

Konfigurační soubor .txt a konfigurační soubor .conf najdete v následujících příkladech:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Konfigurační soubor .json najdete v následujících příkladech:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}