Zarządzanie konfiguracją platformy Apache Spark

Artykuł
04/19/2023

Z tego samouczka dowiesz się, jak utworzyć konfigurację platformy Apache Spark dla programu Synapse Studio. Utworzoną konfigurację platformy Apache Spark można zarządzać w sposób ustandaryzowany. Podczas tworzenia notesu lub definicji zadania platformy Apache Spark można wybrać konfigurację platformy Apache Spark, której chcesz użyć z pulą platformy Apache Spark. Po jego wybraniu zostaną wyświetlone szczegóły konfiguracji.

Tworzenie konfiguracji platformy Apache Spark

Konfiguracje niestandardowe można tworzyć z różnych punktów wejścia, na przykład na stronie konfiguracji platformy Apache Spark istniejącej puli platformy Spark.

Tworzenie niestandardowych konfiguracji w konfiguracjach platformy Apache Spark

Wykonaj poniższe kroki, aby utworzyć konfigurację platformy Apache Spark w Synapse Studio.

Wybierz pozycję Zarządzaj konfiguracjami>platformy Apache Spark.
Kliknij przycisk Nowy , aby utworzyć nową konfigurację platformy Apache Spark, lub kliknij pozycję Importuj lokalny plik json do obszaru roboczego.
Nowa strona konfiguracji platformy Apache Spark zostanie otwarta po kliknięciu przycisku Nowy.
W polu Nazwa możesz wprowadzić preferowaną i prawidłową nazwę.
W polu Opis możesz wprowadzić w nim opis.
W obszarze Adnotacje możesz dodać adnotacje, klikając przycisk Nowy , a także usunąć istniejące adnotacje, wybierając i klikając przycisk Usuń .
W obszarze Właściwości konfiguracji dostosuj konfigurację, klikając przycisk Dodaj , aby dodać właściwości. Jeśli nie dodasz właściwości, Azure Synapse użyje wartości domyślnej, jeśli ma to zastosowanie.
Kliknij przycisk Kontynuuj .
Kliknij przycisk Utwórz , gdy walidacja zakończyła się pomyślnie.
Opublikuj wszystko

Uwaga

Funkcja przekazywania konfiguracji platformy Apache Spark została usunięta, ale Synapse Studio zachowa wcześniej przekazaną konfigurację.

Tworzenie konfiguracji platformy Apache Spark w istniejącej puli platformy Apache Spark

Wykonaj poniższe kroki, aby utworzyć konfigurację platformy Apache Spark w istniejącej puli platformy Apache Spark.

Wybierz istniejącą pulę platformy Apache Spark i kliknij akcję "..." Przycisk.
Wybierz konfigurację platformy Apache Spark na liście zawartości.
W przypadku konfiguracji platformy Apache Spark możesz wybrać już utworzoną konfigurację z listy rozwijanej lub kliknąć pozycję +Nowy , aby utworzyć nową konfigurację.
- Jeśli klikniesz pozycję +Nowy, zostanie otwarta strona Konfiguracja platformy Apache Spark i możesz utworzyć nową konfigurację, wykonując kroki opisane w temacie Tworzenie konfiguracji niestandardowych w konfiguracjach platformy Apache Spark.
- Jeśli wybierzesz istniejącą konfigurację, szczegóły konfiguracji zostaną wyświetlone w dolnej części strony, możesz również kliknąć przycisk Edytuj , aby edytować istniejącą konfigurację.
Kliknij pozycję Wyświetl konfiguracje , aby otworzyć stronę Wybierz konfigurację . Wszystkie konfiguracje zostaną wyświetlone na tej stronie. Możesz wybrać konfigurację, której chcesz użyć w tej puli platformy Apache Spark.
Kliknij przycisk Zastosuj , aby zapisać akcję.

Tworzenie konfiguracji platformy Apache Spark w sesji konfigurowania notesu

Jeśli musisz użyć niestandardowej konfiguracji platformy Apache Spark podczas tworzenia notesu, możesz go utworzyć i skonfigurować w sesji konfiguracji , wykonując poniższe kroki.

Utwórz nowy/otwórz istniejący notes.
Otwórz właściwości tego notesu.
Kliknij pozycję Konfiguruj sesję , aby otworzyć stronę Konfigurowanie sesji.
Przewiń w dół stronę konfigurowanie sesji, dla konfiguracji platformy Apache Spark, rozwiń menu rozwijane, możesz kliknąć przycisk Nowy, aby utworzyć nową konfigurację. Możesz też wybrać istniejącą konfigurację, jeśli wybierzesz istniejącą konfigurację, kliknij ikonę Edytuj , aby przejść do strony Edytowanie konfiguracji platformy Apache Spark, aby edytować konfigurację.
Kliknij pozycję Wyświetl konfiguracje , aby otworzyć stronę Wybierz konfigurację . Wszystkie konfiguracje zostaną wyświetlone na tej stronie. Możesz wybrać konfigurację, której chcesz użyć.

Tworzenie konfiguracji platformy Apache Spark w definicjach zadań platformy Apache Spark

Podczas tworzenia definicji zadania platformy Spark należy użyć konfiguracji platformy Apache Spark, którą można utworzyć, wykonując poniższe kroki:

Utwórz nowe/otwórz istniejące definicje zadań platformy Apache Spark.
W przypadku konfiguracji platformy Apache Spark możesz kliknąć przycisk Nowy, aby utworzyć nową konfigurację. Możesz też wybrać istniejącą konfigurację w menu rozwijanym, jeśli wybierzesz istniejącą konfigurację, kliknij ikonę Edytuj , aby przejść do strony Edytowanie konfiguracji platformy Apache Spark, aby edytować konfigurację.
Kliknij pozycję Wyświetl konfiguracje , aby otworzyć stronę Wybierz konfigurację . Wszystkie konfiguracje zostaną wyświetlone na tej stronie. Możesz wybrać konfigurację, której chcesz użyć.

Uwaga

Jeśli konfiguracja platformy Apache Spark w definicji zadania notesu i platformy Apache Spark nie wykonuje żadnych specjalnych czynności, podczas uruchamiania zadania zostanie użyta konfiguracja domyślna.

Importowanie i eksportowanie konfiguracji platformy Apache Spark

Możesz zaimportować konfigurację .txt/.conf/.json w trzech formatach, a następnie przekonwertować ją na artefakt i opublikować. Można również eksportować do jednego z tych trzech formatów.

Zaimportuj konfigurację .txt/.conf/.json z lokalizacji lokalnej.
Eksportuj konfigurację .txt/.conf/.json do lokalizacji lokalnej.

W przypadku .txt pliku konfiguracji i pliku konfiguracji conf można zapoznać się z następującymi przykładami:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

W przypadku pliku konfiguracji json można zapoznać się z następującymi przykładami:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}