Ustawienia administracyjne obszaru roboczego platformy Apache Spark — często zadawane pytania

W tym artykule wymieniono odpowiedzi na często zadawane pytania dotyczące ustawień administracyjnych obszaru roboczego platformy Apache Spark.

Jak mogę użyć ról RBAC do skonfigurowania ustawień obszaru roboczego platformy Spark?

Użyj menu Zarządzanie dostępem, aby dodać uprawnienia administratora dla określonych użytkowników, grup dystrybucyjnych lub grup zabezpieczeń. Możesz również użyć tego menu, aby wprowadzić zmiany w obszarze roboczym i udzielić dostępu do dodawania, modyfikowania lub usuwania ustawień obszaru roboczego platformy Spark.

Czy zmiany wprowadzone we właściwościach platformy Spark na poziomie środowiska mają zastosowanie do aktywnych sesji notesu lub zaplanowanych zadań platformy Spark?

Po zmianie konfiguracji na poziomie obszaru roboczego nie jest ona stosowana do aktywnych sesji platformy Spark. Obejmuje to sesje wsadowe lub oparte na notesach. Należy uruchomić nowy notes lub sesję wsadową po zapisaniu nowych ustawień konfiguracji, aby ustawienia zaczęły obowiązywać.

Czy mogę skonfigurować rodzinę węzłów, środowisko uruchomieniowe platformy Spark i właściwości platformy Spark na poziomie pojemności?

Tak, możesz zmienić środowisko uruchomieniowe lub zarządzać właściwościami platformy Spark przy użyciu ustawień inżynierowie danych/Nauki w ramach strony ustawień administratora pojemności. Aby wyświetlić i zmienić te ustawienia pojemności, potrzebny jest dostęp administratora pojemności.

Czy mogę wybrać różne rodziny węzłów dla różnych notesów i definicji zadań platformy Spark w moim obszarze roboczym?

Obecnie można wybrać tylko rodzinę węzłów zoptymalizowanych pod kątem pamięci dla całego obszaru roboczego.

Czy można skonfigurować te ustawienia na poziomie notesu?

Tak, możesz użyć %%configure, aby dostosować właściwości na poziomie sesji platformy Spark w notesach

Czy mogę skonfigurować minimalną i maksymalną liczbę węzłów dla wybranej rodziny węzłów?

Tak, możesz wybrać minimalne i maksymalne węzły na podstawie dozwolonych limitów maksymalnej wydajności pojemności sieci szkieletowej połączonej z obszarem roboczym Sieć szkieletowa.

Czy mogę włączyć skalowanie automatyczne dla pul platformy Spark w rodzinie węzłów opartych na procesorach GPU zoptymalizowanych pod kątem pamięci lub sprzętu?

Skalowanie automatyczne jest dostępne dla pul platformy Spark i umożliwia systemowi automatyczne skalowanie w górę zasobów obliczeniowych na podstawie etapów zadań w czasie wykonywania. Procesory GPU są obecnie niedostępne. Ta funkcja zostanie włączona w przyszłych wersjach.

Czy inteligentne buforowanie dla pul platformy Spark jest domyślnie obsługiwane lub włączone dla obszaru roboczego?

Inteligentne buforowanie jest domyślnie włączone dla pul platformy Spark dla wszystkich obszarów roboczych.