Konfigurowanie niestandardowych pul na żywo w usłudze Microsoft Fabric

Dotyczy:✅ Inżynieria danych sieci szkieletowej i nauka o danych

Niestandardowe live pooli to wstępnie nawodnione klastry Spark, które zapewniają niemal natychmiastowe uruchomienie sesji dla notebooków w Fabric. W tym artykule pokazano, jak tworzyć, konfigurować niestandardowe pule na żywo i zarządzać nimi w celu uzyskania optymalnej wydajności.

Wymagania wstępne

Przed skonfigurowaniem niestandardowych pul na żywo upewnij się, że masz:

• Dostęp do przestrzeni roboczej Fabric z płatnym SKU Fabric (nie obsługiwane są możliwości próbne Fabric)
• Rola administratora w obszarze roboczym
• Aktywna pojemność sieci szkieletowej przypisana do obszaru roboczego
• Opublikowane środowisko sieci szkieletowej do użycia na potrzeby konfiguracji biblioteki.

Ważna

Pule początkowe nie są obsługiwane w przypadku niestandardowych pul na żywo. Jeśli obszar roboczy używa puli początkowej, przed skonfigurowaniem niestandardowej puli uruchomieniowej należy utworzyć niestandardową pulę Spark.

Utwórz dedykowaną pulę dla aktywnej puli

Najpierw utwórz niestandardową pulę Spark. W późniejszym kroku włączysz aktywne obliczenia tej puli.

1. Przejdź do obszaru roboczego Fabric.
2. Wybierz Ustawienia obszaru roboczego z głównej wstążki obszaru roboczego.
3. Rozwiń Inżynieria danych/Nauka i wybierz Ustawienia Spark.
4. Wybierz kartę Pula.
5. Z listy rozwijanej Domyślna pula dla obszaru roboczego wybierz pozycję Nowa pula.
6. Wprowadź nazwę puli. Ta nazwa jest unikatowym identyfikatorem puli, takim jak dev-team-pool lub prod-daily-analytics.
7. Wybierz rodzinę węzłów i rozmiar węzła dla obciążenia.
8. Zaznacz pole wyboru Autoskalowanie , aby włączyć skalowanie automatyczne dla puli.

Skonfiguruj pulę aktywną

Po utworzeniu niestandardowej puli Spark, włącz funkcję obliczeń puli w trybie rzeczywistym za pomocą ustawień środowiska.

1. W obszarze roboczym Fabric otwórz środowisko, które chcesz dołączyć do niestandardowej puli na żywo.

2. W panelu po lewej stronie wybierz pozycję Przetwarzanie.

3. Wybierz pulę utworzoną w poprzednim kroku z listy rozwijanej.

4. W obszarze Pula na żywo wybierz przycisk radiowy, aby aktywować zasoby obliczeniowe puli na żywo dla tego środowiska.

   

5. W Harmonogramie puli na żywo wybierz przycisk radiowy, aby włączyć tę funkcję. Wszystkie niestandardowe pule na żywo muszą mieć harmonogram. Klastry są utrzymywane w stanie gotowości tylko podczas zaplanowanego okresu.

6. Określ ustawienia harmonogramu:

   • Czy harmonogram jest cykliczny
   • Początek i koniec dnia i godziny
   • Strefa czasowa
   • Kiedy dezaktywować i na nowo aktywować pulę
   • Inne ustawienia zgodnie z zastosowaniem

   Ważna

   Platforma Fabric używa standardowej aprowizacji systemu Spark dla aktywności poza zaplanowanym oknem, co powoduje wolniejszy czas uruchomienia. Klastry nie są utrzymywane w aktywności poza zaplanowanym przedziałem czasowym.

   Aby uzyskać porady dotyczące planowania, zobacz Planowanie najlepszych rozwiązań.

7. Zapisz ustawienia obliczeniowe.

8. Wybierz przycisk Publikuj na górnej wstążce.

Po opublikowaniu pula jest aktywna, a Fabric zaczyna przygotowywanie klastrów przed kolejnym zaplanowanym okresem.

Uwaga / Notatka

Publikowanie może potrwać kilka minut.

Wszelkie zmiany w środowisku wymagają ponownego opublikowania środowiska i odświeżenia nawodnionych klastrów.

Monitorowanie stanu puli

Aby sprawdzić stan niestandardowej puli na żywo:

1. W portalu Fabric otwórz centrum Monitorowania.

2. Znajdź opublikowane środowisko i wybierz przycisk z trzema kropkami (...), aby otworzyć menu kontekstowe.

3. Wybierz pozycję Wyświetl szczegóły.

   

4. W okienku po prawej stronie rozwiń Stan puli na bieżąco, aby wyświetlić bieżący stan puli.

Stan puli na żywo zawiera szczegółowe informacje, takie jak:

• Stan puli: na przykład Aktywny, Nawilżający, Bezczynny lub Zatrzymany
• Dostępne klastry: liczba klastrów gotowych do sesji notebooka
• Zajęte klastry: liczba klastrów z aktywnie uruchomionymi sesjami
• Następny harmonogram: Nadchodzące okno działania

Najlepsze rozwiązania

Aby jak najlepiej wykorzystać niestandardowe pule na żywo, rozważ następujące najlepsze praktyki dotyczące konfiguracji i zarządzania:

Optymalizowanie pod kątem kosztów i wydajności

• Dopasowanie liczby do zapotrzebowania: ustaw maksymalną liczbę klastrów na podstawie oczekiwanych sesji współbieżnych. Nadmierne przydzielanie zasobów zwiększa koszty.
• Monitorowanie wykorzystania: regularnie przeglądaj metryki puli i dopasowuj liczbę klastrów w razie potrzeby.
• Efektywne zarządzanie harmonogramami: unikaj nakładania się harmonogramów na wiele pul, chyba że jest to konieczne.
• Wykorzystaj limit czasu bezczynności: Ustaw limity czasu bezczynności, aby zachować równowagę między dostępnością zasobów a unikaniem częstych ponownych uruchomień klastra.

Ustalanie rozmiaru klastra

Podczas konfigurowania puli należy wziąć pod uwagę następujące ustawienia i zalecenia:

• Rozmiar klastra: liczba instancji wykonawczych dla sesji notebooków (zakres: 1–16).
• Maksymalna liczba klastrów: maksymalna liczba klastrów do utrzymania nawodnienia. Ustaw na podstawie oczekiwanych sesji współbieżnych.
• Limit czasu bezczynności: jak długo nieużywany klaster pozostaje przydzielony, zanim Fabric zakończy jego działanie.

Typ obciążenia	Zalecany rozmiar	Opis
Analiza eksploracyjna	2–4 rdzenie	Lekkie obciążenia, szybka eksploracja danych
Średnia moc obliczeniowa	8–12 rdzeni	Codzienne raportowanie, średnie zestawy danych
Duże zasoby obliczeniowe	14-16 rdzeni	Duże zestawy danych, złożone przekształcenia

Zarządzanie zależnościami biblioteki

• Użyj grupowania środowisk: wstępnie zainstaluj wspólne biblioteki w środowisku, a nie instalację na bieżąco.
• Wersjonowanie środowiska: aktualizowanie dołączonego środowiska wymaga ponownego publikowania i odświeżania nawodnionych klastrów.
• Odśwież nawilżone klastry: po zmianie środowiska odśwież pulę lub poczekaj na następny zaplanowany cykl, aby zastosować zmiany.

Dostosowywanie do wzorców obciążeń

• Monitorowanie zachowania zewnętrznego: dostosuj limity czasu bezczynności na podstawie rzeczywistych wzorców użycia.
• Udostępnianie między sesjami: Rozważ udostępnienie tego samego środowiska w różnych pulach, jeśli masz spójne wzorce obciążenia, aby optymalizować wykorzystanie zasobów.

Planowanie najlepszych rozwiązań

• Dostosuj się do wzorców obciążeń: zaplanuj harmonogramy aktywności, gdy zespół uruchamia notatniki interaktywne lub planowane.
• Czas buforu: dodaj 60–90 minut przed przewidywanymi oknami użytkowania, aby zapewnić pełne nawodnienie.
• Rozważ strefy czasowe: jeśli twój zespół obejmuje wiele stref czasowych, rozszerz harmonogram, aby uwzględnić wymagane zakresy czasu.

Troubleshooting

Rozwiązywanie problemów z niestandardowymi pulami transmisji na żywo obejmuje sprawdzanie statusu puli, stanu środowiska i ustawień harmonogramu, jak opisano w następujących scenariuszach.

Pula zasobów pozostaje niedostępna

Jeśli aktywacja puli nie powiedzie się lub zostanie wyświetlony stan "Niedostępny":

• Sprawdź, czy pojemność infrastruktury sieciowej jest aktywna i obecnie przypisana do obszaru roboczego.
• Sprawdź, czy dołączone środowisko jest w stanie "Gotowe".
• Upewnij się, że dołączone środowisko zostało opublikowane i nie ma żadnych błędów.

Nawodnienie trwa dłużej niż oczekiwano

Jeśli nawodnienie jest wolniejsze niż oczekiwano:

• Sprawdź zależności środowiska i stan kompilacji.
• Sprawdź, czy środowisko jest w stanie "Gotowe".
• Więcej informacji: Śledź szczegóły puli.

Nie można uruchomić sesji lub notatników

Jeśli sesje notebooka nie uruchamiają się nawet przy aktywnej puli:

• Sprawdź, czy sesja używa poprawnego środowiska.
• Sprawdź, czy basen jest w stanie "Dostępne" i w pełni nawodniony.

Treści powiązane

• Omówienie niestandardowych aktywnych pul
• Konfigurowanie pul startowych
• Tworzenie niestandardowych pul platformy Spark
• Tworzenie i używanie środowiska