Limity współbieżności i kolejkowanie w usłudze Microsoft Fabric Spark

  • Artykuł

Dotyczy: Inżynieria danych i Nauka o danych w usłudze Microsoft Fabric

Usługa Microsoft Fabric umożliwia przydzielanie jednostek obliczeniowych za pośrednictwem pojemności, czyli dedykowanego zestawu zasobów, które są dostępne w danym momencie. Pojemność definiuje zdolność zasobu do wykonywania działania lub generowania danych wyjściowych. Różne elementy zużywają różne pojemności w określonym czasie. Usługa Microsoft Fabric oferuje pojemność za pośrednictwem jednostek SKU sieci szkieletowej i wersji próbnych. Aby uzyskać więcej informacji, zobacz Co to jest pojemność?

Ważne

Usługa Microsoft Fabric jest dostępna w wersji zapoznawczej.

Gdy użytkownicy tworzą pojemność usługi Microsoft Fabric na platformie Azure, wybierają rozmiar pojemności na podstawie rozmiaru obciążenia analitycznego. Na platformie Spark użytkownicy uzyskują dwa rdzenie wirtualne platformy Spark dla każdej jednostki pojemności, którą są zarezerwowani w ramach jednostki SKU.

Jedna jednostka pojemności = dwa rdzenie wirtualne platformy Spark

Po zakupie pojemności administratorzy mogą tworzyć obszary robocze w ramach pojemności w usłudze Microsoft Fabric. Rdzenie wirtualne platformy Spark skojarzone z pojemnością są współużytkowane przez wszystkie elementy oparte na platformie Spark, takie jak notesy, definicje zadań platformy Spark i usługa Lakehouse utworzona w tych obszarach roboczych.

Ograniczanie współbieżności i kolejkowanie

W poniższej sekcji wymieniono różne limity liczbowe dla obciążeń platformy Spark na podstawie jednostek SKU pojemności usługi Microsoft Fabric:

Jednostka SKU pojemności Równoważna jednostka SKU usługi Power BI Jednostki pojemności Równoważne rdzenie wirtualne platformy Spark Maksymalna liczba współbieżnych zadań Limit kolejek
F2 - 2 4 1 4
F4 - 4 8 1 4
F8 - 8 16 2 8
F16 - 16 32 4 16
F32 - 32 64 8 32
F64 P1 64 128 16 64
Wersja próbna sieci szkieletowej P1 64 128 5 -
F128 P2 128 256 32 128
F256 P3 256 512 64 256
F512 P4 512 1024 128 512
F1024 - 1024 2048 256 1024
F2048 - 2048 4096 512 2048

Mechanizm kolejkowania to prosta kolejka oparta na standardzie FIFO, która sprawdza dostępne miejsca zadań i automatycznie ponawia próbę wykonania zadań po udostępnieniu pojemności. Ponieważ istnieją różne elementy, takie jak notesy, definicja zadania platformy Spark i usługa Lakehouse, których użytkownicy mogą używać w dowolnym obszarze roboczym. Ponieważ użycie różni się w różnych zespołach przedsiębiorstwa, użytkownicy mogą napotkać scenariusze głodu, w których istnieje zależność tylko od typu elementu, takiego jak definicja zadania platformy Spark. Taka sytuacja może spowodować, że użytkownicy współdzielą pojemność z uruchamiania zadania opartego na notesie lub dowolnej operacji opartej na usłudze Lakehouse, takiej jak ładowanie do tabeli.

Aby uniknąć tych scenariuszy blokowania, usługa Microsoft Fabric stosuje ograniczanie na podstawie rezerwy dynamicznej dla zadań z tych elementów. Zadania oparte na notesach i lakehouse są bardziej interaktywne i w czasie rzeczywistym są klasyfikowane jako interaktywne. Podczas gdy definicja zadania platformy Spark jest klasyfikowana jako partia. W ramach tej rezerwy dynamicznej minimalne i maksymalne granice rezerw są utrzymywane dla tych typów zadań. Rezerwy dotyczą głównie przypadków użycia, w których zespół przedsiębiorstwa może doświadczyć scenariuszy szczytowego użycia, w których cała pojemność jest zużywana za pośrednictwem zadań wsadowych. W tych godzinach szczytu użytkownicy nie mogą korzystać z interaktywnych elementów, takich jak notesy lub lakehouse. W przypadku tego podejścia każda pojemność otrzymuje minimalną rezerwę wynoszącą 30% całkowitej liczby zadań przydzielonych do zadań interakcyjnych (5% dla magazynu lakehouse i 25% dla notesów) oraz minimalną rezerwę wynoszącą 10% dla zadań wsadowych.

Typ zadania Element Minimalna % Maksymalny procent
Batch Definicja zadania platformy Spark 10 70
Interaktywne Interakcyjne minimum i maksimum 30 90
Notes 25 85
Lakehouse 5 65

Po przekroczeniu tych rezerw i maksymalnego wykorzystania pojemności zadania interakcyjne, takie jak notesy i lakehouse, są ograniczane z komunikatem HTTP Response code 430: Nie można przesłać tego żądania, ponieważ obecnie jest używana cała dostępna pojemność. Anuluj aktualnie uruchomione zadanie, zwiększ dostępną pojemność lub spróbuj ponownie później.

Po włączeniu kolejkowania zadania wsadowe, takie jak definicje zadań platformy Spark, są dodawane do kolejki i są automatycznie ponawiane po zwolnieniu pojemności.

Uwaga

Zadania mają okres wygaśnięcia kolejki w wysokości 24 godzin, po którym zostaną anulowane, a użytkownicy będą musieli ponownie przesłać je do wykonania zadania.

Następne kroki