Zarządzanie obciążeniem
Dotyczy:
Punkt końcowy SQL i magazyn w usłudze Microsoft Fabric
W tym artykule opisano architekturę i zarządzanie obciążeniami za magazynowaniem danych w usłudze Microsoft Fabric.
Ważne
Usługa Microsoft Fabric jest dostępna w wersji zapoznawczej.
Przetwarzanie danych
Magazyn i punkt końcowy SQL współdzielą tę samą podstawową architekturę przetwarzania. W miarę pobierania lub pozyskiwania danych wykorzystuje aparat rozproszony utworzony zarówno dla małych, jak i dużych funkcji danych i obliczeń.
System przetwarzania jest bezserwerowy w tej pojemności obliczeniowej zaplecza skalowany autonomicznie w górę i w dół, aby sprostać wymaganiom obciążeń.
Po przesłaniu zapytania fronton SQL (FE) przeprowadza optymalizację zapytań w celu określenia najlepszego planu na podstawie rozmiaru i złożoności danych. Po wygenerowaniu planu zostanie on przekazany aparatowi rozproszonego przetwarzania zapytań (DQP). DQP organizuje rozproszone wykonywanie zapytania, dzieląc je na mniejsze zapytania wykonywane w węzłach obliczeniowych zaplecza. Każde małe zapytanie jest nazywane zadaniem i reprezentuje rozproszoną jednostkę wykonywania. Odczytuje pliki z usługi OneLake, łączy wyniki z innych zadań, grup lub zamówień pobranych z innych zadań. W przypadku zadań pozyskiwania zapisuje również dane w odpowiednich tabelach docelowych.
Po przetworzeniu danych wyniki są zwracane do frontonu SQL w celu przywrócenia obsługi do użytkownika lub wywoływania aplikacji.
Elastyczność i odporność
Pojemność obliczeniowa zaplecza korzysta z architektury szybkiego aprowizowania. Mimo że nie ma umowy SLA przy przypisywaniu zasobów, zazwyczaj nowe węzły są uzyskiwane w ciągu kilku sekund. Wraz ze wzrostem zapotrzebowania na zasoby nowe obciążenia wykorzystują skalowaną pojemność w poziomie. Skalowanie to operacja online, a przetwarzanie zapytań przebiega nieprzerwanie.
System jest odporny na uszkodzenia i jeśli węzeł stanie się w złej kondycji, operacje wykonywane w węźle są redystrybuowane do węzłów w dobrej kondycji w celu ukończenia.
Planowanie i planowanie zasobów
Rozproszony harmonogram przetwarzania zapytań działa na poziomie zadania . Zapytania są reprezentowane w harmonogramie jako skierowany graf acykliczny (DAG) zadań. Ta koncepcja jest znana użytkownikom platformy Spark. DaG umożliwia równoległość i współbieżność, ponieważ zadania, które nie zależą od siebie, można wykonywać jednocześnie lub poza kolejnością.
W miarę nadejścia zapytań ich zadania są zaplanowane na podstawie zasad fiFO (first-in-first-out). Jeśli pojemność jest bezczynna, harmonogram może użyć "najlepszego dopasowania", aby zoptymalizować współbieżność.
Gdy harmonogram identyfikuje ciśnienie na skalę, wywołuje operację skalowania. Skalowanie jest zarządzane autonomicznie, a topologia zaplecza rośnie wraz ze wzrostem współbieżności. Ponieważ uzyskanie węzłów trwa kilka sekund, system nie jest zoptymalizowany podsekund podsekund wydajności zapytań wymagających rozproszonego przetwarzania.
Gdy ciśnienie ustąpi, topologia zaplecza skaluje się z powrotem w dół i zwalnia zasób z powrotem do regionu.
Izolacja pozyskiwania
Dotyczy: Magazyn w usłudze Microsoft Fabric
W puli obliczeniowej zaplecza magazynu w usłudze Microsoft Fabric działania ładowania są zapewniane izolację zasobów od obciążeń analitycznych. Zwiększa to wydajność i niezawodność, ponieważ zadania pozyskiwania mogą być uruchamiane na dedykowanych węzłach zoptymalizowanych pod kątem etL i nie konkurują z innymi zapytaniami ani aplikacjami dla zasobów.
Najlepsze rozwiązania
Obszar roboczy usługi Microsoft Fabric zapewnia naturalną granicę izolacji rozproszonego systemu obliczeniowego. Obciążenia mogą korzystać z tej granicy w celu zarządzania kosztami i wydajnością.
Skróty OneLake mogą służyć do tworzenia replik tabel tylko do odczytu w innych obszarach roboczych w celu rozłożenia obciążenia między wieloma aparatami SQL tworzącymi granicę izolacji.
Następne kroki
Opinia
Prześlij i wyświetl opinię dla