Ustawienia usługi SQL Warehouse dla obciążeń analizy biznesowej

Obciążenia analizy biznesowej mają różne cechy, które wymagają konkretnych zagadnień dotyczących konfiguracji usługi SQL Warehouse. Ta strona zawiera wskazówki dotyczące analizowania wymagań dotyczących obciążenia analizy biznesowej i konfigurowania magazynów SQL w celu zapewnienia optymalnej wydajności, wydajności i niezawodności.

Wymagania dotyczące analizy obciążeń i umowy SLA

Każde obciążenie analizy biznesowej jest unikatowe i wymaga starannej analizy przed konfiguracją. Podczas oceniania wymagań należy wziąć pod uwagę następujące pytania:

• Migracja lub nowa implementacja: Czy to obciążenie jest migrowane z innej platformy, czy jest to nowa implementacja? Zmigrowane obciążenia mogą mieć ustalone umowy o poziomie usług (SLA) i podstawy wydajności.
• Umowy dotyczące poziomu usług (SLA): Jakie są wymagania dotyczące opóźnień, przepływności i dostępności? Dokumentowanie umów SLA zarówno technicznych, jak i biznesowych.
• Wzorce dostępu: Jak użytkownicy wchodzą w interakcje z danymi? Zrozumienie typowych wzorców zapytań pomaga w odpowiednim rozmiarze konfiguracji magazynu i optymalizacji warstwy danych dla określonego obciążenia.

Typowe wzorce dostępu do analizy biznesowej

Obciążenia analizy biznesowej zazwyczaj należą do dwóch odrębnych kategorii wzorców dostępu, z których każda wymaga różnych konfiguracji usługi SQL Warehouse.

Wzorzec DirectQuery/LiveQuery

Wzorce DirectQuery wysyłają zapytania o dane w czasie rzeczywistym, co wymaga odpowiedzi o niskim opóźnieniu dla interaktywnej analizy.

Charakterystyka:

• Duża liczba zapytań
• Zapytania zwykle zwracają małe zestawy wyników (mniej niż 1000 rekordów)
• Zwykle wykonywane w godzinach pracy
• Ścisłe wymagania umowy SLA z oczekiwaniami dotyczącymi małych opóźnień
• Nieprzewidywalne wzorce zapytań (pulpity nawigacyjne, raporty)
• Dostęp do danych na zapytanie jest zwykle mniejszy niż 5 GB
• Wymaga wysoce skalowalnych zasobów obliczeniowych, aby pomieścić kolczaste wzorce

Oczekiwania dotyczące wydajności:

• Czas odpowiedzi na zapytanie: sekundy (zazwyczaj mniej niż 5 sekund dla interaktywnych pulpitów nawigacyjnych)
• Świeżość danych: aktualność, odzwierciedlająca najnowsze dane

Profil obciążenia:

• Częste wzrosty w godzinach pracy
• Nieprzewidywalne odmiany obciążenia (sterowane przez użytkownika)
• Można rozszerzyć na 24x7 dla organizacji globalnych

Importowanie/wyodrębnianie wzorca

Wzorce importu wyodrębniają dane dla systemów zależnych, priorytetowo traktując przepływność nad opóźnieniami.

Charakterystyka:

• Niska liczba zapytań (zaplanowane odświeżanie)
• Zazwyczaj duże zestawy wyników (ponad 1000 000 rekordów)
• Zwykle zaplanowane poza godzinami szczytu
• Przewidywalne wzorce zapytań (często sterowane przechodzeniem do szczegółów)
• Dostęp do danych na zapytanie: do dziesiątek GB

Oczekiwania dotyczące wydajności:

• Czas odpowiedzi na zapytanie: od minut do godzin (zorientowane na partie)
• Świeżość danych: migawka dnia lub poprzedni dzień

Profil obciążenia:

• Zaplanowane, przewidywalne okna wykonywania
• Znane charakterystyki obciążenia i wymagania dotyczące zasobów
• Przetwarzanie zorientowane na partie

Mieszanie zapytań w obciążeniach trybu DirectQuery

W przypadku korzystania z wzorców DirectQuery z modelem danych o schemacie gwiazdy należy oczekiwać następującego rozkładu zapytań:

• Zapytania wymiarów: Wiele małych zapytań przeszukuje tabele wymiarów (klient, produkt, czas)
• Zapytania dotyczące faktów: Wiele dużych zapytań skanujących tabele faktów, wykorzystujących sprzężenia i agregacje
• Wyodrębnianie zapytań: Niektóre proste, ale długo działające zapytania do wyodrębniania dużych zestawów danych

Ta zróżnicowana kombinacja zapytań wymaga magazynów SQL, które mogą efektywnie obsługiwać zarówno małe, częste zapytania, jak i duże zapytania analityczne jednocześnie.

Strategia wielu magazynów na potrzeby izolacji obciążeń

Usługa Databricks zaleca aprowizowanie wielu magazynów SQL w celu osiągnięcia następujących celów:

Właściwe ustalanie rozmiaru i optymalne koszty

• Dopasuj rozmiar każdego magazynu do jego specyficznego wzorca obciążenia
• Unikaj nadmiernej aprowizacji, oddzielając obciążenia według ich różnych wymagań dotyczących zasobów.
• Używaj mniejszych magazynów na potrzeby programowania i testowania, większe dla środowiska produkcyjnego
• Użycie skalowalności magazynu w celu znalezienia idealnej równowagi między wydajnością a kosztami

Lepsza ogólna wydajność

• Zapobieganie rywalizacji o zasoby między trybem DirectQuery a wzorcem importu/wyodrębniania
• Izolowanie interakcyjnych pulpitów nawigacyjnych z operacji odświeżania wsadowego
• Włącz niezależne skalowanie na podstawie wymagań związanych z obciążeniem

Opłaty krzyżowe i alokacja kosztów

• Śledzenie użycia i kosztów według jednostki biznesowej, projektu lub zespołu
• Włącz dokładne modele kosztów zwrotnych
• Zwiększanie widoczności kosztów i odpowiedzialności

Wydajniejsze administrowanie i zarządzanie

• Przypisywanie własności i obowiązków związanych z zarządzaniem przez zespół lub projekt
• Stosowanie różnych zasad automatycznego zatrzymywania na podstawie wzorców użycia
• Konfigurowanie oddzielnych kontroli dostępu i monitorowania

Zalecane konfiguracje magazynu

W przypadku obciążeń DirectQuery i LiveQuery

• Używanie bezserwerowych magazynów SQL na potrzeby automatycznego zarządzania zasobami
• Konfigurowanie agresywnego automatycznego zatrzymywania (15–30 minut) na potrzeby optymalizacji kosztów
• Ustaw rozmiar klastra na podstawie złożoności zapytań i woluminu danych (zacznij od opcji Średni, skaluj w górę w razie potrzeby)
• Ustaw minimalną i maksymalną liczbę klastrów na podstawie przewidywanego obciążenia
• Monitoruj metrykę Szczytowa Kolejka Zapytania i odpowiednio dostosuj maksymalną liczbę klastrów

W przypadku importu/wyodrębniania obciążeń

• Używanie usługi Pro lub klasycznych magazynów SQL na potrzeby przewidywalnych, zaplanowanych zadań
• Skonfiguruj dłuższy czas automatycznego zatrzymywania (1–2 godziny), jeśli wiele zadań jest uruchamianych w sekwencji
• Używanie większych rozmiarów klastrów (dużych, X-Large) w przypadku złożonych agregacji
• Rozważ stałe planowanie, aby dopasować je do okien wsadowych
• Monitoruj czas trwania zapytania i dostosuj rozmiar na podstawie wymagań SLA.

Aby uzyskać więcej informacji na temat określania rozmiaru i skalowania w hurtowni SQL, zobacz Określanie rozmiaru, skalowanie i zachowanie kolejkowania w hurtowni SQL.

Aby uzyskać krótkie informacje na temat najlepszych praktyk obsługi BI, zobacz ściągawka dotycząca obsługi BI.