Omówienie zamówienia wirtualnego dla usługi Microsoft Fabric Warehouse
Dotyczy:✅ Magazyn w usłudze Microsoft Fabric
Magazyn w usłudze Microsoft Fabric używa formatu tabeli usługi Delta Lake dla wszystkich danych użytkownika. Oprócz optymalizacji oferowanych przez format delta magazyn stosuje optymalizacje do magazynu, aby zapewnić szybszą wydajność zapytań w scenariuszach analitycznych przy zachowaniu zgodności z formatem Parquet. W tym artykule opisano optymalizację zapisu w kolejności wirtualnej, jej zalety i sposób kontrolowania go.
V-Order to optymalizacja czasu zapisu w formacie pliku parquet, który umożliwia szybkie odczyty w aparatach obliczeniowych usługi Microsoft Fabric, takich jak Power BI, SQL, Spark i inne.
Usługi Power BI i aparaty SQL korzystają z technologii Microsoft Verti-Scan i plików parquet uporządkowanych w wersji V w celu osiągnięcia czasu dostępu do danych przypominających pamięć. Spark i inne aparaty obliczeniowe inne niż Verti-Scan korzystają również z plików uporządkowanych w wersji V ze średnio 10% szybszym czasem odczytu, w niektórych scenariuszach do 50%.
Funkcja V-Order działa przez zastosowanie specjalnego sortowania, dystrybucji grup wierszy, kodowania słownika i kompresji w plikach Parquet. W związku z tym aparaty obliczeniowe wymagają mniejszej ilości zasobów sieciowych, dysków i procesora CPU do odczytu danych z magazynu, co zapewnia wydajność i wydajność. Jest ona w 100% zgodna z formatem parquet typu open source; wszystkie aparaty parquet mogą odczytywać go jako zwykłe pliki parquet.
Przed podjęciem decyzji o wyłączeniu zamówienia wirtualnego należy wziąć pod uwagę następujące kwestie:
- Tryb Direct Lake usługi Microsoft Fabric zależy od zamówienia wirtualnego.
- W magazynie wpływ V-Order na wydajność może się różnić w zależności od schematów tabel, woluminów danych, zapytań i wzorców pozyskiwania.
- Przed podjęciem decyzji o wyłączeniu upewnij się, jak kolejność V-Order wpływa na wydajność pozyskiwania danych i zapytań. Rozważ utworzenie kopii magazynu testowego przy użyciu kontroli źródła, wyłączenie zamówienia wirtualnego na kopii oraz wykonanie zadań pozyskiwania i wykonywania zapytań dotyczących danych w celu przetestowania implikacji wydajności.
Przed podjęciem decyzji, czy wyłączenie zamówienia V-Order jest odpowiednie dla Ciebie, należy wziąć pod uwagę wpływ V-Order na wydajność.
Przestroga
Obecnie wyłączenie zamówienia wirtualnego można wykonać tylko na poziomie magazynu i jest nieodwracalne: po wyłączeniu nie można go ponownie włączyć. Użytkownicy muszą rozważyć wydajność, jeśli zdecydują się wyłączyć zamówienie wirtualne w magazynie sieci szkieletowej.
Wyłączenie zamówienia wirtualnego może być przydatne w przypadku magazynów intensywnie korzystających z zapisu, takich jak magazyny przeznaczone do przemieszczania danych w ramach procesu pozyskiwania danych. Tabele przejściowe są często porzucane i tworzone ponownie (lub obcinane) w celu przetwarzania nowych danych. Te tabele przejściowe mogą być następnie odczytywane tylko raz lub dwa razy, co może nie uzasadniać dodania czasu pozyskiwania przez zastosowanie klasy V-Order. Wyłączenie kolejności V i skrócenie czasu pozyskiwania danych może zmniejszyć całkowity czas przetwarzania danych podczas zadań pozyskiwania. W takim przypadku należy podzielić magazyn przejściowy z głównego magazynu dostępnego dla użytkowników, aby zapytania analityczne i usługa Power BI mogły korzystać z usługi V-Order.