Korzystaj z Lakehouse Real-Time z pulpitami nawigacyjnymi AI/BI

Important

Lakehouse Real-Time (Lakehouse//RT) jest w fazie beta i jest aktywnie rozwijana. Właściwości wydajności i obsługiwany zestaw funkcji zmienią się przed ogólną dostępnością. Aby włączyć ją na swoim koncie, skontaktuj się z zespołem konta Azure Databricks.

Możesz użyć magazynu Lakehouse//RT do zasilania dashboardów AI/BI, które wymagają czasów odpowiedzi poniżej sekundy dla setek do tysięcy jednoczesnych użytkowników. Użyj Lakehouse//RT do tworzenia nowych dashboardów, które mieszczą się w obecnych ograniczeniach. Migracja istniejącego dashboardu nie jest zalecana, ponieważ istniejące dashboardy często zależą od funkcji, których Lakehouse//RT jeszcze nie obsługuje, takich jak Genie, tabele zewnętrzne czy materializacja widoków metrycznych.

Przeznaczenie

Lakehouse//RT zapewnia opóźnienie poniżej sekundy dla selektywnych zapytań, które odczytują niewielką ilość danych. Nie przyspiesza kosztownych zapytań, takich jak te, które skanują duże ilości danych lub łączą wiele dużych tabel.

Bariery Lakehouse//RT (patrz Bariery) narzucają twarde limity, zamiast działać w sposób degradacyjny, więc przygotuj swoje obciążenia robocze, zanim przeniesiesz je do magazynu Lakehouse//RT:

• Optymalizuj drogie zapytania , filtrując je wcześnie, aby skanowały mniej danych.
• Wstępnie agreguj wyniki z zmaterializowanymi widokami , gdy dashboard odczytuje znacznie mniej danych niż skanuje.

Skonfiguruj pulpit nawigacyjny w hurtowni Lakehouse//RT

Aby opublikować panel AI/BI działający na Lakehouse//RT, utworz magazyn i wybierz go jako magazyn dashboardu:

1. Utwórz hurtownię Lakehouse//RT, tak jak każdą inną hurtownię SQL. Zobacz Lakehouse w czasie rzeczywistym.
2. Przyznaj użytkownikom uprawnienie Może używać lub wyższe do magazynu. Magazyn pojawia się wtedy w panelu wyboru obliczeń do tworzenia pulpitów dla tych użytkowników.
3. W swoim panelu wybierz magazyn Lakehouse//RT jako magazyn pulpitu nawigacyjnego.
4. Publikuj panel jak zwykle.

Poręcze ochronne

Aby chronić wspólną, niskoopóźnioną usługę, Lakehouse//RT egzekwuje limity zasobów dla każdego zapytania. Zapytanie w panelu, które przekracza limit zabezpieczający, zwraca błąd zamiast działać wolno, więc zaprojektuj zapytania tak, aby pozostały wyraźnie poniżej tych limitów.

Wartości te zostały ustalone podczas testów beta i mogą się zmieniać przed ogólną dostępnością:

• Czas działania zapytania: 2 minuty. Lakehouse//RT anuluje zapytanie widżetu, które działa zbyt długo. Zapytanie zbliżające się do tego limitu nie osiągnie docelowego czasu poniżej jednej sekundy, nawet jeśli się zakończy, i istnieje większe prawdopodobieństwo osiągnięcia wspomnianych poniżej limitów tasowania lub zapisu na dysk. Potraktuj to jako sygnał do dalszego filtrowania lub wstępnego agregowania.
• Limit czasu instrukcji: domyślnie 1 minuta. Możesz skonfigurować limit czasu dla pojedynczej instrukcji do limitu czasu wykonywania zapytania wynoszącego 2 minuty.
• Bajty zapisane w ramach shuffle na etap: 300 GB. Szerokie połączenia lub agregacje na dużych tabelach mogą przekraczać ten limit. Jeśli zapytanie przekroczy tę wartość, należy wstępnie agregować za pomocą widoków zmaterializowanych zamiast łączyć duże tabele w czasie zapytania.
• Rozmiar spill: 30 GB, gdy spill jest włączony.
• Lista plików po przycięciu: 10 000 plików, z możliwością zwiększenia do 50 000. Jeśli zapytanie przekroczy ten limit, filtruj według kolumn partycji lub kolumn klastrowania płynnego, aby dashboard odczytywał tylko potrzebne pliki.

Ograniczenia

Pulpity nawigacyjne w hurtowni Lakehouse//RT dziedziczą wszystkie ograniczenia Lakehouse//RT, w tym obsługę wyłącznie tabel zarządzanych w Unity Catalog oraz wyłącznie zapytań zgodnych SELECT z ANSI. Przekonwertuj inne typy tabel, takie jak tabele zewnętrzne, na tabele zarządzane przed ich zapytaniem.

Następujące ograniczenia dotyczą pulpitów nawigacyjnych publikowanych w magazynie Lakehouse//RT:

• Genie nie jest obsługiwany.
• Materializacja lokalnych widoków metrycznych nie jest wspierana.

Uzyskaj pomoc

Jeśli nadal napotykasz problemy z dashboardem w Lakehouse//RT, zbierz następujące informacje i skontaktuj się z pomocą Azure Databricks:

• Te komunikaty o błędach, które widzisz.
• Eksport twojego profilu zapytania, zawierający także surowy tekst zapytania.
• Link do Twojego dashboardu.
• Potwierdzenie, że ten sam błąd nie występuje w bezserwerowym magazynie SQL.