Doskonałość operacyjna dla magazynu data lakehouse
Zasady architektury filaru doskonałości operacyjnej obejmują wszystkie procesy operacyjne, które utrzymują działanie jeziora. Doskonałość operacyjna odnosi się do zdolności wydajnego działania lakehouse i omawia sposób działania, zarządzania i monitorowania lakehouse w celu zapewnienia wartości biznesowej.
Zasady doskonałości operacyjnej
Optymalizowanie procesów kompilacji i wydawania
Korzystaj z najlepszych rozwiązań w zakresie inżynierii oprogramowania w całym środowisku lakehouse. Kompilowanie i wydawanie przy użyciu potoków ciągłej integracji i ciągłego dostarczania dla metodyki DevOps i MLOps.
Automatyzowanie wdrożeń i obciążeń
Automatyzacja wdrożeń i obciążeń dla usługi Lakehouse pomaga w standaryzacji tych procesów, eliminowaniu błędów ludzkich, zwiększaniu produktywności i zapewnianiu większej powtarzalności. Obejmuje to użycie "konfiguracji jako kodu", aby uniknąć dryfu konfiguracji i "infrastruktury jako kodu", aby zautomatyzować aprowizację wszystkich wymaganych usług lakehouse i w chmurze.
W szczególności w przypadku uczenia maszynowego procesy powinny napędzać automatyzację: nie każdy krok procesu może lub powinien być zautomatyzowany. Osoby nadal określać pytania biznesowe, a niektóre modele zawsze będą potrzebować nadzoru człowieka przed wdrożeniem. W związku z tym proces programowania jest podstawowy, a każdy moduł w procesie powinien być zautomatyzowany zgodnie z potrzebami. Umożliwia to przyrostowe tworzenie automatyzacji i dostosowywania.
Konfigurowanie monitorowania, alertów i rejestrowania
Obciążenia w usłudze Lakehouse zwykle integrują usługi platformy Databricks i zewnętrzne usługi w chmurze, na przykład jako źródła danych lub cele. Pomyślne wykonanie może wystąpić tylko wtedy, gdy każda usługa w łańcuchu wykonywania działa prawidłowo. Jeśli tak nie jest, monitorowanie, alerty i rejestrowanie są ważne w celu wykrywania i śledzenia problemów oraz zrozumienia zachowania systemu.
Zarządzanie pojemnością i limitami przydziału
W przypadku każdej usługi uruchamianej w chmurze należy wziąć pod uwagę limity, na przykład limity szybkości dostępu, liczbę wystąpień, liczbę użytkowników i wymagania dotyczące pamięci. Przed zaprojektowaniem rozwiązania należy zrozumieć te limity.
Dalej: Najlepsze rozwiązania dotyczące doskonałości operacyjnej
Zobacz Najlepsze rozwiązania dotyczące doskonałości operacyjnej.