Wprowadzenie do projektowania architektury analizy

Wraz z wykładniczym wzrostem ilości danych, organizacje korzystają z nieograniczonej mocy obliczeniowej, przechowywania i analitycznej platformy Azure do skalowania, przesyłania strumieniowego, przewidywania i wizualizacji danych. Rozwiązania analityczne przekształcają ilości danych w przydatną analizę biznesową(BI), taką jak raporty i wizualizacje, oraz pomysłową sztuczną inteligencję (AI), takie jak prognozy oparte na uczeniu maszynowym.

Niezależnie od tego, czy twoja organizacja dopiero zaczyna oceniać narzędzia analityczne oparte na chmurze, czy chce rozszerzyć bieżącą implementację, Azure oferuje wiele opcji. Przepływ pracy rozpoczyna się od zapoznania się z typowymi podejściami i dopasowywaniem procesów i ról wokół myślenia w chmurze.

Dane mogą być przetwarzane w partiach lub w czasie rzeczywistym, lokalnie lub w chmurze, ale celem każdego rozwiązania analitycznego jest wykorzystanie danych na dużą skalę. Coraz częściej organizacje chcą utworzyć jedno źródło prawdy dla wszystkich danych relacyjnych i nierelacyjnych generowanych przez ludzi, maszyny i Internet rzeczy (IoT). Często używa się architektury danych big data lub architektury IoT do przekształcania danych pierwotnych w postaci ustrukturyzowanej, a następnie przenoszenia ich do magazynu danych analitycznych. Ten magazyn staje się jedynym źródłem prawdy, które może napędzać wiele wnikliwych rozwiązań analitycznych.

Architecture

Diagram przedstawiający ścieżkę rozwiązania analitycznego w Azure. Podróż rozpoczyna się od gotowości do nauki i przygotowania organizacyjnego, a następnie przechodzi do wybierania rozwiązań pamięci masowej oraz technologii Azure BI (Business Intelligence) lub AI (Sztucznej Inteligencji) na podstawie wymagań dotyczących obciążeń.

Pobierz plik Visio tej architektury.

Na powyższym diagramie przedstawiono typową implementację analizy podstawowej/bazowej. Zapoznaj się z architectures podanymi w tej sekcji, aby znaleźć rzeczywiste rozwiązania, które można tworzyć w Azure.

Eksplorowanie architektur i przewodników analitycznych

Artykuły w tej sekcji zawierają w pełni opracowane architektury, które można wdrażać w Azure i rozszerzać do rozwiązań i przewodników klasy produkcyjnej. Mogą one pomóc w podejmowaniu ważnych decyzji dotyczących używania technologii analitycznych w Azure. Pomysły na rozwiązania przedstawiają wzorce implementacji i możliwości, które należy wziąć pod uwagę podczas planowania opracowywania analiz weryfikacji koncepcji.

Przewodniki dotyczące architektury analizy

Opcje technologii — te artykuły ułatwiają ocenę i wybór najlepszych technologii analitycznych dla wymagań dotyczących obciążenia:

• Analytics and reporting — porównanie opcji analizy danych i wizualizacji w Azure.
• Przetwarzanie wsadowe — ocena technologii przetwarzania wsadowego dla obciążeń dużych zbiorów danych.
• Przetwarzanie strumienia — porównanie technologii przetwarzania strumieniowego na potrzeby analizy w czasie rzeczywistym.
• Wybieranie magazynu danych analitycznych — wskazówki dotyczące wybierania odpowiedniego magazynu danych analitycznych.
• Uzyj magazyn danych analitycznych w Microsoft Fabric — wskazówki dotyczące wybierania magazynów danych w Microsoft Fabric.

Disaster recovery for Azure data platform — te artykuły zawierają kompleksowe wskazówki dotyczące wdrażania strategii odzyskiwania po awarii:

• Overview — omówienie strategii odzyskiwania po awarii dla platform danych Azure.
• Architecture — wzorce architektury odzyskiwania po awarii na platformach danych Azure.
• Szczegóły scenariusza — szczegółowe scenariusze implementowania odzyskiwania po awarii.
• Zalecenia — zalecenia dotyczące najlepszych rozwiązań dotyczących odzyskiwania po awarii.

Architektury analizy

Te architektury gotowe do produkcji przedstawiają kompleksowe rozwiązania analityczne, które można wdrażać i dostosowywać:

• Kompleksowa analiza end-to-end z Microsoft Fabric — tworzenie nowoczesnej platformy analitycznej przy użyciu zintegrowanych funkcji Microsoft Fabric.
• Magazynowanie i analiza danych — integrowanie dużych ilości danych z wielu źródeł w ujednoliconą platformę analizy.
• Użyj Microsoft Fabric do projektowania rozwiązania do analizy biznesowej przedsiębiorstwa — projektowanie rozwiązania do analizy biznesowej przedsiębiorstwa przy użyciu Microsoft Fabric.
• Przetwarzanie danych lakehouse niemal w czasie rzeczywistym — użyj Azure Synapse Analytics i Azure Data Lake Storage na potrzeby przetwarzania typu data lakehouse niemal w czasie rzeczywistym.
• Synchronizacja danych MongoDB Atlas z Azure Synapse Analytics w czasie rzeczywistym — synchronizowanie danych MongoDB Atlas do Azure Synapse Analytics w czasie rzeczywistym.
• Stream processing with Azure Databricks - Create an end-to-end stream processing pipeline using Azure Databricks (Tworzenie kompleksowego potoku przetwarzania strumieniowego przy użyciu Azure Databricks).
• Przetwarzanie strumieni z Azure Stream Analytics — zbuduj potok przetwarzania strumieniowego, który pozyskuje dane, koreluje rekordy i oblicza średnie kroczące.
• Nowoczesny magazyn danych dla małych i średnich firm — tworzenie nowoczesnego rozwiązania magazynu danych przeznaczonego dla małych i średnich firm.

Pomysły dotyczące rozwiązań analitycznych

Te pomysły dotyczące rozwiązań przedstawiają wzorce implementacji i możliwości, które można zbadać:

• Pozyskiwanie danych, ETL i przetwarzanie strumieniowe w potokach za pomocą Azure Databricks — tworzenie potoków ETL dla danych wsadowych i strumieniowych w celu uproszczenia procesu pozyskiwania danych w jeziorze danych.
• Nowoczesna architektura analizy z Azure Databricks to zbieranie, przetwarzanie, analizowanie i wizualizowanie danych przy użyciu nowoczesnej architektury danych.
• Nowoczesna platforma danych dla małych i średnich firm — budowa nowoczesnej architektury platformy danych dla małych i średnich firm przy użyciu Microsoft Fabric i Azure Databricks.
• Analiza czasu rzeczywistego za pomocą Azure Data Explorer — analizowanie danych w czasie rzeczywistym przy użyciu Azure Data Explorer i Azure Service Bus.

Dowiedz się więcej o analizie Azure

Microsoft Learn udostępnia bezpłatne zasoby szkoleniowe online dla technologii analizy Azure. Platforma oferuje filmy wideo, samouczki i praktyczne laboratoria dla określonych produktów i usług wraz ze ścieżkami szkoleniowymi zorganizowanymi według roli zadania.

Następujące zasoby zapewniają podstawową wiedzę na temat implementacji analiz w Azure:

• Przeglądaj tematy dotyczące danych Azure
• Wprowadzenie do podstawowych pojęć dotyczących danych w Microsoft Azure
• Rozpocznij pracę z Microsoft Fabric

Ścieżki szkoleniowe według roli

• Analityk danych: Rozpocznij pracę z analizą danych Microsoft
• inżynier danych: Implementuj rozwiązanie analizy danych z Azure Databricks
• Data scientist: Twórz rozwiązania uczenia maszynowego z wykorzystaniem Azure Databricks

Gotowość organizacji

Organizacje rozpoczynające wdrażanie chmury mogą korzystać z Cloud Adoption Framework aby uzyskać sprawdzone wskazówki mające na celu przyspieszenie wdrażania chmury. Aby uzyskać wskazówki dotyczące analizy w skali chmury, zobacz Analiza w skali chmury.

Aby zapewnić jakość rozwiązania analitycznego na Azure, zalecamy wykonanie Azure Well-Architected Framework. Zawiera on normatywne wskazówki dla organizacji poszukujących doskonałości architektury i omawia sposób projektowania, aprowizacji i monitorowania zoptymalizowanych pod kątem kosztów rozwiązań Azure.

Aby uzyskać wskazówki dotyczące obciążenia danych dostosowane do filarów platformy Well-Architected Framework, zobacz Azure Well-Architected Framework dla obciążeń danych.

Ścieżka do środowiska produkcyjnego

Wybór magazynu danych jest podstawową decyzją podczas wdrażania analityki na platformie Azure. Po wybraniu podejścia do magazynowania możesz określić odpowiednią technologię analizy danych dla danego scenariusza.

Kluczowe kwestie decyzyjne obejmują:

• Magazyn danych: wybierz między jeziorami danych, magazynami danych lub lakehouse, na podstawie struktury danych i wzorców zapytań. Aby uzyskać wskazówki dotyczące wybierania i projektowania rozwiązań baz danych obsługujących obciążenia analityczne, zobacz Projektowanie architektury baz danych.

• Model przetwarzania: określ, czy przetwarzanie wsadowe, przetwarzanie strumieniowe lub kombinacja najlepiej odpowiada wymaganiom obciążenia.

• Narzędzia do analizy: wybierz technologie analizy biznesowej i sztucznej inteligencji, które są zgodne z umiejętnościami i potrzebami biznesowymi twojego zespołu.

Aby wyświetlić różne style architektury dla rozwiązań analitycznych, zobacz architektury.

Najlepsze rozwiązania

Analiza wysokiej jakości zaczyna się od niezawodnych, godnych zaufania danych. Na najwyższym poziomie praktyki bezpieczeństwa informacji pomagają zapewnić ochronę danych w trakcie przesyłania i przechowywania. Dostęp do tych danych musi być również zaufany. Wiarygodne dane oznaczają projekt, który implementuje:

• Zasady ładu — definiowanie jasnych własności danych, klasyfikacji i zasad dostępu.

• Zarządzanie tożsamościami i dostępem — implementowanie opartej na rolach zasad kontroli dostępu i najniższych uprawnień.

• Mechanizmy zabezpieczeń sieci — ochrona przepływów danych między usługami i zapobieganie nieautoryzowanemu dostępowi.

• Ochrona danych — szyfrowanie danych magazynowanych i przesyłanych.

Na poziomie platformy, następujące najlepsze praktyki dotyczące big data przyczyniają się do wiarygodnej analizy na platformie Azure:

• Orkiestracja pozyskiwania danych — użyj rozwiązania przepływu danych lub potoku, takiego jak te obsługiwane przez potoki Azure Data Factory lub Microsoft Fabric.

• Przetwarzanie danych w miejscu — użyj rozproszonego magazynu danych, podejścia big data, które obsługuje większe ilości danych i szerszy zakres formatów.

• Wczesne czyszczenie poufnych danych — usuń lub zamaskuj poufne dane w ramach przepływu pracy związanego z pozyskiwaniem danych, aby uniknąć przechowywania ich w jeziorze danych.

• Rozważ całkowity koszt — zrównoważ koszt pojedyńczego węzła obliczeniowego potrzebnego do wykonania zadania z kosztem korzystania z tych węzłów na minutę.

• Tworzenie ujednoliconego magazynu typu data lake — łączenie magazynu dla plików w wielu formatach, zarówno ustrukturyzowanych, częściowo ustrukturyzowanych, jak i bez struktury. Użyj Azure Data Lake Storage Gen2 jako pojedynczego źródła prawdy. Zobacz na przykład architekturę rozwiązania analizy biznesowej w centrum doskonałości.

Bądź na bieżąco z analizą

Azure usługi analityczne ewoluują, aby sprostać nowoczesnym wyzwaniom związanym z danymi. Bądź na bieżąco z najnowszymi aktualizacjami i zaplanowanymi funkcjami:

Pobierz najnowsze aktualizacje dotyczące Azure produktów i funkcji.

Bądź na bieżąco z tymi kluczowymi usługami analitycznymi:

• Co nowego w Microsoft Fabric
• Azure Databricks informacje o wersji
• Co nowego w Azure Data Explorer
• Co nowego w Power BI

Dodatkowe zasoby

Analiza jest szeroką kategorią i obejmuje szereg rozwiązań. Poniższe zasoby mogą pomóc w odnalezieniu więcej informacji na temat Azure.

Hybryda

Zdecydowana większość organizacji wymaga hybrydowego podejścia do analizy, ponieważ ich dane są hostowane zarówno lokalnie, jak i w chmurze. Organizacje często rozszerzają lokalne rozwiązania danych do chmury. Aby połączyć środowiska, organizacje muszą wybrać architekturę sieci hybrydowej.

Kluczowe scenariusze analizy hybrydowej:

• Modernizacja komputera Mainframe: Modernizacja danych mainframe i średniej klasy — integrowanie starszych źródeł danych z nowoczesnymi platformami analitycznymi.
• Integracja lokalna: Ujednolicone operacje hybrydowe i wielochmurowe — łączenie lokalnych baz danych z analizą w chmurze.
• Analiza brzegowa: przetwarzanie danych na urządzeniach brzegowych i agregowanie szczegółowych informacji w chmurze.

Analiza w czasie rzeczywistym

Analiza w czasie rzeczywistym umożliwia organizacjom działanie na danych w miarę ich nadejścia. Oto kilka zasobów, które ułatwiają rozpoczęcie pracy z analizą w czasie rzeczywistym na Azure:

• Analiza danych big data w czasie rzeczywistym — przetwarzanie i analizowanie danych przesyłanych strumieniowo na dużą skalę.
• AnalizaIoT za pomocą Azure Data Explorer — analizowanie danych telemetrycznych IoT w czasie rzeczywistym.
• Stream processing with Azure Stream Analytics — Tworzenie rozwiązań do przesyłania strumieniowego bezserwerowego.
• Tworzenie nowoczesnej architektury analizy przy użyciu Azure Databricks — analiza klasy korporacyjnej przy użyciu platformy Apache Spark.

Przeglądaj więcej przykładów analizy w centrum architektury Azure

Specjaliści ds. usług AWS lub Google Cloud

Te poniższe artykuły mogą pomóc w szybkim wdrożeniu się, porównując możliwości analizy danych w Azure z usługami analitycznymi w chmurze.

• Analiza i big data w technologie baz danych w Azure i AWS

• Big data i analityka w porównaniu usług Google Cloud do Azure