Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W tym artykule przedstawiono rozwiązanie dla magazynu danych przedsiębiorstwa na platformie Azure, które:
- Łączy wszystkie dane niezależnie od skali lub formatu.
- Umożliwia wszystkim użytkownikom uzyskiwanie szczegółowych informacji z danych za pośrednictwem pulpitów nawigacyjnych analitycznych, raportów operacyjnych i zaawansowanych analiz.
Apache i Apache® Spark są zastrzeżonymi znakami towarowymi lub znakami towarowymi programu Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
- Potoki usługi Azure Synapse Analytics łączą dane ustrukturyzowane, nieustrukturyzowane i częściowo ustrukturyzowane, takie jak dzienniki, pliki i nośniki. Potoki przechowują dane w usłudze Azure Data Lake Storage.
- Pule platformy Apache Spark w usłudze Azure Synapse Analytics czyszczą i przekształcają dane usługi Data Lake Storage.
- Usługa Azure Synapse Analytics łączy przetworzone dane z istniejącymi danymi ustrukturyzowanymi, tworząc jedno ujednolicone centrum danych.
- Dedykowana pula SQL udostępnia dane dla raportów operacyjnych i pulpitów nawigacyjnych analitycznych, które uzyskują szczegółowe informacje. Usługi Azure Analysis Services obsługują raporty i pulpity nawigacyjne dla tysięcy użytkowników końcowych.
Elementy
- Azure Synapse Analytics to usługa analityczna dla magazynów danych i systemów danych big data. To narzędzie korzysta z architektury masowego przetwarzania równoległego i ma głęboką integrację z usługami platformy Azure.
- Potoki usługi Azure Synapse Analytics umożliwiają tworzenie, planowanie i organizowanie przepływów pracy, takich jak wyodrębnianie, ładowanie, przekształcanie (ELT) i wyodrębnianie, przekształcanie, ładowanie (ETL) przepływów pracy.
- Usługa Azure Blob Storage oferuje wysoce skalowalny, ekonomiczny magazyn obiektów dla dowolnego typu danych bez struktury — obrazów, wideo, audio, dokumentów i innych.
- Data Lake Storage to repozytorium magazynu, które przechowuje dużą ilość danych w natywnym, nieprzetworzonym formacie. Usługa Data Lake Storage jest oparta na usłudze Blob Storage. W związku z tym usługa Data Lake Storage oferuje skalowalność, magazyn warstwowy, wysoką dostępność i odzyskiwanie po awarii usługi Blob Storage.
- Pule platformy Spark usługi Azure Synapse Analytics udostępniają platformę przetwarzania równoległego, która obsługuje przetwarzanie w pamięci w celu zwiększenia wydajności aplikacji analitycznych big data.
- Analysis Services to aparat analizy klasy korporacyjnej, który umożliwia użytkownikom łatwe przeprowadzanie analizy danych ad hoc. Usługi Analysis Services umożliwiają zarządzanie, testowanie i dostarczanie rozwiązań biznesowych na dużą skalę.
- Usługa Power BI to zestaw narzędzi do analizy biznesowej, które zapewniają wgląd w szczegółowe informacje w całej organizacji. Usługa Power BI umożliwia łączenie się z setkami źródeł danych, upraszczanie przygotowywania danych i analizowanie ad hoc. Możesz również tworzyć piękne raporty i publikować je dla organizacji w celu korzystania z internetu i na różnych urządzeniach przenośnych.
Szczegóły scenariusza
Magazyn danych przedsiębiorstwa łączy wszystkie dane niezależnie od źródła, formatu lub skali. Magazyn danych umożliwia również uruchamianie analiz o wysokiej wydajności danych, dzięki czemu można uzyskać szczegółowe informacje za pośrednictwem analitycznych pulpitów nawigacyjnych, raportów operacyjnych i zaawansowanej analizy.
To rozwiązanie ustanawia magazyn danych, który:
- Jest jednym źródłem prawdy dla Twoich danych.
- Integruje relacyjne źródła danych z innymi zestawami danych bez struktury.
- Używa semantycznego modelowania i zaawansowanych narzędzi do wizualizacji w celu prostszej analizy danych.
Aby zintegrować dane z ujednoliconą platformą, to rozwiązanie korzysta z potoków usługi Azure Synapse Analytics. Te potoki oferują możliwości ELT i ETL. W szczególności możesz użyć potoków do przenoszenia danych w przepływach pracy opartych na danych. Potoki współpracują z różnymi formatami i strukturami danych.
Potoki przechowują dane w usłudze Data Lake Storage, która jest oparta na usłudze Blob Storage. Ta usługa magazynu może obsługiwać duże ilości danych bez struktury.
Pule platformy Spark usługi Azure Synapse Analytics stanowią kluczową część rozwiązania. Te pule czyszczą i przekształcają dane przechowywane na platformie Azure. Ich struktura przetwarzania równoległego obsługuje przetwarzanie w pamięci w celu zwiększenia szybkości i wydajności. Pule obsługują również skalowanie automatyczne, dzięki czemu mogą dodawać lub usuwać węzły zgodnie z potrzebami.
Dedykowana pula SQL udostępnia przetworzone dane na potrzeby analizy o wysokiej wydajności. Ta pula przechowuje dane w tabelach relacyjnych z magazynem kolumnowym, co znacznie zmniejsza koszt przechowywania danych. Zwiększa również wydajność zapytań, dzięki czemu można uruchamiać analizy na dużą skalę.
Potencjalne przypadki użycia
Tego rozwiązania można używać w scenariuszach, takich jak następujące, które obejmują duże ilości danych:
- Integracja urządzenia IoT
- Platformy danych klientów
- Przetwarzanie języka naturalnego
- Algorytmy uczenia maszynowego
Cennik
Aby wyświetlić oszacowanie kosztów tego rozwiązania, zobacz przykład cennika w kalkulatorze cen.
Następne kroki
- Dokumentacja usługi Azure Synapse Analytics
- Dokumentacja potoków usługi Azure Synapse Analytics
- Wprowadzenie do magazynu obiektów na platformie Azure
- Pule platformy Spark usługi Azure Synapse Analytics
- Dokumentacja usług Analysis Services
- Dokumentacja Power BI