Identyfikowanie usług danych
Microsoft Azure to platforma w chmurze, która obsługuje aplikacje i infrastrukturę IT dla niektórych z największych organizacji na świecie. Obejmuje ona wiele usług do obsługi rozwiązań w chmurze, w tym obciążeń danych transakcyjnych i analitycznych.
Poniżej opisano niektóre z najczęściej używanych usług w chmurze dla danych.
Uwaga
W tym temacie opisano tylko niektóre z najczęściej używanych usług danych dla nowoczesnych rozwiązań transakcyjnych i analitycznych. Dostępne są również dodatkowe usługi.
Azure SQL
Usługa Azure SQL to zbiorcza nazwa rodziny rozwiązań relacyjnych baz danych na podstawie aparatu bazy danych programu Microsoft SQL Server. Określone usługi Azure SQL obejmują:
- Azure SQL Database — w pełni zarządzana baza danych typu "platforma jako usługa" (PaaS) hostowana na platformie Azure
- Azure SQL Managed Instance — hostowane wystąpienie programu SQL Server z automatyczną konserwacją, które umożliwia bardziej elastyczną konfigurację niż usługa Azure SQL DB, ale z większą odpowiedzialnością administracyjną właściciela.
- Maszyna wirtualna Azure SQL — maszyna wirtualna z instalacją programu SQL Server, umożliwiając maksymalną możliwość konfigurowania z pełną odpowiedzialnością za zarządzanie.
Administratorzy baz danych zwykle aprowizować systemy baz danych Azure SQL Database i zarządzać nimi w celu obsługi aplikacji biznesowych ,które muszą przechowywać dane transakcyjne.
Inżynierowie danych mogą używać systemów bazy danych Azure SQL Database jako źródeł dla potoków danych, które wykonują operacje wyodrębniania, przekształcania i ładowania (ETL) w celu pozyskiwania danych transakcyjnych do systemu analitycznego.
Analitycy danych mogą wysyłać zapytania do baz danych Azure SQL Database bezpośrednio w celu tworzenia raportów, chociaż w dużych organizacjach dane są zwykle łączone z danymi z innych źródeł w magazynie danych analitycznych w celu obsługi analizy przedsiębiorstwa.
Usługa Azure Database for open source relacyjnych baz danych
Platforma Azure obejmuje usługi zarządzane dla popularnych systemów relacyjnych baz danych typu open source, w tym:
Azure Database for MySQL — prosty w użyciu system zarządzania bazami danych typu open source, który jest często używany w aplikacjach stosu Linux, Apache, MySQL i PHP (LAMP).
Azure Database for MariaDB — nowszy system zarządzania bazami danych utworzony przez oryginalnych deweloperów programu MySQL. Aparat bazy danych został od tego czasu przepisany i zoptymalizowany pod kątem poprawy wydajności. Baza danych MariaDB zapewnia zgodność z bazą danych Oracle Database (innym popularnym komercyjnym systemem zarządzania bazami danych).
Azure Database for PostgreSQL — hybrydowa relacyjna baza danych obiektów. Dane można przechowywać w tabelach relacyjnych, ale baza danych PostgreSQL umożliwia również przechowywanie niestandardowych typów danych z ich własnymi właściwościami nierelacyjnymi.
Podobnie jak w przypadku systemów bazy danych Azure SQL Database, relacyjne bazy danych typu open source są zarządzane przez administratorów baz danych do obsługi aplikacji transakcyjnych i zapewniają źródło danych dla inżynierów danych tworzących potoki dla rozwiązań analitycznych i analityków danych tworzących raporty.
Azure Cosmos DB
Azure Cosmos DB to globalny system baz danych nierelacyjny (NoSQL), który obsługuje wiele interfejsów programowania aplikacji (API), umożliwiając przechowywanie danych i zarządzanie nimi jako dokumenty JSON, pary klucz-wartość, rodziny kolumn i grafy.
W niektórych organizacjach wystąpienia usługi Cosmos DB mogą być aprowizowane i zarządzane przez administratora bazy danych; chociaż często deweloperzy oprogramowania zarządzają magazynem danych NoSQL w ramach ogólnej architektury aplikacji. Inżynierowie danych często muszą zintegrować źródła danych usługi Cosmos DB z rozwiązaniami analitycznymi przedsiębiorstwa, które obsługują modelowanie i raportowanie przez analityków danych.
Azure Storage
Azure Storage to podstawowa usługa platformy Azure, która umożliwia przechowywanie danych w:
- Kontenery obiektów blob — skalowalny, ekonomiczny magazyn dla plików binarnych.
- Udziały plików — sieciowe udziały plików, takie jak zwykle w sieciach firmowych.
- Tabele — magazyn klucz-wartość dla aplikacji, które muszą szybko odczytywać i zapisywać wartości danych.
Inżynierowie danych używają usługi Azure Storage do hostowania magazynów typu data lake — magazyn obiektów blob z hierarchiczną przestrzenią nazw, która umożliwia organizowanie plików w folderach w rozproszonym systemie plików.
Azure Data Factory
Azure Data Factory to usługa platformy Azure, która umożliwia definiowanie i planowanie potoków danych w celu transferu i przekształcania danych. Potoki można zintegrować z innymi usługami platformy Azure, umożliwiając pozyskiwanie danych z magazynów danych w chmurze, przetwarzanie danych przy użyciu obliczeń opartych na chmurze i utrwalanie wyników w innym magazynie danych.
Usługa Azure Data Factory jest używana przez inżynierów danych do tworzenia rozwiązań wyodrębniania, przekształcania i ładowania (ETL), które wypełniają analityczne magazyny danych danymi z systemów transakcyjnych w całej organizacji.
Azure Synapse Analytics
Usługa Azure Synapse Analytics to kompleksowe, ujednolicone rozwiązanie typu "platforma jako usługa" (PaaS) do analizy danych, które zapewnia jeden interfejs usługi dla wielu funkcji analitycznych, w tym:
- Potoki — oparte na tej samej technologii co usługa Azure Data Factory.
- SQL — wysoce skalowalny aparat bazy danych SQL zoptymalizowany pod kątem obciążeń magazynu danych.
- Apache Spark — rozproszony system przetwarzania danych typu open source obsługujący wiele języków programowania i interfejsów API, w tym Java, Scala, Python i SQL.
- Azure Synapse Data Explorer — rozwiązanie do analizy danych o wysokiej wydajności zoptymalizowane pod kątem wykonywania zapytań dotyczących dzienników i danych telemetrycznych w czasie rzeczywistym przy użyciu język zapytań Kusto (KQL).
Inżynierowie danych mogą używać usługi Azure Synapse Analytics do tworzenia ujednoliconego rozwiązania do analizy danych, które łączy potoki pozyskiwania danych, magazyn magazynu danych i magazyn data lake za pośrednictwem jednej usługi.
Analitycy danych mogą używać pul SQL i Spark za pośrednictwem interaktywnych notesów do eksplorowania i analizowania danych oraz korzystania z integracji z usługami, takimi jak Azure Machine Edukacja i Microsoft Power BI, aby tworzyć modele danych i wyodrębniać szczegółowe informacje z danych.
Azure Databricks
Azure Databricks to zintegrowana z platformą Azure wersja popularnej platformy Databricks, która łączy platformę przetwarzania danych Apache Spark z semantykami bazy danych SQL i zintegrowanym interfejsem zarządzania umożliwiającym analizę danych na dużą skalę.
Inżynierowie danych mogą używać istniejących umiejętności związanych z usługą Databricks i platformą Spark do tworzenia magazynów danych analitycznych w usłudze Azure Databricks.
analitycy danych s mogą używać natywnej obsługi notesów w usłudze Azure Databricks do wykonywania zapytań i wizualizowania danych w łatwym w użyciu interfejsie internetowym.
Azure HDInsight
Azure HDInsight to usługa platformy Azure, która udostępnia klastry hostowane na platformie Azure dla popularnych technologii przetwarzania danych big data typu open source apache, w tym:
- Apache Spark — rozproszony system przetwarzania danych, który obsługuje wiele języków programowania i interfejsów API, w tym Java, Scala, Python i SQL.
- Apache Hadoop — rozproszony system, który używa zadań MapReduce do wydajnego przetwarzania dużych ilości danych w wielu węzłach klastra. Zadania MapReduce można pisać w języku Java lub abstrakować za pomocą interfejsów, takich jak Apache Hive — interfejs API oparty na języku SQL, który działa na platformie Hadoop.
- Apache HBase — system open source do przechowywania danych NoSQL na dużą skalę i wykonywania zapytań.
- Apache Kafka — broker komunikatów do przetwarzania strumienia danych.
Inżynierowie danych mogą używać usługi Azure HDInsight do obsługi obciążeń analizy danych big data, które zależą od wielu technologii open source.
Azure Stream Analytics
Azure Stream Analytics to aparat przetwarzania strumieniowego w czasie rzeczywistym, który przechwytuje strumień danych z danych wejściowych, stosuje zapytanie w celu wyodrębniania i manipulowania danymi ze strumienia wejściowego oraz zapisywania wyników w danych wyjściowych na potrzeby analizy lub dalszego przetwarzania.
Inżynierowie danych mogą włączyć usługę Azure Stream Analytics do architektur analizy danych, które przechwytują dane przesyłane strumieniowo do magazynu danych analitycznych lub wizualizacji w czasie rzeczywistym.
Azure Data Explorer
Azure Data Explorer to autonomiczna usługa, która oferuje takie samo wydajne wykonywanie zapytań dotyczących dzienników i danych telemetrycznych, jak środowisko uruchomieniowe usługi Azure Synapse Data Explorer w usłudze Azure Synapse Analytics.
Analitycy danych mogą używać usługi Azure Data Explorer do wykonywania zapytań i analizowania danych, które zawierają atrybut znacznika czasu, takiego jak zwykle w plikach dziennika i danych telemetrycznych Internetu rzeczy (IoT).
Microsoft Purview
Usługa Microsoft Purview zapewnia rozwiązanie do zapewniania ładu i odnajdywania danych w całym przedsiębiorstwie. Za pomocą usługi Microsoft Purview można utworzyć mapę danych i śledzić pochodzenie danych w wielu źródłach danych i systemach, umożliwiając znajdowanie wiarygodnych danych na potrzeby analizy i raportowania.
Inżynierowie danych mogą użyć usługi Microsoft Purview, aby wymusić nadzór nad danymi w całym przedsiębiorstwie i zapewnić integralność danych używanych do obsługi obciążeń analitycznych.
Microsoft Fabric
Microsoft Fabric to ujednolicona platforma analizy oprogramowania jako usługi (SaaS) oparta na otwartym i zarządzanym środowisku lakehouse, która obejmuje funkcje do obsługi:
- Pozyskiwanie danych i ETL
- Analiza usługi Data lakehouse
- Analiza magazynu danych
- Nauka o danych i uczenie maszynowe
- Analiza w czasie rzeczywistym
- Wizualizacja danych
- Zarządzanie danymi i zarządzanie nimi