Wybieranie technologii magazynu danych big data na platformie Azure

  • Artykuł

Uwaga

29 lutego 2024 r. usługa Azure Data Lake Storage Gen1 zostanie wycofana. Więcej informacji znajdziesz w oficjalnym ogłoszeniu. Jeśli używasz usługi Azure Data Lake Storage Gen1, pamiętaj o migracji do usługi Azure Data Lake Storage Gen2 przed tą datą. Aby dowiedzieć się, jak to zrobić, zobacz Migrowanie usługi Azure Data Lake Storage z 1. generacji do 2. generacji przy użyciu witryny Azure Portal.

Jeśli nie masz już konta usługi Azure Data Lake Storage Gen1, nie możesz utworzyć nowych.

W tym temacie porównano opcje przechowywania danych dla rozwiązań do obsługi danych big data — w szczególności magazynu danych na potrzeby zbiorczego pozyskiwania danych i przetwarzania wsadowego, w przeciwieństwie do analitycznych magazynów danych lub pozyskiwania przesyłania strumieniowego w czasie rzeczywistym.

Jakie są opcje wyboru magazynu danych na platformie Azure?

Istnieje kilka opcji pozyskiwania danych na platformie Azure, w zależności od potrzeb.

Magazyn plików:

Bazy danych NoSQL:

Analityczne bazy danych:

Azure Data Explorer

Obiekty blob usługi Azure Storage

Azure Storage to zarządzana usługa magazynu, która jest wysoce dostępna, bezpieczna, trwała, skalowalna i nadmiarowa. Firma Microsoft zajmuje się konserwacją oraz rozwiązywaniem krytycznych problemów. Usługa Azure Storage jest najbardziej wszechobecnym rozwiązaniem magazynu zapewnianym przez platformę Azure ze względu na liczbę usług i narzędzi, które mogą być z nią używane.

Istnieją różne usługi Azure Storage, których można użyć do przechowywania danych. Najbardziej elastyczną opcją przechowywania obiektów blob z wielu źródeł danych jest usługa Blob Storage. Obiekty blob są zasadniczo plikami. Przechowują obrazy, dokumenty, pliki HTML, wirtualne dyski twarde (VHD), dane big data, takie jak dzienniki, kopie zapasowe bazy danych — prawie wszystko. Obiekty blob są przechowywane w kontenerach, które są podobne do folderów. Kontener udostępnia grupowanie zestawu obiektów blob. Konto magazynu może zawierać nieograniczoną liczbę kontenerów, a każdy kontener może zawierać nieograniczoną liczbę obiektów blob.

Usługa Azure Storage jest dobrym wyborem dla rozwiązań do analizy i danych big data ze względu na jego elastyczność, wysoką dostępność i niski koszt. Zapewnia warstwy magazynowania Gorąca, Chłodna i Archiwum dla różnych przypadków użycia. Aby uzyskać więcej informacji, zobacz Azure Blob Storage: Warstwy magazynowania Gorąca, Chłodna i Archiwum.

Dostęp do usługi Azure Blob Storage można uzyskać z usługi Hadoop (dostępnej za pośrednictwem usługi HDInsight). Usługa HDInsight może używać kontenera obiektów blob w usłudze Azure Storage jako domyślnego systemu plików dla klastra. Za pośrednictwem interfejsu rozproszonego systemu plików Hadoop (HDFS) udostępnianego przez sterownik WASB pełny zestaw składników w usłudze HDInsight może działać bezpośrednio na danych ze strukturą lub bez struktury przechowywanych jako obiekty blob. Dostęp do usługi Azure Blob Storage można również uzyskać za pośrednictwem usługi Azure Synapse Analytics przy użyciu jej funkcji PolyBase.

Inne funkcje, które sprawiają, że usługa Azure Storage jest dobrym wyborem, to:

Usługa Azure Data Lake Storage 1. generacji

Usługa Azure Data Lake Storage Gen1 to repozytorium hiperskala dla całego przedsiębiorstwa dla obciążeń analitycznych danych big data. Usługa Data Lake umożliwia przechwytywanie danych o dowolnym rozmiarze, typie i szybkości pozyskiwania w jednej bezpiecznej lokalizacji na potrzeby analizy operacyjnej i eksploracyjnej.

Usługa Azure Data Lake Storage Gen1 nie nakłada żadnych ograniczeń dotyczących rozmiarów kont, rozmiarów plików ani ilości danych, które mogą być przechowywane w usłudze Data Lake. Dane są przechowywane trwale przez tworzenie wielu kopii i nie ma żadnego limitu czasu przechowywania danych w usłudze Data Lake. Oprócz tworzenia wielu kopii plików w celu ochrony przed nieoczekiwanymi awariami usługa Data Lake rozkłada części pliku na wiele pojedynczych serwerów magazynu. Zwiększa to przepływność odczytu podczas odczytywania pliku równolegle w celu wykonywania analizy danych.

Dostęp do usługi Azure Data Lake Storage Gen1 można uzyskać z usługi Hadoop (dostępnej za pośrednictwem usługi HDInsight) przy użyciu interfejsów API REST zgodnych z systemem Plików WebHDFS. Możesz rozważyć użycie tej funkcji jako alternatywy dla usługi Azure Storage, jeśli rozmiary poszczególnych lub połączonych plików przekraczają ten, który jest obsługiwany przez usługę Azure Storage. Istnieją jednak wytyczne dotyczące dostrajania wydajności, które należy stosować podczas korzystania z usługi Azure Data Lake Storage Gen1 jako magazynu podstawowego dla klastra usługi HDInsight, z określonymi wytycznymi dotyczącymi platform Spark, Hive i MapReduce. Należy również sprawdzić dostępność regionalną usługi Azure Data Lake Storage Gen1, ponieważ nie jest ona dostępna w tylu regionach, co usługa Azure Storage, i musi znajdować się w tym samym regionie co klaster usługi HDInsight.

W połączeniu z usługą Azure Data Lake Analytics usługa Azure Data Lake Storage Gen1 została zaprojektowana w celu umożliwienia analizy przechowywanych danych i jest dostrojona pod kątem wydajności scenariuszy analizy danych. Dostęp do usługi Azure Data Lake Storage Gen1 można również uzyskać za pośrednictwem usługi Azure Synapse przy użyciu funkcji PolyBase.

Azure Cosmos DB

Azure Cosmos DB to globalnie rozproszona wielomodelowa baza danych firmy Microsoft. Usługa Azure Cosmos DB gwarantuje opóźnienia jednocyfrowe w milisekundach w 99. percentylu w dowolnym miejscu na świecie, oferuje wiele dobrze zdefiniowanych modeli spójności w celu dostosowania wydajności i gwarantuje wysoką dostępność dzięki funkcjom wielosiełkowym.

Usługa Azure Cosmos DB jest niezależna od schematu. Automatycznie indeksuje wszystkie dane bez konieczności zajmowania się zarządzaniem schematem i indeksem. Jest to również model wielomodelowy, natywnie obsługujący modele danych dokumentów, klucz-wartość, graf i modele danych rodziny kolumn.

Funkcje usługi Azure Cosmos DB:

Usługa HBase w usłudze HDInsight

Apache HBase to baza danych NoSQL typu open source oparta na platformie Hadoop i modelowana po google BigTable. Baza HBase zapewnia dostęp losowy i silną spójność dla dużych ilości danych bez struktury i częściowo ustrukturyzowanych w bez schematowej bazie danych zorganizowanej według rodzin kolumn.

Dane są przechowywane w wierszach tabeli, a dane w obrębie wiersza są zgrupowane według rodziny kolumn. Baza HBase jest bez schematu w tym sensie, że ani kolumny, ani typ przechowywanych w nich danych nie muszą być zdefiniowane przed ich użyciem. Kod typu open source zapewnia skalowanie liniowe, umożliwiając obsługę petabajtów danych na tysiącach węzłów. Baza może wykorzystywać nadmiarowość danych, przetwarzanie wsadowe i inne funkcje, które są dostarczane przez aplikacje rozproszone w ekosystemie Hadoop.

Implementacja usługi HDInsight wykorzystuje architekturę HBase skalowaną w poziomie w celu zapewnienia automatycznego fragmentowania tabel, silnej spójności operacji odczytu i zapisu oraz automatycznego trybu failover. Wydajność jest zwiększona dzięki buforowaniu w pamięci operacji odczytu i przesyłaniu strumieniowemu o wysokiej przepustowości obejmującemu operacje zapisu. W większości przypadków należy utworzyć klaster HBase wewnątrz sieci wirtualnej, aby inne klastry i aplikacje usługi HDInsight mogły uzyskiwać bezpośredni dostęp do tabel.

Azure Data Explorer

Azure Data Explorer to szybka i wysoce skalowalna usługa eksploracji danych na potrzeby danych dzienników i danych telemetrycznych. Ułatwia ona obsługę wielu strumieni danych emitowanych przez nowoczesne oprogramowanie, dzięki czemu można zbierać, przechowywać i analizować dane. Usługa Azure Data Explorer to idealne rozwiązanie do analizowania dużych ilości zróżnicowanych danych z dowolnego źródła danych, takiego jak witryny internetowe, aplikacje, urządzenia IoT i inne. Te dane są używane na potrzeby diagnostyki, monitorowania, raportowania, uczenia maszynowego i dodatkowych możliwości analizy. Usługa Azure Data Explorer ułatwia pozyskiwanie tych danych i umożliwia wykonywanie złożonych zapytań ad hoc dotyczących danych w sekundach.

Narzędzie Azure Data Explorer można skalować liniowo w poziomie w celu zwiększenia przepływności pozyskiwania i przetwarzania zapytań. Klaster usługi Azure Data Explorer można wdrożyć w sieci wirtualnej w celu włączenia sieci prywatnych.

Kluczowe kryteria wyboru

Aby zawęzić opcje, zacznij od udzielenia odpowiedzi na następujące pytania:

  • Czy potrzebujesz zarządzanego, szybkiego, opartego na chmurze magazynu dla dowolnego typu danych tekstowych lub binarnych? Jeśli tak, wybierz jedną z opcji magazynu plików lub analizy.

  • Czy potrzebujesz magazynu plików zoptymalizowanego pod kątem obciążeń analizy równoległej i wysokiej przepływności/liczby operacji we/wy na sekundę? Jeśli tak, wybierz opcję dostosowaną do wydajności obciążeń analitycznych.

  • Czy musisz przechowywać dane bez struktury lub częściowo ustrukturyzowane w bazie danych bez schematu? Jeśli tak, wybierz jedną z opcji nierelacyjnych lub analitycznych. Porównanie opcji indeksowania i modeli baz danych. W zależności od typu danych, które należy przechowywać, podstawowe modele baz danych mogą być największym czynnikiem.

  • Czy możesz używać usługi w twoim regionie? Sprawdź dostępność regionalną dla każdej usługi platformy Azure. Zobacz Dostępność produktów według regionów.

Macierz możliwości

W poniższych tabelach podsumowano kluczowe różnice w możliwościach.

Możliwości magazynu plików

Możliwość Usługa Azure Data Lake Storage 1. generacji Kontenery usługi Azure Blob Storage
Purpose Zoptymalizowany magazyn dla obciążeń analizy danych big data Magazyn obiektów ogólnego przeznaczenia dla szerokiej gamy scenariuszy magazynowania
Przypadki użycia Usługa Batch, analiza przesyłania strumieniowego i dane uczenia maszynowego, takie jak pliki dziennika, dane IoT, strumienie kliknięć, duże zestawy danych Dowolny typ danych tekstowych lub binarnych, takich jak zaplecze aplikacji, dane kopii zapasowej, magazyn multimediów do przesyłania strumieniowego i dane ogólnego przeznaczenia
Struktura Hierarchiczny system plików Magazyn obiektów z płaską przestrzenią nazw
Uwierzytelnianie Oparte na tożsamościach firmy Microsoft Na podstawie udostępnionych wpisów tajnych klucze dostępu konta i klucze sygnatury dostępu współdzielonego oraz kontrola dostępu oparta na rolach (RBAC) platformy Azure
Protokół uwierzytelniania OAuth 2.0. Wywołania muszą zawierać prawidłowy token internetowy JWT (JSON) wystawiony przez identyfikator Entra firmy Microsoft Kod uwierzytelniania komunikatów oparty na skrótach (HMAC). Wywołania muszą zawierać skrót SHA-256 zakodowany w formacie Base64 w ramach żądania HTTP.
Autoryzacja Listy kontroli dostępu (ACL) poSIX. Listy ACL oparte na tożsamościach firmy Microsoft można ustawić na poziomie plików i folderów. W przypadku autoryzacji na poziomie konta użyj kluczy dostępu do konta. W przypadku konta, kontenera lub autoryzacji obiektu blob użyj kluczy sygnatury dostępu współdzielonego.
Inspekcja Dostępne. Dostępny
Szyfrowanie w spoczynku Przezroczysta, po stronie serwera Przezroczysta, po stronie serwera; Szyfrowanie po stronie klienta
Zestawy SDK dla deweloperów .NET, Java, Python, Node.js .NET, Java, Python, Node.js, C++, Ruby
Wydajność obciążenia analitycznego Zoptymalizowana wydajność pod kątem obciążeń analizy równoległej, wysokiej przepływności i liczby operacji we/wy na sekundę Nie zoptymalizowane pod kątem obciążeń analitycznych
Limity rozmiarów Brak ograniczeń dotyczących rozmiarów kont, rozmiarów plików ani liczby plików Określone limity udokumentowane tutaj
Nadmiarowość geograficzna Lokalnie nadmiarowy (LRS), globalnie nadmiarowy (GRS), dostęp do odczytu globalnie nadmiarowy (RA-GRS), strefowo nadmiarowy (ZRS). Lokalnie nadmiarowy (LRS), globalnie nadmiarowy (GRS), dostęp do odczytu globalnie nadmiarowy (RA-GRS), strefowo nadmiarowy (ZRS). Więcej informacji można znaleźć tutaj

Możliwości bazy danych NoSQL

Możliwość Azure Cosmos DB Usługa HBase w usłudze HDInsight
Podstawowy model bazy danych Magazyn dokumentów, graf, magazyn klucz-wartość, szeroki magazyn kolumn Szeroki magazyn kolumn
Indeksy pomocnicze Tak Nie.
Obsługa języka SQL Tak Tak (przy użyciu sterownika Phoenix JDBC)
Spójność Silna, powiązana nieaktualność, sesja, spójny prefiks, ostateczna Silna
Natywna integracja usługi Azure Functions Tak Nie.
Automatyczna dystrybucja globalna Tak Niemożna skonfigurować replikacji klastra HBase w różnych regionach ze spójnością ostateczną
Model cen Elastycznie skalowalne jednostki żądań (RU) naliczane na sekundę zgodnie z potrzebami, elastycznie skalowalny magazyn Ceny za minutę dla klastra usługi HDInsight (skalowanie w poziomie węzłów), magazynu

Możliwości analitycznej bazy danych

Możliwość Azure Data Explorer
Podstawowy model bazy danych Relacyjny (magazyn kolumn), telemetria i magazyn szeregów czasowych
Obsługa języka SQL Tak
Model cen Elastycznie skalowalne wystąpienia klastra
Uwierzytelnianie Oparte na tożsamościach firmy Microsoft
Szyfrowanie w spoczynku Obsługiwane klucze zarządzane przez klienta
Wydajność obciążenia analitycznego Zoptymalizowana wydajność obciążeń analizy równoległej
Limity rozmiarów Skalowalne liniowo

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Następne kroki