Porównanie opcji magazynu do użycia z klastrami usługi Azure HDInsight
Podczas tworzenia klastrów usługi HDInsight można wybrać między kilkoma różnymi usługami Azure Storage:
- Usługa Azure Blob Storage z usługą HDInsight
- Usługa Azure Data Lake Storage Gen2 z usługą HDInsight
- Usługa Azure Data Lake Storage Gen1 z usługą HDInsight
Ten artykuł zawiera omówienie tych typów magazynu i ich unikatowych funkcji.
Typy i funkcje magazynu
Poniższa tabela zawiera podsumowanie usług Azure Storage obsługiwanych w różnych wersjach usługi HDInsight:
| Usługa magazynu | Typ konta | Typ przestrzeni nazw | Obsługiwane usługi | Obsługiwane warstwy wydajności | Obsługiwane warstwy dostępu | Wersja usługi HDInsight | Typ klastra |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Ogólnego przeznaczenia w wersji 2 | Hierarchiczny (system plików) | Obiekt blob | Standardowa | Gorąca, Chłodna i Archiwum | 3.6+ | Wszystkie z wyjątkiem platform Spark 2.1 i 2.2 |
| Azure Storage | Ogólnego przeznaczenia w wersji 2 | Objekt | Obiekt blob | Standardowa | Gorąca, Chłodna i Archiwum | 3.6+ | wszystkie |
| Azure Storage | Ogólnego przeznaczenia w wersji 1 | Objekt | Obiekt blob | Standardowa | Nie dotyczy | wszystkie | wszystkie |
| Azure Storage | Blob Storage** | Objekt | Blokowy obiekt blob | Standardowa | Gorąca, Chłodna i Archiwum | wszystkie | wszystkie |
| Usługa Azure Data Lake Storage 1. generacji | Nie dotyczy | Hierarchiczny (system plików) | Brak | NIE DOTYCZY | Brak | Tylko 3.6 | Wszystkie z wyjątkiem bazy danych HBase |
| Azure Storage | Blokowy obiekt blob | Objekt | Blokowy obiekt blob | Premium | Nie dotyczy | 3.6+ | Tylko baza HBase z przyspieszonymi zapisami |
| Azure Data Lake Storage Gen2 | Blokowy obiekt blob | Hierarchiczny (system plików) | Blokowy obiekt blob | Premium | Nie dotyczy | 3.6+ | Tylko baza HBase z przyspieszonymi zapisami |
**W przypadku klastrów usługi HDInsight tylko pomocnicze konta magazynu mogą być typu BlobStorage, a stronicowy obiekt blob nie jest obsługiwaną opcją magazynu.
Aby uzyskać więcej informacji na temat typów kont usługi Azure Storage, zobacz Omówienie konta usługi Azure Storage
Aby uzyskać więcej informacji na temat warstw dostępu usługi Azure Storage, zobacz Azure Blob Storage: Premium (wersja zapoznawcza), Warstwy magazynowania Gorąca, Chłodna i Archiwum
Klastry można tworzyć przy użyciu kombinacji usług dla magazynu podstawowego i opcjonalnego pomocniczego. Poniższa tabela zawiera podsumowanie konfiguracji magazynu klastra, które są obecnie obsługiwane w usłudze HDInsight:
| Wersja usługi HDInsight | Magazyn podstawowy | Magazyn pomocniczy | Obsługiwane |
|---|---|---|---|
| 3.6 & 4.0 | Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia w wersji 2 | Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia, wersja 2, obiekt blobStorage (blokowe obiekty blob) | Tak |
| 3.6 & 4.0 | Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia w wersji 2 | Usługa Data Lake Storage 2. generacji | Nie. |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Usługa Data Lake Storage 2. generacji | Tak |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia, wersja 2, obiekt blobStorage (blokowe obiekty blob) | Tak |
| 3.6 & 4.0 | Usługa Data Lake Storage 2. generacji | Usługa Data Lake Storage 1. generacji | Nie. |
| 3,6 | Usługa Data Lake Storage 1. generacji | Usługa Data Lake Storage 1. generacji | Tak |
| 3,6 | Usługa Data Lake Storage 1. generacji | Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia, wersja 2, obiekt blobStorage (blokowe obiekty blob) | Tak |
| 3,6 | Usługa Data Lake Storage 1. generacji | Usługa Data Lake Storage 2. generacji | Nie. |
| 4.0 | Usługa Data Lake Storage 1. generacji | Dowolne | Nie. |
| 4.0 | Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia w wersji 2 | Usługa Data Lake Storage 1. generacji | Nie. |
*=Może to być jedna lub wiele usług Data Lake Storage Gen2, o ile wszystkie są skonfigurowane do używania tej samej tożsamości zarządzanej na potrzeby dostępu do klastra.
Uwaga
Magazyn podstawowy usługi Data Lake Storage Gen2 nie jest obsługiwany w przypadku klastrów platformy Spark 2.1 lub 2.2.
Replikacja danych
Usługa Azure HDInsight nie przechowuje danych klientów. Podstawowym sposobem przechowywania dla klastra są skojarzone konta magazynu. Klaster można dołączyć do istniejącego konta magazynu lub utworzyć nowe konto magazynu podczas procesu tworzenia klastra. Jeśli zostanie utworzone nowe konto, zostanie ono utworzone jako konto magazynu lokalnie nadmiarowego (LRS) i będzie spełniać wymagania dotyczące przechowywania danych w regionie, w tym określone w Centrum zaufania.
Możesz sprawdzić, czy usługa HDInsight jest prawidłowo skonfigurowana do przechowywania danych w jednym regionie, upewniając się, że konto magazynu skojarzone z usługą HDInsight to LRS lub inna opcja magazynu wymieniona w Centrum zaufania.
Uwaga
Uaktualnianie podstawowego lub pomocniczego konta magazynu uruchomionego klastra z możliwościami usługi Azure Data Lake Storage Gen2 nie jest obsługiwane. Aby zmienić typ magazynu istniejącego klastra usługi HDInsight na usługę Data Lake Storage Gen2, należy ponownie utworzyć klaster i wybrać konto magazynu z włączoną hierarchiczną przestrzenią nazw.