Azure HDInsight: Często zadawane pytania

Aby zapoznać się z typami klastrów usługi HDInsight i metodami aprowizacji, zobacz Konfigurowanie klastrów w usłudze HDInsight przy użyciu usług Apache Hadoop, Apache Spark, Apache Kafka i nie tylko.

Aby dowiedzieć się więcej na temat usuwania klastra, gdy nie jest już używany, zobacz Usuwanie klastra usługi HDInsight.

Spróbuj pozostawić co najmniej 30 do 60 minut między operacjami tworzenia i usuwania. W przeciwnym razie operacja może zakończyć się niepowodzeniem z następującym komunikatem o błędzie:

Conflict (HTTP Status Code: 409) error when attempting to delete a cluster immediately after creation of a cluster. If you encounter this error, wait until the newly created cluster is in operational state before attempting to delete it.

Odpowiednia liczba rdzeni i innych opcji konfiguracji zależy od różnych czynników.

Aby uzyskać więcej informacji, zobacz Planowanie pojemności dla klastrów usługi HDInsight.

Zobacz Typy zasobów w klastrach usługi Azure HDInsight.

1. Zalecamy skonfigurowanie klastrów usługi HDInsight przy użyciu niestandardowej bazy danych Ambari w celu zwiększenia skalowalności klastra.
2. Użyj usługi Azure Data Lake Storage Gen2 , aby utworzyć klastry usługi HDInsight, aby korzystać z wyższej przepustowości i innych cech wydajności usługi Azure Data Lake Storage Gen2.
3. Węzły główne powinny być wystarczająco duże, aby pomieścić wiele usług głównych uruchomionych w tych węzłach.
4. Niektóre konkretne obciążenia, takie jak zapytanie interakcyjne, również będą potrzebować większych węzłów usługi Zookeeper. Rozważ co najmniej osiem podstawowych maszyn wirtualnych.
5. W przypadku technologii Hive i Spark użyj zewnętrznego magazynu metadanych Hive.

Tak. Aby zainstalować dodatkowe składniki lub dostosować konfigurację klastra, użyj:

• Skrypty podczas tworzenia lub po jego utworzeniu. Skrypty są wywoływane za pomocą akcji skryptu. Akcja skryptu to opcja konfiguracji, której można użyć w witrynie Azure Portal, poleceniach cmdlet programu Windows PowerShell usługi HDInsight lub zestawie SDK platformy .NET usługi HDInsight. Tej opcji konfiguracji można używać z poziomu witryny Azure Portal, poleceń cmdlet programu Windows PowerShell usługi HDInsight lub zestawu SDK platformy .NET usługi HDInsight.

• Platforma aplikacji usługi HDInsight do instalowania aplikacji.

Aby uzyskać listę obsługiwanych składników, zobacz Co to są składniki i wersje platformy Apache Hadoop dostępne w usłudze HDInsight?

Jeśli uaktualnisz wbudowane składniki lub aplikacje, które są wstępnie zainstalowane w klastrze, wynikowa konfiguracja nie będzie obsługiwana przez firmę Microsoft. Te konfiguracje systemu nie zostały przetestowane przez firmę Microsoft. Spróbuj użyć innej wersji klastra usługi HDInsight, która może już mieć wstępnie zainstalowaną uaktualnioną wersję składnika.

Na przykład uaktualnienie programu Hive jako pojedynczego składnika nie jest obsługiwane. Usługa HDInsight jest usługą zarządzaną, a wiele usług jest zintegrowanych z serwerem Ambari i testowanych. Uaktualnienie programu Hive samodzielnie powoduje zmianę indeksowanych plików binarnych innych składników i spowoduje problemy z integracją składników w klastrze.

Nie, nie można uruchomić platformy Apache Kafka i platformy Apache Spark w tym samym klastrze usługi HDInsight. Utwórz oddzielne klastry dla platform Kafka i Spark, aby uniknąć problemów z rywalizacją o zasoby.

1. Otwórz internetowy interfejs użytkownika systemu Ambari w lokalizacji https://CLUSTERNAME.azurehdinsight.net, gdzie CLUSTERNAME jest nazwą klastra.

2. W prawym górnym rogu wybierz pozycję administrator | Ustawienia.

   

3. W oknie Użytkownik Ustawienia wybierz nową strefę czasową z listy rozwijanej Strefa czasowa, a następnie kliknij przycisk Zapisz.

   

Aby przeprowadzić migrację z programu SQL Server do usługi Azure SQL Database, zobacz Samouczek: migrowanie programu SQL Server do pojedynczej bazy danych lub bazy danych w puli w usłudze Azure SQL Database w trybie offline przy użyciu usługi DMS.

Zależy to od typu magazynu metadanych skonfigurowanego do użycia przez klaster.

Domyślny magazyn metadanych: domyślny magazyn metadanych jest częścią cyklu życia klastra. Usunięcie klastra spowoduje również usunięcie odpowiedniego magazynu metadanych i metadanych.

W przypadku niestandardowego magazynu metadanych: cykl życia magazynu metadanych nie jest powiązany z cyklem życia klastra. W związku z tym można tworzyć i usuwać klastry bez utraty metadanych. Metadane, takie jak schematy programu Hive, są utrwalane nawet po usunięciu i ponownym utworzeniu klastra usługi HDInsight.

Aby uzyskać więcej informacji, zobacz Używanie zewnętrznych magazynów metadanych w usłudze Azure HDInsight.

Nie, definicja zasad znajduje się w bazie danych Ranger, więc migrowanie bazy danych Ranger spowoduje migrację jej zasad.

Tak, można migrować magazyn metadanych Hive z esp do klastra innego niż ESP.

Magazyn metadanych Hive służy do przechowywania metadanych dla źródeł danych używanych przez serwer Hive. Wymagania dotyczące rozmiaru zależą częściowo od liczby i złożoności źródeł danych hive. Tych elementów nie można oszacować z góry. Jak opisano w wytycznych dotyczących magazynu metadanych Hive, możesz zacząć od warstwy S2. Warstwa zapewnia 50 jednostek DTU i 250 GB miejsca do magazynowania, a jeśli widzisz wąskie gardło, przeprowadź skalowanie w górę bazy danych.

Nie, firma Microsoft obsługuje tylko usługę Azure SQL Database jako zewnętrzny niestandardowy magazyn metadanych.

Tak, można udostępniać niestandardowy magazyn metadanych w wielu klastrach, o ile używają one tej samej wersji usługi HDInsight.

Jeśli zablokujesz porty 22 i 23, nie będziesz mieć dostępu SSH do klastra. Te porty nie są używane przez usługę HDInsight.

Więcej informacji można znaleźć w następujących dokumentach:

• Porty używane przez usługi Apache Hadoop w usłudze HDInsight

• Zabezpieczanie ruchu przychodzącego do klastrów usługi HDInsight w sieci wirtualnej przy użyciu prywatnego punktu końcowego

• Adresy IP zarządzania usługą HDInsight

Tak, możesz wdrożyć dodatkową maszynę wirtualną w tej samej podsieci co klaster usługi HDInsight. Możliwe są następujące konfiguracje:

• Węzły krawędzi: możesz dodać kolejny węzeł brzegowy do klastra zgodnie z opisem w temacie Używanie pustych węzłów brzegowych w klastrach Apache Hadoop w usłudze HDInsight.

• Węzły autonomiczne: możesz dodać autonomiczną maszynę wirtualną do tej samej podsieci i uzyskać dostęp do klastra z tej maszyny wirtualnej przy użyciu prywatnego punktu https://<CLUSTERNAME>-int.azurehdinsight.netkońcowego . Aby uzyskać więcej informacji, zobacz Kontrolowanie ruchu sieciowego.

Nie, przechowywanie danych na dysku lokalnym nie jest dobrym pomysłem. Jeśli węzeł ulegnie awarii, wszystkie dane przechowywane lokalnie zostaną utracone. Zalecamy przechowywanie danych w usłudze Azure Data Lake Storage Gen2 lub Azure Blob Storage lub przez zainstalowanie udziału usługi Azure Files na potrzeby przechowywania danych.

Nie, nie można. W momencie aprowizacji należy określić sieć wirtualną. Jeśli podczas aprowizacji nie określono żadnej sieci wirtualnej, wdrożenie tworzy sieć wewnętrzną, która nie jest dostępna spoza. Aby uzyskać więcej informacji, zobacz Dodawanie usługi HDInsight do istniejącej sieci wirtualnej.

Aby uzyskać informacje na temat ochrony przed złośliwym oprogramowaniem, zobacz Microsoft Antimalware for Azure Cloud Services and Virtual Machines (Oprogramowanie microsoft chroniące przed złośliwym oprogramowaniem dla usług Azure Cloud Services i Maszyn wirtualnych).

Utwórz kartę klucza Kerberos dla nazwy użytkownika domeny. Później możesz użyć tej tabki kluczy do uwierzytelniania w klastrach przyłączonych do domeny zdalnej bez wprowadzania hasła. Nazwa domeny ma wielkie litery:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Jeśli nazwa_dzierżawy i nazwa_domeny są inne (na przykład Nazwa_dzierżawy — bob@CONTOSO.ONMICROSOFT.COM & Nazwa_domeny — bob@CONTOSOMicrosoft.ONMICROSOFT.COM), musisz dodać wartość SALT przy użyciu opcji -s.

1. Użyj interakcyjnego logowania kerberos, aby określić odpowiednią wartość soli dla tabu klucza. Logowanie interakcyjne kerberos domyślnie będzie używać najwyższego szyfrowania. Śledzenie powinno być włączone w celu obserwowania soli. Poniżej znajduje się przykład logowania protokołu Kerberos:

$ KRB5_TRAACE=/dev/stdout kinit <username> -V

2. Przejrzyj dane wyjściowe dla soli "......." Linii.
3. Użyj tej wartości soli podczas tworzenia tabu klucza.

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96 -s <SALTvalue>
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Włącz usługi Microsoft Entra Domain Services przed utworzeniem klastra usługi HDInsight przy użyciu esp. Usługa Hadoop typu open source opiera się na protokole Kerberos na potrzeby uwierzytelniania (w przeciwieństwie do protokołu OAuth).

Aby dołączyć maszyny wirtualne do domeny, musisz mieć kontroler domeny. Microsoft Entra Domain Services jest zarządzanym kontrolerem domeny i jest uważany za rozszerzenie identyfikatora Entra firmy Microsoft. Usługi Microsoft Entra Domain Services udostępniają wszystkie wymagania protokołu Kerberos dotyczące tworzenia bezpiecznego klastra Hadoop w zarządzany sposób. Usługa HDInsight jako usługa zarządzana integruje się z usługami Microsoft Entra Domain Services w celu zapewnienia zabezpieczeń.

Zaleca się użycie certyfikatu wystawionego przez urząd certyfikacji. Jednak korzystanie z certyfikatu z podpisem własnym jest również obsługiwane w esp. Aby uzyskać więcej informacji, zobacz:

• Włącz usługi Microsoft Entra Domain Services.

• Samouczek: konfigurowanie protokołu Secure LDAP dla domeny zarządzanej usług Microsoft Entra Domain Services

Nie, DAS nie jest obsługiwane w klastrach ESP.

W przypadku wymagań dotyczących inspekcji firma Microsoft zaleca włączenie dzienników usługi Azure Monitor zgodnie z opisem w temacie Monitorowanie klastrów usługi HDInsight za pomocą dzienników usługi Azure Monitor.

Clamscan to oprogramowanie antywirusowe, które działa w klastrze usługi HDInsight i jest używane przez zabezpieczenia platformy Azure (azsecd) do ochrony klastrów przed atakami wirusowymi. Firma Microsoft zdecydowanie zaleca, aby użytkownicy powstrzymali się od wprowadzania zmian w konfiguracji domyślnej Clamscan .

Ten proces nie zakłóca ani nie zabiera żadnych cykli od innych procesów. Zawsze przyniesie to inny proces. Skoki procesora CPU z Clamscan powinny być widoczne tylko wtedy, gdy system jest bezczynny.

W scenariuszach, w których musisz kontrolować harmonogram, możesz wykonać następujące kroki:

1. Wyłącz automatyczne wykonywanie przy użyciu następującego polecenia:

   sudo sudo usr/local/bin/azsecd config -s clamav -d Disabled service azsecd restart

2. Dodaj zadanie Cron, które uruchamia następujące polecenie jako katalog główny:

   /usr/local/bin/azsecd manual -s clamav

Aby uzyskać więcej informacji na temat konfigurowania i uruchamiania zadania cron, zobacz Jak mogę skonfigurować zadanie Cron?

Protokół LLAP jest włączony ze względów bezpieczeństwa (Apache Ranger), a nie z wydajnością. Użyj większych maszyn wirtualnych węzłów, aby uwzględnić użycie zasobów protokołu LLAP (na przykład minimalną liczbę maszyn wirtualnych D13V2).

Istnieją dwa sposoby osiągnięcia tego celu: 1 — można ponownie utworzyć klaster i dodać dodatkową grupę podczas tworzenia klastra. Jeśli używasz synchronizacji w zakresie w usługach Microsoft Entra Domain Services, upewnij się, że grupa B jest uwzględniona w synchronizacji o określonym zakresie. 2 — Dodaj grupę jako zagnieżdżonych podgrupę poprzedniej grupy, która została użyta do utworzenia klastra ESP. Jeśli na przykład utworzono klaster ESP z grupą A, możesz później dodać grupę B jako zagnieżdżona podgrupę A i po około godzinie zostanie ona automatycznie zsynchronizowana i dostępna w klastrze.

Nie, obecnie nie można dodać konta magazynu usługi Azure Data Lake Storage Gen2 do klastra, który ma magazyn obiektów blob jako magazyn podstawowy. Aby uzyskać więcej informacji, zobacz Porównanie opcji magazynu.

Ustawienia można znaleźć w obszarze Dostęp do usługi Data Lake Storage Gen1 we właściwościach klastra w witrynie Azure Portal. Aby uzyskać więcej informacji, zobacz Weryfikowanie konfiguracji klastra.

Wykonaj jedną z następujących czynności:

• Korzystanie z programu PowerShell

• Znajdź rozmiar /user/hive/. Kosz/ folder w klastrze usługi HDInsight przy użyciu następującego wiersza polecenia:

  hdfs dfs -du -h /user/hive/.Trash/

Aby przeprowadzić inspekcję kont usługi Blob Storage, skonfiguruj monitorowanie przy użyciu procedury w temacie Monitorowanie konta magazynu w witrynie Azure Portal. Dziennik inspekcji systemu plików HDFS zawiera tylko informacje inspekcji dla lokalnego systemu plików HDFS (hdfs://mycluster). Nie obejmuje ona operacji wykonywanych w magazynie zdalnym.

Uruchom skrypt podobny do następującego skryptu powłoki w węźle głównym:

for i in cat filenames.txt
do
   hadoop fs -get $i <local destination>
done

Obecnie dla magazynu obiektów blob i usługi Azure Data Lake Storage Gen1 lub Gen2 nie istnieje wtyczka Ranger. W przypadku klastrów ESP należy użyć usługi Azure Data Lake Storage. Uprawnienia szczegółowe można ustawić przynajmniej ręcznie na poziomie systemu plików przy użyciu narzędzi HDFS. Ponadto w przypadku korzystania z usługi Azure Data Lake Storage klastry ESP będą wykonywać niektóre z kontroli dostępu systemu plików przy użyciu identyfikatora Entra firmy Microsoft na poziomie klastra.

Zasady dostępu do danych można przypisać do grup zabezpieczeń użytkowników przy użyciu Eksplorator usługi Azure Storage. Aby uzyskać więcej informacji, zobacz:

• Jak mogę ustawić uprawnienia dla użytkowników firmy Microsoft Entra do wykonywania zapytań dotyczących danych w usłudze Data Lake Storage Gen2 przy użyciu programu Hive lub innych usług?
• Ustawianie uprawnień na poziomie plików i katalogów przy użyciu Eksplorator usługi Azure Storage w usłudze Azure Data Lake Storage Gen2

L.p. Nie można zwiększyć rozmiaru dysku dowolnego węzła roboczego. Dlatego jedynym sposobem na zwiększenie rozmiaru dysku jest usunięcie klastra i ponowne utworzenie go przy użyciu większych maszyn wirtualnych procesu roboczego. Nie używaj systemu plików HDFS do przechowywania żadnych danych usługi HDInsight, ponieważ dane są usuwane po usunięciu klastra. Zamiast tego przechowuj dane na platformie Azure. Skalowanie klastra w górę może również dodać dodatkową pojemność do klastra usługi HDInsight.

Zobacz Używanie pustych węzłów brzegowych w klastrach Apache Hadoop w usłudze HDInsight.

Po utworzeniu węzła brzegowego można nawiązać z nim połączenie przy użyciu protokołu SSH na porcie 22. Nazwę węzła krawędzi można znaleźć w portalu klastra. Nazwy zwykle kończą się ciągiem -ed.

Skrypty utrwalone służą do dostosowywania nowych węzłów roboczych dodanych do klastra za pomocą operacji skalowania. Utrwalone skrypty nie mają zastosowania do węzłów brzegowych.

Następujące punkty końcowe REST umożliwiają ściąganie niezbędnych informacji w formacie JSON. Użyj podstawowych nagłówków uwierzytelniania, aby wysyłać żądania.

• Tez Query View: nazwa< https:// cluster.azurehdinsight.net/ws/v1/timeline/HIVE_QUERY_ID/>
• Tez Dag View: https://< cluster name.azurehdinsight.net/ws/v1/timeline/TEZ_DAG_ID/>

Aby wynegocjować odpowiednie tokeny uwierzytelniania z użytkownikiem firmy Microsoft Entra, przejdź przez bramę przy użyciu następującego formatu:

• <cluster dnsname>https://.azurehdinsight.net/api/v1/clusters/testclusterdem/stack_versions/1/repository_versions/1

Jeśli wywołasz polecenie Curl w tej samej sieci wirtualnej lub równorzędnej sieci wirtualnej, polecenie to:

curl -u <cluster login username> -sS -G
http://<headnodehost>:8080/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu

Jeśli wywołasz polecenie spoza sieci wirtualnej lub z sieci wirtualnej bez komunikacji równorzędnej, format polecenia to:

• W przypadku klastra innego niż ESP:

  
  curl -u <cluster login username> -sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

• W przypadku klastra ESP:

  
  curl -u <cluster login username>-sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

Aby uzyskać więcej informacji na temat cen i często zadawanych pytań związanych z rozliczeniami, zobacz stronę Cennik usługi Azure HDInsight.

Naliczanie opłat rozpoczyna się w momencie utworzenia klastra usługi HDInsight i kończy się wraz z jego usunięciem. Rozliczenia są naliczane proporcjonalnie na minutę.

Aby uzyskać informacje na temat sposobu anulowania subskrypcji, zobacz Anulowanie subskrypcji platformy Azure.

Aby uzyskać informacje o subskrypcji po jej anulowaniu, zobacz Co się stanie po anulowaniu subskrypcji?

Mimo że w interfejsie użytkownika systemu Ambari pojawia się tylko 1.2, usługa HDInsight 3.6 zawiera zarówno hive 1.2, jak i Hive 2.1.

Aby uzyskać informacje na temat możliwości integracji przetwarzania strumienia, zobacz Wybieranie technologii przetwarzania strumieniowego na platformie Azure.

Nie można wykonać tej akcji za pomocą klastrów usługi HDInsight. W tych scenariuszach możesz użyć usługi Azure Data Factory.

Aby uzyskać informacje o zgodności, zobacz Centrum zaufania firmy Microsoft.