Azure HDInsight: veelgestelde vragen

Zie Clusters instellen in HDInsight met Apache Hadoop, Apache Spark, Apache Kafka en meer om de typen HDInsight-clusters en de inrichtingsmethoden te bekijken.

Zie Een HDInsight-cluster verwijderen voor meer informatie over het verwijderen van een cluster wanneer het niet meer wordt gebruikt.

Probeer minstens 30 tot 60 minuten te laten tussen het maken en verwijderen van bewerkingen. Anders kan de bewerking mislukken met het volgende foutbericht:

Conflict (HTTP Status Code: 409) error when attempting to delete a cluster immediately after creation of a cluster. If you encounter this error, wait until the newly created cluster is in operational state before attempting to delete it.

Het juiste aantal kernen en andere configuratieopties is afhankelijk van verschillende factoren.

Zie Capaciteitsplanning voor HDInsight-clusters voor meer informatie.

Zie Resourcetypen in Azure HDInsight-clusters.

1. U kunt het beste HDInsight-clusters instellen met een aangepaste Ambari-database om de schaalbaarheid van het cluster te verbeteren.
2. Gebruik Azure Data Lake Storage Gen2 om HDInsight-clusters te maken om te profiteren van een hogere bandbreedte en andere prestatiekenmerken van Azure Data Lake Storage Gen2.
3. Hoofdknooppunten moeten voldoende groot zijn voor meerdere hoofdservices die op deze knooppunten worden uitgevoerd.
4. Sommige specifieke workloads, zoals Interactive Query, hebben ook grotere Zookeeper-knooppunten nodig. Overweeg minimaal acht kern-VM's.
5. Gebruik in het geval van Hive en Spark externe Hive-metastore.

Ja. Als u aanvullende onderdelen wilt installeren of clusterconfiguratie wilt aanpassen, gebruikt u:

• Scripts tijdens of na het maken. Scripts worden aangeroepen via scriptactie. Scriptactie is een configuratieoptie die u kunt gebruiken vanuit Azure Portal, HDInsight Windows PowerShell-cmdlets of de HDInsight .NET SDK. Deze configuratieoptie kan worden gebruikt vanuit de Azure-portal, HDInsight Windows PowerShell-cmdlets of de HDInsight .NET SDK.

• HDInsight Application Platform om toepassingen te installeren.

Zie Wat zijn de Apache Hadoop-onderdelen en -versies die beschikbaar zijn met HDInsight voor een lijst met ondersteunde onderdelen ?

Als u ingebouwde onderdelen of toepassingen upgradet die vooraf op uw cluster zijn geïnstalleerd, wordt de resulterende configuratie niet ondersteund door Microsoft. Deze systeemconfiguraties zijn niet getest door Microsoft. Probeer een andere versie van het HDInsight-cluster te gebruiken waarop mogelijk al de bijgewerkte versie van het onderdeel vooraf is geïnstalleerd.

Het upgraden van Hive als een afzonderlijk onderdeel wordt bijvoorbeeld niet ondersteund. HDInsight is een beheerde service en veel services zijn geïntegreerd met de Ambari-server en getest. Als u een Hive op zichzelf bijwerken, worden de geïndexeerde binaire bestanden van andere onderdelen gewijzigd en worden er problemen met de integratie van onderdelen in uw cluster veroorzaakt.

Nee, het is niet mogelijk om Apache Kafka en Apache Spark uit te voeren op hetzelfde HDInsight-cluster. Maak afzonderlijke clusters voor Kafka en Spark om problemen met resourceconflicten te voorkomen.

1. Open de Ambari-webgebruikersinterface op https://CLUSTERNAME.azurehdinsight.net, waarbij CLUSTERNAME de naam van uw cluster is.

2. Selecteer in de rechterbovenhoek de optie Beheerder | Instellingen.

   

3. Selecteer in het venster User Instellingen de nieuwe tijdzone in de vervolgkeuzelijst Tijdzone en klik vervolgens op Opslaan.

   

Als u wilt migreren van SQL Server naar Azure SQL Database, raadpleegt u zelfstudie: SQL Server offline migreren naar één database of pooldatabase in Azure SQL Database met behulp van DMS.

Dit is afhankelijk van het type metastore dat uw cluster is geconfigureerd voor gebruik.

Voor een standaard-metastore: De standaard-metastore maakt deel uit van de levenscyclus van het cluster. Wanneer u een cluster verwijdert, worden ook de bijbehorende metastore en metagegevens verwijderd.

Voor een aangepaste metastore: de levenscyclus van de metastore is niet gekoppeld aan de levenscyclus van een cluster. U kunt dus clusters maken en verwijderen zonder metagegevens te verliezen. Metagegevens zoals uw Hive-schema's blijven behouden, zelfs nadat u het HDInsight-cluster hebt verwijderd en opnieuw hebt gemaakt.

Zie Externe metagegevensarchieven gebruiken in Azure HDInsight voor meer informatie.

Nee, de beleidsdefinitie bevindt zich in de Ranger-database, dus als u de Ranger-database migreert, wordt het beleid gemigreerd.

Ja, u kunt een Hive-metastore migreren van een ESP naar een niet-ESP-cluster.

Een Hive-metastore wordt gebruikt voor het opslaan van de metagegevens voor gegevensbronnen die worden gebruikt door de Hive-server. De groottevereisten zijn deels afhankelijk van het aantal en de complexiteit van uw Hive-gegevensbronnen. Deze items kunnen niet vooraf worden geschat. Zoals wordt beschreven in de Hive-metastore-richtlijnen, kunt u beginnen met een S2-laag. De laag biedt 50 DTU en 250 GB opslagruimte en als u een knelpunt ziet, schaalt u de database omhoog.

Nee, Microsoft ondersteunt alleen Azure SQL Database als een externe aangepaste metastore.

Ja, u kunt aangepaste metastore delen in meerdere clusters zolang ze dezelfde versie van HDInsight gebruiken.

Als u poort 22 en poort 23 blokkeert, hebt u geen SSH-toegang tot het cluster. Deze poorten worden niet gebruikt door de HDInsight-service.

Zie de volgende documenten voor meer informatie:

• Poorten die worden gebruikt door Apache Hadoop-services in HDInsight

• Binnenkomend verkeer naar HDInsight-clusters in een virtueel netwerk beveiligen met een privé-eindpunt

• IP-adressen beheren met HDInsight

Ja, u kunt een extra virtuele machine binnen hetzelfde subnet implementeren als een HDInsight-cluster. De volgende configuraties zijn mogelijk:

• Edge-knooppunten: u kunt nog een edge-knooppunt toevoegen aan het cluster, zoals beschreven in Lege edge-knooppunten gebruiken in Apache Hadoop-clusters in HDInsight.

• Zelfstandige knooppunten: u kunt een zelfstandige virtuele machine toevoegen aan hetzelfde subnet en toegang krijgen tot het cluster vanaf die virtuele machine met behulp van het privé-eindpunt https://<CLUSTERNAME>-int.azurehdinsight.net. Zie Netwerkverkeer beheren voor meer informatie.

Nee, het opslaan van gegevens op een lokale schijf is geen goed idee. Als het knooppunt mislukt, gaan alle gegevens die lokaal zijn opgeslagen verloren. We raden u aan gegevens op te slaan in Azure Data Lake Storage Gen2 of Azure Blob Storage, of door een Azure Files-share te koppelen voor het opslaan van de gegevens.

Nee dat kan niet. Het virtuele netwerk moet worden opgegeven op het moment van inrichten. Als er tijdens het inrichten geen virtueel netwerk is opgegeven, maakt de implementatie een intern netwerk dat niet toegankelijk is van buiten. Zie HDInsight toevoegen aan een bestaand virtueel netwerk voor meer informatie.

Zie Microsoft Antimalware voor Azure Cloud Services en Virtual Machines voor informatie over malwarebeveiliging.

Maak een Kerberos-sleuteltab voor de gebruikersnaam van uw domein. U kunt deze keytab later gebruiken om te verifiëren bij externe clusters die lid zijn van een domein zonder een wachtwoord in te voeren. De domeinnaam is hoofdletters:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Als uw TenantName & DomainName anders is (bijvoorbeeld TenantName – bob@CONTOSO.ONMICROSOFT.COM & DomainName – bob@CONTOSOMicrosoft.ONMICROSOFT.COM), moet u een SALT-waarde toevoegen met behulp van de optie -s.

1. Gebruik een interactieve Kerberos-aanmelding om de juiste zoutwaarde voor de keytab te bepalen. Interactieve Kerberos-aanmelding gebruikt standaard de hoogste versleuteling. Tracering moet zijn ingeschakeld om het zout te observeren. Hieronder ziet u een voorbeeld van kerberos-aanmelding:

$ KRB5_TRAACE=/dev/stdout kinit <username> -V

2. Bekijk de uitvoer voor het zout "......." Lijn.
3. Gebruik deze zoutwaarde bij het maken van de keytab.

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96 -s <SALTvalue>
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

Schakel Microsoft Entra Domain Services in voordat u een HDInsight-cluster met ESP kunt maken. Opensource Hadoop is afhankelijk van Kerberos voor verificatie (in plaats van OAuth).

Als u VM's wilt koppelen aan een domein, moet u een domeincontroller hebben. Microsoft Entra Domain Services is de beheerde domeincontroller en wordt beschouwd als een uitbreiding van Microsoft Entra-id. Microsoft Entra Domain Services biedt alle Kerberos-vereisten voor het bouwen van een beveiligd Hadoop-cluster op een beheerde manier. HDInsight als een beheerde service kan worden geïntegreerd met Microsoft Entra Domain Services om beveiliging te bieden.

Het gebruik van een certificaat dat is uitgegeven door een certificeringsinstantie wordt aanbevolen. Maar het gebruik van een zelfondertekend certificaat wordt ook ondersteund op ESP. Zie voor meer informatie:

• Microsoft Entra Domain Services inschakelen.

• Zelfstudie: Secure LDAP configureren voor door Microsoft Entra Domain Services beheerd domein

Nee, DAS wordt niet ondersteund op ESP-clusters.

Voor controlevereisten raadt Microsoft aan Om Azure Monitor-logboeken in te schakelen, zoals beschreven in Azure Monitor-logboeken gebruiken om HDInsight-clusters te bewaken.

Clamscan is de antivirussoftware die wordt uitgevoerd op het HDInsight-cluster en wordt gebruikt door Azure Security (azsecd) om uw clusters te beschermen tegen virusaanvallen. Microsoft raadt gebruikers ten zeerste aan geen wijzigingen aan te brengen in de standaardconfiguratie Clamscan .

Dit proces verstoort of neemt geen cycli weg van andere processen. Het zal altijd tot een ander proces leiden. CPU-pieken uit Clamscan moeten alleen worden gezien wanneer het systeem inactief is.

In scenario's waarin u het schema moet beheren, kunt u de volgende stappen uitvoeren:

1. Schakel automatische uitvoering uit met behulp van de volgende opdracht:

   sudo sudo usr/local/bin/azsecd config -s clamav -d Disabled service azsecd restart

2. Voeg een Cron-taak toe waarmee de volgende opdracht als hoofdmap wordt uitgevoerd:

   /usr/local/bin/azsecd manual -s clamav

Zie Hoe kan ik een Cron-taak instellen en uitvoeren voor meer informatie over het instellen en uitvoeren van een Cron-taak?

LLAP is ingeschakeld om beveiligingsredenen (Apache Ranger), geen prestaties. Gebruik grotere knooppunt-VM's voor het resourcegebruik van LLAP (bijvoorbeeld minimaal D13V2).

Er zijn twee manieren om dit doel te bereiken: 1: u kunt het cluster opnieuw maken en de extra groep toevoegen op het moment dat het cluster wordt gemaakt. Als u bereiksynchronisatie gebruikt in Microsoft Entra Domain Services, controleert u of groep B is opgenomen in de bereiksynchronisatie. 2- Voeg de groep toe als een geneste subgroep van de vorige groep die is gebruikt om het ESP-cluster te maken. Als u bijvoorbeeld een ESP-cluster met groep Ahebt gemaakt, kunt u later groep B toevoegen als een geneste subgroep van A en na ongeveer één uur wordt deze automatisch gesynchroniseerd en beschikbaar in het cluster.

Nee, het is momenteel niet mogelijk om een Azure Data Lake Storage Gen2-opslagaccount toe te voegen aan een cluster met blobopslag als primaire opslag. Zie Opslagopties vergelijken voor meer informatie.

U vindt uw instellingen in Data Lake Storage Gen1-toegang onder de clustereigenschappen in Azure Portal. Zie Clusterconfiguratie controleren voor meer informatie.

Ga op een van de volgende manieren te werk:

• PowerShell gebruiken

• Zoek de grootte van de /user/hive/. Prullenbak/ map in het HDInsight-cluster met behulp van de volgende opdrachtregel:

  hdfs dfs -du -h /user/hive/.Trash/

Als u blob-opslagaccounts wilt controleren, configureert u bewaking met behulp van de procedure bij Bewaken van een opslagaccount in Azure Portal. Een HDFS-auditlogboek biedt alleen controle-informatie voor het lokale HDFS-bestandssysteem (hdfs://mycluster). Het bevat geen bewerkingen die worden uitgevoerd op externe opslag.

Voer een script uit dat vergelijkbaar is met het volgende shell-script op uw hoofdknooppunt:

for i in cat filenames.txt
do
   hadoop fs -get $i <local destination>
done

Er bestaat momenteel geen Ranger-invoegtoepassing voor blobopslag en Azure Data Lake Storage Gen1 of Gen2. Voor ESP-clusters moet u Azure Data Lake Storage gebruiken. U kunt ten minste gedetailleerde machtigingen handmatig instellen op bestandssysteemniveau met behulp van HDFS-hulpprogramma's. Wanneer u Azure Data Lake Storage gebruikt, voeren ESP-clusters ook een deel van het toegangsbeheer van het bestandssysteem uit met behulp van Microsoft Entra ID op clusterniveau.

U kunt beleid voor gegevenstoegang toewijzen aan de beveiligingsgroepen van uw gebruikers met behulp van Azure Storage Explorer. Zie voor meer informatie:

• Hoe kan ik machtigingen instellen voor Microsoft Entra-gebruikers om gegevens in Data Lake Storage Gen2 op te vragen met hive of andere services?
• Machtigingen op bestand- en mapniveau instellen met behulp van Azure Storage Explorer met Azure Data Lake Storage Gen2

Nee U kunt de schijfgrootte van een werkknooppunt niet vergroten. De enige manier om de schijfgrootte te vergroten, is door het cluster te verwijderen en opnieuw te maken met grotere werkrol-VM's. Gebruik HDFS niet voor het opslaan van uw HDInsight-gegevens, omdat de gegevens worden verwijderd als u het cluster verwijdert. Sla in plaats daarvan uw gegevens op in Azure. Als u het cluster omhoog schaalt, kunt u ook extra capaciteit toevoegen aan uw HDInsight-cluster.

Raadpleeg Lege Edge-knooppunten op Apache Hadoop-clusters gebruiken in HDInsight voor meer informatie.

Nadat u een Edge-knooppunt hebt gemaakt, kunt u er verbinding mee maken met behulp van SSH op poort 22. U vindt de naam van het edge-knooppunt in de clusterportal. De namen eindigen meestal op -ed.

U gebruikt persistente scripts om nieuwe werkknooppunten die aan het cluster zijn toegevoegd, aan te passen via schaalbewerkingen. Persistente scripts zijn niet van toepassing op edge-knooppunten.

U kunt de volgende REST-eindpunten gebruiken om de benodigde informatie op te halen in JSON-indeling. Gebruik basisverificatieheaders om de aanvragen te maken.

• Tez Query View: https://< clusternaam.azurehdinsight.net/ws/v1/timeline/HIVE_QUERY_ID/>
• Tez Dag View: https://< clusternaam.azurehdinsight.net/ws/v1/timeline/TEZ_DAG_ID/>

Als u wilt onderhandelen over de juiste verificatietokens met uw Microsoft Entra-gebruiker, gaat u via de gateway met behulp van de volgende indeling:

• <cluster dnsname>https://.azurehdinsight.net/api/v1/clusters/testclusterdem/stack_versions/1/repository_versions/1

Als u de Curl-opdracht aanroept in hetzelfde virtuele netwerk of een gekoppeld virtueel netwerk, is de opdracht:

curl -u <cluster login username> -sS -G
http://<headnodehost>:8080/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu

Als u de opdracht aanroept van buiten het virtuele netwerk of vanuit een niet-gekoppeld virtueel netwerk, is de opdrachtindeling:

• Voor een niet-ESP-cluster:

  
  curl -u <cluster login username> -sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

• Voor een ESP-cluster:

  
  curl -u <cluster login username>-sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

Zie de pagina prijzen van Azure HDInsight voor meer informatie over prijzen en veelgestelde vragen met betrekking tot facturering.

De facturering voor het gebruik van HDInsight-clusters begint zodra er een cluster is gemaakt en stopt als een cluster wordt verwijderd. Facturering wordt naar rato per minuut beoordeeld.

Zie Uw Azure-abonnement opzeggen voor meer informatie over het annuleren van uw abonnement.

Zie Wat gebeurt er nadat ik mijn abonnement heb opgezegd voor meer informatie over uw abonnement?

Hoewel slechts 1.2 wordt weergegeven in de Ambari-gebruikersinterface, bevat HDInsight 3.6 zowel Hive 1.2 als Hive 2.1.

Zie Een technologie voor stroomverwerking kiezen in Azure voor meer informatie over integratiemogelijkheden voor stroomverwerking.

U kunt deze actie niet uitvoeren met HDInsight-clusters. U kunt Azure Data Factory gebruiken voor deze scenario's.

Zie het Vertrouwenscentrum van Microsoft voor informatie over naleving.