Sdílet prostřednictvím

Výběr správné velikosti virtuálního počítače pro cluster Azure HDInsight

  • Článek

Tento článek popisuje, jak vybrat správnou velikost virtuálního počítače pro různé uzly v clusteru HDInsight.

Začněte tím, že pochopíte, jak vlastnosti virtuálního počítače, jako je zpracování procesoru, velikost paměti RAM a latence sítě, ovlivňují zpracování vašich úloh. Dále se zamyslete nad vaší aplikací a s tím, jak odpovídá různým rodinám virtuálních počítačů, které jsou optimalizované. Ujistěte se, že řada virtuálních počítačů, kterou chcete použít, je kompatibilní s typem clusteru, který plánujete nasadit. Seznam všech podporovaných a doporučených velikostí virtuálních počítačů pro každý typ clusteru najdete v tématu Konfigurace podporovaných uzlů azure HDInsight. Nakonec můžete použít srovnávací proces k otestování některých ukázkových úloh a zkontrolovat, která skladová položka v rámci této řady je pro vás nejvhodnější.

Další informace o plánování dalších aspektů clusteru, jako je výběr typu úložiště nebo velikosti clusteru, najdete v tématu Plánování kapacity pro clustery HDInsight.

Vlastnosti virtuálních počítačů a úlohy s velkými objemy dat

Velikost a typ virtuálního počítače jsou určeny výkonem procesoru, velikostí paměti RAM a latencí sítě:

  • CPU: Velikost virtuálního počítače určuje počet jader. Čím více jader, tím větší je stupeň paralelního výpočtu, kterého může každý uzel dosáhnout. Některé typy virtuálních počítačů mají také rychlejší jádra.

  • PAMĚŤ RAM: Velikost virtuálního počítače také určuje velikost paměti RAM dostupnou na virtuálním počítači. U úloh, které ukládají data do paměti pro zpracování, a ne čtení z disku, zajistěte, aby pracovní uzly měly dostatek paměti pro přizpůsobení dat.

  • Síť: U většiny typů clusterů nejsou data zpracovávaná clusterem na místním disku, ale spíše v externí službě úložiště, jako je Data Lake Storage nebo Azure Storage. Zvažte šířku pásma a propustnost sítě mezi virtuálním počítačem uzlu a službou úložiště. Šířka pásma sítě dostupná pro virtuální počítač se obvykle zvyšuje s většími velikostmi. Podrobnosti najdete v přehledu velikostí virtuálních počítačů.

Principy optimalizace virtuálních počítačů

Rodiny virtuálních počítačů v Azure jsou optimalizované tak, aby vyhovovaly různým případům použití. V následující tabulce najdete některé z nejoblíbenějších případů použití a rodiny virtuálních počítačů, které se s nimi shodují.

Typ Velikosti Popis
Entry-level Av2 Konfigurace výkonu procesoru a paměti jsou nejvhodnější pro úlohy na úrovni vstupu, jako je vývoj a testování. Jsou ekonomické a poskytují nízkonákladovou možnost, jak začít s Azure.
Obecné účely D, , DSv2Dv2 Vyvážený poměr procesorů k paměti. Tato možnost je ideální pro testování a vývoj, malé až střední databáze a webové servery s nízkým až středním provozem.
Optimalizované pro výpočty F Vysoký poměr procesorů k paměti. Vhodné pro webové servery se středním provozem, síťová zařízení, dávkové procesy a aplikační servery.
Optimalizované pro paměť Esv3, Ev3 Vysoký poměr paměti k procesoru. Jsou velmi vhodné pro servery s relační databází, střední a velké mezipaměti a analýzu v paměti.
  • Informace o cenách dostupných instancí virtuálních počítačů napříč podporovanými oblastmi HDInsight najdete v tématu Ceny služby HDInsight.

Úspora nákladů na typy virtuálních počítačů pro lehké úlohy

Pokud máte požadavky na zpracování světla, může být řada F-series dobrou volbou pro začátek se službou HDInsight. Za nižší ceníkové sazby za hodinu nabízí řada F-series nejlepší poměr cena–výkon v portfoliu Azure, pokud jde o množství výpočetních jednotek Azure (ACU) na virtuální procesor.

Následující tabulka popisuje typy clusterů a typy uzlů, které je možné vytvořit pomocí virtuálních počítačů řady Fsv2.

Typ clusteru Verze Pracovní uzel Hlavní uzel Uzel Zookeeper
Spark Všechny F4 a vyšší ne ne
Hadoop Všechny F4 a vyšší ne ne
Kafka Všechny F4 a vyšší ne ne
HBase Všechny F4 a vyšší ne ne
LLAP deaktivováno ne ne ne

Pokud chcete zobrazit specifikace jednotlivých skladových položek řady F,podívejte se na velikosti virtuálních počítačů řady F.Series.

Srovnávání

Srovnávací testy jsou procesem spouštění simulovaných úloh na různých virtuálních počítačích, aby bylo možné měřit, jak dobře fungují pro produkční úlohy.

Další informace o srovnávacím testování skladových položek virtuálních počítačů a velikostí clusterů najdete v tématu Plánování kapacity clusteru ve službě Azure HDInsight .

Další kroky