Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Azure HDInsight je spravovaná opensourcová analytická služba v cloudu pro podniky. S HDInsight můžete ve svém prostředí Azure používat opensourcové architektury, jako jsou Apache Spark, Apache Hive, LLAP, Apache Kafka, Hadoop a další.
Co je HDInsight a sada technologií Hadoop?
Azure HDInsight je platforma spravovaného clusteru, která usnadňuje spouštění architektur pro velké objemy dat, jako jsou Apache Spark, Apache Hive, LLAP, Apache Kafka, Apache Hadoop a další ve vašem prostředí Azure. Je navržený tak, aby zpracovával velké objemy dat s vysokou rychlostí a efektivitou.
Proč mám používat Azure HDInsight?
| Schopnost | Popis |
|---|---|
| Cloudově nativní | Azure HDInsight umožňuje vytvářet optimalizované clustery pro Spark, Interactive query (LLAP), Kafka, HBase a Hadoop v Azure. HDInsight také poskytuje kompletní smlouvu SLA pro všechny vaše produkční úlohy. |
| Nízkonákladové a škálovatelné | HDInsight umožňuje vertikálně navyšovat nebo snížit kapacitu úloh. Náklady můžete snížit tak, že vytvoříte clustery na vyžádání a platíte jenom za to, co používáte. Můžete také vytvářet datové kanály pro zprovoznění úloh. Oddělené výpočetní prostředky a úložiště poskytují lepší výkon a flexibilitu. |
| Zabezpečení a dodržování předpisů | HDInsight umožňuje chránit podnikové datové prostředky pomocí služby Azure Virtual Network, šifrování a integrace s Microsoft Entra ID. HDInsight také splňuje nejoblíbenější oborové a vládní standardy dodržování předpisů. |
| Sledování | Azure HDInsight se integruje s protokoly Azure Monitoru a poskytuje jedno rozhraní, pomocí kterého můžete monitorovat všechny clustery. |
| Globální dostupnost | HDInsight je k dispozici ve více oblastech než jakákoli jiná nabídka analýzy velkých objemů dat . Azure HDInsight je k dispozici také ve službě Azure Government, Číně a Německu, což vám umožní splnit potřeby vašeho podniku v klíčových suverénních oblastech. |
| Produktivita | Azure HDInsight umožňuje používat bohaté produktivní nástroje pro Hadoop a Spark s upřednostňovanými vývojovými prostředími. Mezi tato vývojová prostředí patří Visual Studio, VS Code, Eclipse a IntelliJ pro podporu jazyka Scala, Python, Java a .NET. |
| Rozšiřitelnost | Clustery HDInsight můžete rozšířit o nainstalované komponenty (Hue, Presto atd.) pomocí akcí skriptu, přidáním hraničních uzlů nebo integrací s jinými certifikovanými aplikacemi pro velké objemy dat . HDInsight umožňuje bezproblémovou integraci s nejoblíbenějšími řešeními pro velké objemy dat s nasazením jedním kliknutím. |
Co jsou velké objemy dat?
Velká data se shromažďují v rostoucím objemu, vyšší rychlostí a ve větší rozmanitosti formátů než kdy dříve. Může to být historické (tj. uložené) nebo v reálném čase (což znamená streamované ze zdroje). Informace o nejběžnějších případech použití velkých objemů dat najdete ve scénářích použití služby HDInsight .
Typy clusterů ve službě HDInsight
HDInsight zahrnuje konkrétní typy clusterů a možnosti přizpůsobení clusteru, jako je například schopnost přidávat komponenty, nástroje a jazyky. HDInsight nabízí následující typy clusterů:
| Typ clusteru | Popis | Začínáme |
|---|---|---|
| Apache Hadoop | Architektura, která používá HDFS, správu prostředků YARN a jednoduchý programovací model MapReduce pro paralelní zpracování a analýzu dávkových dat. | Vytvoření clusteru Apache Hadoop |
| Apache Spark | Opensourcová architektura paralelního zpracování, která podporuje zpracování v paměti za účelem zvýšení výkonu aplikací pro analýzu velkých objemů dat. Podívejte se na co je Apache Spark ve službě HDInsight? | Vytvoření clusteru Apache Spark |
| Apache HBase | Databáze NoSQL založená na Hadoopu, která poskytuje náhodný přístup a silnou konzistenci pro velké objemy nestrukturovaných a částečně strukturovaných dat – potenciálně miliardy řádků krát miliony sloupců. Podívejte se na co je HBase ve službě HDInsight? | Vytvoření clusteru Apache HBase |
| Apache Interactive Query | Ukládání do mezipaměti v paměti pro interaktivní a rychlejší dotazy Hive Viz Použití interaktivního dotazu ve službě HDInsight. | Vytvoření clusteru Interactive Query |
| Apache Kafka | Opensourcová platforma se používá k vytváření streamovaných datových kanálů a aplikací. Kafka také poskytuje funkce fronty zpráv, které umožňují publikovat a odebírat datové streamy. Viz Úvod do Apache Kafka ve službě HDInsight. | Vytvoření clusteru Apache Kafka |
Scénáře použití SLUŽBY HDInsight
Azure HDInsight je možné použít pro různé scénáře zpracování velkých objemů dat . Může se jednat o historická data (data, která jsou už shromážděná a uložená) nebo data v reálném čase (data, která se přímo streamují ze zdroje). Scénáře pro zpracování těchto dat je možné shrnout v následujících kategoriích:
Dávkové zpracování (ETL)
Extrakce, transformace a načítání (ETL) je proces, kdy se nestrukturovaná nebo strukturovaná data extrahují z heterogenních zdrojů dat. Pak se transformuje do strukturovaného formátu a načte se do úložiště dat. Transformovaná data můžete použít pro datové vědy nebo datové sklady.
Datové sklady
HdInsight můžete použít k provádění interaktivních dotazů v petabajtových škálách nad strukturovanými nebo nestrukturovanými daty v libovolném formátu. Můžete také vytvářet modely, které je propojují s nástroji BI.
Internet věcí (IoT)
HdInsight můžete použít ke zpracování streamovaných dat přijatých v reálném čase z různých druhů zařízení. Další informace najdete v tomto blogovém příspěvku z Azure, který oznamuje verzi Public Preview Apache Kafka ve službě HDInsight se spravovanými disky Azure.
Hybridní
Pomocí služby HDInsight můžete rozšířit stávající místní infrastrukturu velkých objemů dat do Azure, abyste mohli využít pokročilé analytické možnosti cloudu.
Opensourcové komponenty v HDInsightu
Azure HDInsight umožňuje vytvářet clustery s opensourcovými architekturami, jako jsou Spark, Hive, LLAP, Kafka, Hadoop a HBase. Tyto clustery ve výchozím nastavení zahrnují různé opensourcové komponenty, jako jsou Apache Ambari, Avro, Apache Hive 3, HCatalog, Apache Hadoop MapReduce, Apache Hadoop YARN, Apache Phoenix, Apache Pig, Apache Sqoop, Apache Tez, Apache Oozie a Apache ZooKeeper.
Programovací jazyky ve službě HDInsight
Clustery HDInsight, včetně Sparku, HBase, Kafka, Hadoopu a dalších, podporují mnoho programovacích jazyků. Některé programovací jazyky nejsou ve výchozím nastavení nainstalovány. Pro knihovny, moduly nebo balíčky, které nejsou ve výchozím nastavení nainstalovány, použijte akci skriptu k instalaci komponenty.
| Programovací jazyk | Informace |
|---|---|
| Podpora výchozího programovacího jazyka | Clustery HDInsight ve výchozím nastavení podporují:
|
| Jazyky prostředí Java Virtual Machine (JVM) | Mnoho jiných jazyků než Java může běžet na virtuálním počítači Java (JVM). Pokud ale spustíte některé z těchto jazyků, možná budete muset do clusteru nainstalovat další komponenty. Clustery HDInsight podporují následující jazyky založené na prostředí JVM:
|
| Jazyky specifické pro Hadoop | Clustery HDInsight podporují následující jazyky, které jsou specifické pro technologii Hadoop:
|
Vývojové nástroje pro HDInsight
Pomocí vývojových nástrojů HDInsight, včetně IntelliJ, Eclipse, Visual Studio Code a sady Visual Studio, můžete vytvářet a odesílat dotazy a úlohy HDInsight s bezproblémovou integrací s Azure.
- Azure Toolkit for IntelliJ 10
- Azure Toolkit pro Eclipse 6
- Nástroje Azure HDInsight pro VS Code 13
- Nástroje Azure Data Lake pro Visual Studio 9
Business intelligence ve službě HDInsight
Známé nástroje business intelligence (BI) načítají, analyzují a hlásí data integrovaná s HDInsight pomocí doplňku Power Query nebo ovladače ODBC Microsoft Hive:
Apache Spark BI s využitím nástrojů pro vizualizaci dat ve službě Azure HDInsight
Vizualizace dat Apache Hivu pomocí Microsoft Power BI ve službě Azure HDInsight
Vizualizace dat Hivu interaktivních dotazů pomocí Power BI ve službě Azure HDInsight
Připojení Excelu k Apache Hadoopu pomocí Power Query (vyžaduje Windows)
Připojení Excelu k Apache Hadoopu pomocí ovladače MICROSOFT Hive ODBC (vyžaduje Windows)
Ukládání dat v rámci regionu
Spark, Hadoop a LLAP neukládají zákaznická data, takže tyto služby automaticky splňují požadavky na rezidenci dat v dané oblasti zadané v lokalitě globální infrastruktury Azure.
Kafka a HBase ukládají zákaznická data. Tato data jsou automaticky uložená systémem Kafka a HBase v jedné oblasti, takže tato služba splňuje požadavky na rezidenci dat v jednotlivých oblastech zadaných v lokalitě globální infrastruktury Azure.
Známé nástroje business intelligence (BI) načítají, analyzují a hlásí data integrovaná se službou HDInsight pomocí doplňku Power Query nebo ovladače ODBC Microsoft Hive.