Požadavky na prostředky
Poznámka:
Azure HDInsight vyřadíme ze služby AKS 31. ledna 2025. Před 31. lednem 2025 budete muset migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure, abyste se vyhnuli náhlému ukončení úloh. Zbývající clustery ve vašem předplatném se zastaví a odeberou z hostitele.
Do data vyřazení bude k dispozici pouze základní podpora.
Důležité
Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.
Tento článek podrobně popisuje prostředky potřebné pro zahájení práce se službou HDInsight v AKS. Zahrnuje nezbytné a volitelné prostředky a jejich vytvoření.
Nezbytné zdroje
Následující tabulka znázorňuje potřebné prostředky potřebné k vytvoření clusteru na základě typů clusteru.
| Úloha | Identita spravované služby | Úložiště | SQL Server – SQL Database | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink nebo Spark s metastorem Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Poznámka:
MSI se používá jako standard zabezpečení pro ověřování a autorizaci napříč prostředky s výjimkou SQL Database. Přiřazení role nastane před nasazením pro autorizaci MSI do úložiště a tajné kódy se ukládají do trezoru klíčů pro službu SQL Database. Podpora úložiště je s ADLS Gen2 a používá se jako úložiště dat pro výpočetní moduly a SQL Database se používá ke správě tabulek v metastoru Hive.
Volitelné prostředky
- Virtuální síť a podsíť: Vytvoření virtuální sítě
- Pracovní prostor služby Log Analytics: Vytvoření pracovního prostoru služby Log Analytics
Poznámka:
- Virtuální síť vyžaduje podsíť bez přidružené existující směrovací tabulky.
- HDInsight v AKS umožňuje používat vlastní virtuální síť a podsíť, které vám umožní přizpůsobit požadavky na síť tak, aby vyhovovaly potřebám vašeho podniku.
- Pracovní prostor služby Log Analytics je volitelný a je potřeba ho vytvořit předem pro případ, že byste chtěli používat funkce azure Monitoru, jako je Azure Log Analytics.
Potřebné prostředky můžete vytvořit dvěma způsoby:
Použití šablon ARM
Následující šablony ARM umožňují vytvořit zadané potřebné prostředky, a to jedním kliknutím pomocí předpony prostředku a dalších podrobností podle potřeby.
Pokud například zadáte předponu prostředku jako ukázku, vytvoří se ve vaší skupině prostředků následující prostředky v závislosti na vybrané šabloně –
- MSI se vytvoří s názvem jako
demoMSI. - Úložiště se vytvoří s názvem spolu
demostores kontejnerem jakodemocontainer. - Trezor klíčů se vytvoří s názvem spolu
demoKeyVaults tajným kódem zadaným jako parametr v šabloně. - Databáze Azure SQL se vytvoří s názvem stejně jako
demoSqlDBs SQL serverem s názvem jakodemoSqlServer.
| Úloha | Požadavky |
|---|---|
| Trino | Vytvořte prostředky uvedené následujícím způsobem: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem |
| Flink | Vytvořte prostředky uvedené následujícím způsobem: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem 2. Účet úložiště ADLS Gen2 a kontejner. Přiřazení rolí: 1. Přiřadí roli Vlastník dat objektů blob úložiště k MSI přiřazené uživatelem v účtu úložiště. |
| Spark | Vytvořte prostředky uvedené následujícím způsobem: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem 2. Účet úložiště ADLS Gen2 a kontejner. Přiřazení rolí: 1. Přiřadí roli Vlastník dat objektů blob úložiště k MSI přiřazené uživatelem v účtu úložiště. |
| Trino, Flink nebo Spark s metastorem Hive (HMS) | Vytvořte prostředky uvedené následujícím způsobem: 1. Identita spravované služby (MSI): spravovaná identita přiřazená uživatelem 2. Účet úložiště ADLS Gen2 a kontejner. 3. Azure SQL Server a SQL Database. 4. Azure Key Vault a tajný klíč pro ukládání přihlašovacích údajů správce SQL Serveru. Přiřazení rolí: 1. Přiřadí roli Vlastník dat objektů blob úložiště k MSI přiřazené uživatelem v účtu úložiště. 2. Přiřadí roli Uživatel tajných kódů služby Key Vault msi přiřazené uživatelem ve službě Key Vault. |
Poznámka:
Použití těchto šablon ARM vyžaduje, aby uživatel měl oprávnění k vytváření nových prostředků a přiřazování rolí k prostředkům v předplatném.
Pomocí webu Azure Portal
Vytvoření spravované identity přiřazené uživatelem (MSI)
Spravovaná identita je identita registrovaná v Microsoft Entra ID (Microsoft Entra ID), jejíž přihlašovací údaje spravuje Azure. U spravovaných identit nemusíte registrovat instanční objekty v Microsoft Entra ID, abyste mohli udržovat přihlašovací údaje, jako jsou certifikáty.
HDInsight v AKS spoléhá na msi přiřazenou uživatelem pro komunikaci mezi různými komponentami.
Vytvoření účtu úložiště – ADLS Gen2
Účet úložiště se používá jako výchozí umístění pro protokoly clusteru a další výstupy. Při vytváření účtu úložiště povolte hierarchický obor názvů, který se použije jako úložiště ADLS Gen2.
Přiřazení role: Přiřaďte roli Vlastník dat objektů blob úložiště k msi přiřazené uživatelem vytvořenému k tomuto účtu úložiště.
Vytvoření kontejneru: Po vytvoření účtu úložiště vytvořte v účtu úložiště kontejner.
Poznámka:
K dispozici je také možnost vytvoření kontejneru během vytváření clusteru.
Vytvoření služby Azure SQL Database
Vytvořte službu Azure SQL Database, která se použije jako externí metastore během vytváření clusteru, nebo můžete použít existující službu SQL Database. Ujistěte se však, že jsou nastaveny následující vlastnosti.
Nezbytné vlastnosti, které se mají povolit pro SQL Server a SLUŽBU SQL Database-
| Typ prostředku | Vlastnost | Popis |
|---|---|---|
| SQL Server | Metoda ověřování | Při vytváření SQL Serveru použijte metodu ověřování jako 
|
| SQL Database | Umožnit službám a prostředkům Azure přistupovat k tomuto serveru | Tuto vlastnost povolte v okně Sítě v databázi SQL na webu Azure Portal. |
Poznámka:
- V současné době podporujeme pouze službu Azure SQL Database jako inbuilt metastore.
- Kvůli omezení Hivu není podporován znak -( spojovník) v názvu databáze metastoru.
- Azure SQL Database by měla být ve stejné oblasti jako váš cluster.
- K dispozici je také možnost vytvoření služby SQL Database během vytváření clusteru. Musíte ale aktualizovat stránku pro vytvoření clusteru, aby se nově vytvořená databáze zobrazila v rozevíracím seznamu.
Vytvoření služby Azure Key Vault
Key Vault umožňuje při vytváření služby SQL Database uložit heslo správce SQL Serveru. HDInsight na platformě AKS neřeší přihlašovací údaje přímo. Proto je nutné ukládat důležité přihlašovací údaje do služby Key Vault.
Přiřaďte roli: Přiřaďte roli Uživatel tajných kódů služby Key Vault spravované službě MSI vytvořené jako součást nezbytných prostředků k tomuto trezoru klíčů.
Vytvoření tajného kódu: Tento krok umožňuje zachovat heslo správce SQL Serveru jako tajný klíč ve službě Azure Key Vault. Při vytváření tajného kódu přidejte heslo do pole Hodnota.
Poznámka:
- Nezapomeňte si poznamenat název tajného kódu, protože se to vyžaduje při vytváření clusteru.
- Abyste mohli přidat tajný klíč do služby Key Vault pomocí webu Azure Portal, musíte mít přiřazenou roli Správce služby Key Vault k vaší identitě nebo účtu. Přejděte do služby Key Vault a postupujte podle pokynů k přiřazení role.