Prasyarat sumber daya

Artikel ini merinci sumber daya yang diperlukan untuk memulai HDInsight di AKS. Ini mencakup sumber daya yang diperlukan dan opsional serta cara membuatnya.

Sumber daya yang diperlukan

Tabel berikut menggambarkan sumber daya yang diperlukan untuk pembuatan kluster berdasarkan jenis kluster.

Beban kerja	Identitas Layanan Terkelola (MSI)	Penyimpanan	SQL Server - SQL Database	Key Vault
Trino	✅
Flink	✅	✅
Spark	✅	✅
Trino, Flink, atau Spark dengan Apache Hive Metastore (HMS)	✅	✅	✅	✅

Catatan

MSI digunakan sebagai standar keamanan untuk autentikasi dan otorisasi di seluruh sumber daya, kecuali SQL Database. Penetapan peran terjadi sebelum penyebaran untuk mengotorisasi MSI ke penyimpanan dan rahasia disimpan di Key vault untuk SQL Database. Dukungan penyimpanan adalah dengan ADLS Gen2, dan digunakan sebagai penyimpanan data untuk mesin komputasi, dan SQL Database digunakan untuk manajemen tabel di Apache Hive Metastore.

Sumber daya opsional

• Virtual Network (VNet) dan Subnet: Membuat jaringan virtual
• Ruang Kerja Analitik Log: Membuat ruang kerja Analitik Log

Catatan

• VNet memerlukan subnet tanpa tabel rute yang ada yang terkait dengannya.
• HDInsight di AKS memungkinkan Anda membawa VNet dan Subnet Anda sendiri, memungkinkan Anda menyesuaikan persyaratan jaringan agar sesuai dengan kebutuhan perusahaan Anda.
• Ruang kerja Log Analytics bersifat opsional dan perlu dibuat di depan jika Anda ingin menggunakan kemampuan Azure Monitor seperti Azure Log Analytics.

Anda dapat membuat sumber daya yang diperlukan dengan dua cara:

• Templat ARM siap pakai
• Menggunakan portal Azure

Menggunakan templat ARM

Templat ARM berikut memungkinkan Anda membuat sumber daya yang diperlukan yang ditentukan, dalam satu klik menggunakan awalan sumber daya dan detail lebih lanjut sesuai kebutuhan.

Misalnya, jika Anda memberikan awalan sumber daya sebagai "demo" maka, sumber daya berikut dibuat di grup sumber daya Anda tergantung pada templat yang Anda pilih -

• MSI dibuat dengan nama sebagai demoMSI.
• Penyimpanan dibuat dengan nama sebagai demostore bersama dengan kontainer sebagai democontainer.
• Brankas kunci dibuat dengan nama bersama demoKeyVault dengan rahasia yang disediakan sebagai parameter dalam templat.
• Database Azure SQL dibuat dengan nama sebagai demoSqlDB bersama dengan server SQL dengan nama sebagai demoSqlServer.

Beban kerja	Prasyarat
Trino	Buat sumber daya yang disebutkan sebagai berikut: 1. Identitas Layanan Terkelola (MSI): identitas terkelola yang ditetapkan pengguna.
Flink	Buat sumber daya yang disebutkan sebagai berikut: 1. Identitas Layanan Terkelola (MSI): identitas terkelola yang ditetapkan pengguna. 2. Akun penyimpanan ADLS Gen2 dan kontainer. Penetapan peran: 1. Menetapkan peran "Pemilik Data Blob Penyimpanan" ke MSI yang ditetapkan pengguna pada akun penyimpanan.
Spark	Buat sumber daya yang disebutkan sebagai berikut: 1. Identitas Layanan Terkelola (MSI): identitas terkelola yang ditetapkan pengguna. 2. Akun penyimpanan ADLS Gen2 dan kontainer. Penetapan peran: 1. Menetapkan peran "Pemilik Data Blob Penyimpanan" ke MSI yang ditetapkan pengguna pada akun penyimpanan.
Trino, Flink, atau Spark dengan Apache Hive Metastore (HMS)	Buat sumber daya yang disebutkan sebagai berikut: 1. Identitas Layanan Terkelola (MSI): identitas terkelola yang ditetapkan pengguna. 2. Akun penyimpanan ADLS Gen2 dan kontainer. 3. Azure SQL Server dan SQL Database. 4. Azure Key Vault dan rahasia untuk menyimpan info masuk admin SQL Server. Penetapan peran: 1. Menetapkan peran "Pemilik Data Blob Penyimpanan" ke MSI yang ditetapkan pengguna pada akun penyimpanan. 2. Menetapkan peran "Pengguna Rahasia Key Vault" ke MSI yang ditetapkan pengguna di Key Vault.

Catatan

Menggunakan templat ARM ini mengharuskan pengguna memiliki izin untuk membuat sumber daya baru dan menetapkan peran ke sumber daya dalam langganan.

Menggunakan portal Azure

Membuat identitas terkelola yang ditetapkan pengguna (MSI)

Identitas terkelola adalah identitas yang terdaftar di MICROSOFT Entra ID (MICROSOFT Entra ID) yang kredensialnya dikelola oleh Azure. Dengan identitas terkelola, Anda tidak perlu mendaftarkan perwakilan layanan di ID Microsoft Entra untuk mempertahankan kredensial seperti sertifikat.

HDInsight di AKS mengandalkan MSI yang ditetapkan pengguna untuk komunikasi di antara komponen yang berbeda.

Membuat akun penyimpanan – ADLS Gen 2

Akun penyimpanan digunakan sebagai lokasi default untuk log kluster dan output lainnya. Aktifkan namespace hierarkis selama pembuatan akun penyimpanan untuk digunakan sebagai penyimpanan ADLS Gen2.

1. Tetapkan peran: Tetapkan peran "Pemilik Data Blob Penyimpanan" ke MSI yang ditetapkan pengguna yang dibuat ke akun penyimpanan ini.

2. Membuat kontainer: Setelah membuat akun penyimpanan, buat kontainer di akun penyimpanan.

Catatan

Opsi untuk membuat kontainer selama pembuatan kluster juga tersedia.

Membuat Azure SQL Database

Buat Azure SQL Database untuk digunakan sebagai metastore eksternal selama pembuatan kluster atau Anda dapat menggunakan SQL Database yang sudah ada. Namun, pastikan properti berikut diatur.

Properti yang diperlukan untuk diaktifkan untuk SQL Server dan SQL Database-

Jenis Sumber Daya	Properti	Deskripsi
SQL Server	Metode autentikasi	Saat membuat SQL Server, gunakan "Metode autentikasi" sebagai
SQL Database	Izinkan layanan dan sumber daya Azure untuk mengakses ruang kerja ini	Aktifkan properti ini di bawah Bilah jaringan di database SQL Anda di portal Azure.

Catatan

• Saat ini, kami hanya mendukung Azure SQL Database sebagai metastore bawaan.
• Karena keterbatasan Apache Hive, karakter "-" (tanda hubung) dalam nama database metastore tidak didukung.
• Azure SQL Database harus berada di wilayah yang sama dengan kluster Anda.
• Opsi untuk membuat SQL Database selama pembuatan kluster juga tersedia. Namun, Anda perlu me-refresh halaman pembuatan kluster untuk mendapatkan database yang baru dibuat muncul di daftar dropdown.

Membuat Azure Key Vault

Key Vault memungkinkan Anda menyimpan kumpulan kata sandi admin SQL Server selama pembuatan SQL Database. HDInsight pada platform AKS tidak berurusan dengan kredensial secara langsung. Oleh karena itu, perlu untuk menyimpan kredensial penting Anda di Key Vault.

1. Tetapkan peran: Tetapkan peran "Pengguna Rahasia Key Vault" ke MSI yang ditetapkan pengguna yang dibuat sebagai bagian dari sumber daya yang diperlukan ke Key Vault ini.

2. Buat rahasia: Langkah ini memungkinkan Anda menyimpan kata sandi admin SQL Server sebagai rahasia di Azure Key Vault. Tambahkan kata sandi Anda di bidang "Nilai" saat membuat rahasia.

Catatan

• Pastikan untuk mencatat nama rahasia, karena ini diperlukan selama pembuatan kluster.
• Anda harus memiliki peran "Administrator Key Vault" yang ditetapkan ke identitas atau akun Anda untuk menambahkan rahasia di Key Vault menggunakan portal Azure. Navigasi ke Key Vault dan ikuti langkah-langkah tentang cara menetapkan peran.