Kaynak önkoşulları

Makale
06/13/2024

Bu makalede, AKS üzerinde HDInsight'ı kullanmaya başlamak için gereken kaynaklar ayrıntılı olarak açıklanıyor. Gerekli ve isteğe bağlı kaynakları ve bunların nasıl oluşturulacağını kapsar.

Gerekli kaynaklar

Aşağıdaki tabloda, küme türlerine göre küme oluşturmak için gereken kaynaklar gösterilir.

İş Yükü	Yönetilen Hizmet Kimliği (MSI)	Depolama	SQL Server - SQL Veritabanı	Key Vault
Trino	✅
Flink	✅	✅
Spark	✅	✅
Hive Meta Veri Deposu (HMS) ile Trino, Flink veya Spark	✅	✅	✅	✅

Not

MSI, SQL Veritabanı dışında kaynaklar arasında kimlik doğrulaması ve yetkilendirme için bir güvenlik standardı olarak kullanılır. Rol ataması, MSI'yi depolama için yetkilendirmek üzere dağıtımdan önce gerçekleşir ve gizli diziler SQL Veritabanı için Key Vault'ta depolanır. Depolama desteği ADLS 2. Nesil ile birliktedir ve işlem altyapıları için veri deposu olarak kullanılır ve SQL Veritabanı Hive Meta Veri Deposu'nda tablo yönetimi için kullanılır.

İsteğe bağlı kaynaklar

Sanal Ağ (VNet) ve Alt Ağ: Sanal ağ oluşturma
Log Analytics Çalışma Alanı: Log Analytics çalışma alanı oluşturma

Not

Sanal ağ, kendisiyle ilişkilendirilmiş herhangi bir yol tablosu olmayan alt ağ gerektirir.
AKS üzerinde HDInsight, kendi sanal ağınızı ve Alt Ağınızı getirmenize olanak tanıyarak ağ gereksinimlerinizi kuruluşunuzun gereksinimlerine uyacak şekilde özelleştirmenizi sağlar.
Log Analytics çalışma alanı isteğe bağlıdır ve Azure Log Analytics gibi Azure İzleyici özelliklerini kullanmak isterseniz önceden oluşturulması gerekir.

Gerekli kaynakları iki şekilde oluşturabilirsiniz:

Kullanıma hazır ARM şablonları
Azure portalı kullanarak

ARM şablonlarını kullanma

Aşağıdaki ARM şablonları, kaynak ön ekini ve gereken diğer ayrıntıları kullanarak belirtilen gerekli kaynakları tek tıklamayla oluşturmanıza olanak sağlar.

Örneğin, kaynak ön ekini "tanıtım" olarak sağlarsanız, seçtiğiniz şablona bağlı olarak kaynak grubunuzda aşağıdaki kaynaklar oluşturulur -

MSI adıyla demoMSIoluşturulur.
Depolama alanı olarak bir kapsayıcı democontainerile birlikte adıyla demostore oluşturulur.
Anahtar kasası, şablonda parametre olarak demoKeyVault sağlanan gizli diziyle birlikte adla oluşturulur.
Azure SQL veritabanı adıyla ve sql demoSqlDB sunucusu adıyla demoSqlServeroluşturulur.

İş Yükü	Önkoşullar
Trino	Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik.
Flink	Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. 2. ADLS 2. Nesil depolama hesabı ve bir kapsayıcı. Rol atamaları: 1. Depolama hesabında kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atar.
Spark	Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. 2. ADLS 2. Nesil depolama hesabı ve bir kapsayıcı. Rol atamaları: 1. Depolama hesabında kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atar.
Hive Meta Veri Deposu (HMS) ile Trino, Flink veya Spark	Aşağıdaki gibi belirtilen kaynakları oluşturun: 1. Yönetilen Hizmet Kimliği (MSI): kullanıcı tarafından atanan yönetilen kimlik. 2. ADLS 2. Nesil depolama hesabı ve bir kapsayıcı. 3. Azure SQL Server ve SQL Veritabanı. 4. Azure Key Vault ve SQL Server yönetici kimlik bilgilerini depolamak için bir gizli dizi. Rol atamaları: 1. Depolama hesabında kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atar. 2. Key Vault'ta kullanıcı tarafından atanan MSI'ye "Key Vault Gizli Dizileri Kullanıcısı" rolü atar.

Not

Bu ARM şablonlarını kullanmak, kullanıcının yeni kaynaklar oluşturma ve abonelikteki kaynaklara rol atama iznine sahip olmasını gerektirir.

Azure portalı kullanarak

Kullanıcı tarafından atanan yönetilen kimlik (MSI) oluşturma

Yönetilen kimlik, kimlik bilgileri Azure tarafından yönetilen Microsoft Entra Id (Microsoft Entra ID) içinde kayıtlı bir kimliktir. Yönetilen kimliklerle, sertifikalar gibi kimlik bilgilerini korumak için hizmet sorumlularını Microsoft Entra Id'ye kaydetmeniz gerekmez.

AKS üzerinde HDInsight, farklı bileşenler arasındaki iletişim için kullanıcı tarafından atanan MSI'ye dayanır.

Depolama hesabı oluşturma – ADLS 2. Nesil

Depolama hesabı, küme günlükleri ve diğer çıkışlar için varsayılan konum olarak kullanılır. AdLS 2. Nesil depolama olarak kullanmak üzere depolama hesabı oluşturma sırasında hiyerarşik ad alanını etkinleştirin.

Rol atama: Bu depolama hesabında oluşturulan kullanıcı tarafından atanan MSI'ye "Depolama Blobu Veri Sahibi" rolü atayın.
Kapsayıcı oluşturma: Depolama hesabını oluşturduktan sonra depolama hesabında bir kapsayıcı oluşturun.

Not

Küme oluşturma sırasında kapsayıcı oluşturma seçeneği de kullanılabilir.

Azure SQL Veritabanı oluşturma

Küme oluşturma sırasında dış meta veri deposu olarak kullanılacak bir Azure SQL Veritabanı oluşturun veya var olan bir SQL Veritabanı kullanabilirsiniz. Ancak aşağıdaki özelliklerin ayarlandığından emin olun.

SQL Server ve SQL Veritabanı için etkinleştirilmesi gereken özellikler-

Kaynak Türü	Özellik	Açıklama
SQL Server	Kimlik doğrulama yöntemi	SQL Server oluştururken "Kimlik doğrulama yöntemi"ni şu şekilde kullanın:
SQL Veritabanı	Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver	Azure portalındaki SQL veritabanınızda Ağ dikey penceresi altında bu özelliği etkinleştirin.

Not

Şu anda yalnızca Azure SQL Veritabanı yerleşik meta veri deposu olarak destekliyoruz.
Hive sınırlaması nedeniyle meta veri deposu veritabanı adında "-" (kısa çizgi) karakteri desteklenmez.
Azure SQL Veritabanı kümenizle aynı bölgede olmalıdır.
Küme oluşturma sırasında SQL Veritabanı oluşturma seçeneği de kullanılabilir. Ancak, yeni oluşturulan veritabanının açılan listede görünmesini sağlamak için küme oluşturma sayfasını yenilemeniz gerekir.

Azure Key Vault oluşturma

Key Vault, SQL Veritabanı oluşturma sırasında ayarlanan SQL Server yönetici parolasını depolamanıza olanak tanır. AKS platformundaki HDInsight, kimlik bilgileriyle doğrudan ilgilenmez. Bu nedenle, önemli kimlik bilgilerinizi Key Vault'ta depolamanız gerekir.

Rol atama: Bu Key Vault'a gerekli kaynakların bir parçası olarak oluşturulan kullanıcı tarafından atanan MSI'ye "Key Vault Gizli Dizileri Kullanıcısı" rolü atayın.
Gizli dizi oluşturma: Bu adım, SQL Server yönetici parolanızı Azure Key Vault'ta gizli dizi olarak tutmanızı sağlar. Gizli dizi oluştururken parolanızı "Değer" alanına ekleyin.

Not

Küme oluşturma sırasında gerekli olduğundan gizli dizi adını not edin.
Azure portalını kullanarak Key Vault'ta gizli dizi eklemek için kimliğinize veya hesabınıza atanmış bir "Key Vault Yöneticisi" rolüne sahip olmanız gerekir. Key Vault'a gidin ve rolü atama adımlarını izleyin.

Aracılığıyla paylaş