Azure Databricks'e klasik işlem düzlemi özel bağlantısını yapılandırma

Azure Databricks çalışma alanınız için güvenli bir klasik hesaplama düzlemi Özel Bağlantı oluşturmak için Azure Özel Bağlantı'i kullanın. Bu bağlantı, klasik işlem düzlemi üzerindeki kümeler ile Azure Databricks denetim düzlemi üzerindeki temel hizmetler arasındaki trafiğin güvenliğini sağlar.

• Karma erişimi ve Azure Databricks'e gelen bağlantıyı etkinleştirmek için bkz. Gelen Özel Bağlantıyı Yapılandırma.
• Sunucusuz işlem düzleminden Azure kaynaklarına bağlanmak için bkz. Azure kaynaklarına özel bağlantı yapılandırma.

Neden yalnızca klasik bir işlem düzlemi Özel Bağlantı bağlantısı seçmelisiniz?

Klasik işlem düzlemi Özel Bağlantı bağlantısını yapılandırmak, veri işleme ortamınız için kritik güvenlik ve uyumluluk avantajları sağlar:

• Enhanced security: Azure Databricks kümelerinin genel İnternet üzerinden denetim düzlemiyle iletişim kurmasını engeller.
• Uyumluluk gereksinimleri: Tüm iç bulut trafiğinin özel ağda kalmasını gerektiren katı mevzuat ve kurumsal uyumluluk zorunluluğunun karşılanmasında yardımcı olur.
• Veri sızdırma denetimi: İşlem düzlemi bağlantısının güvenliğini sağlamak, veri sızdırma riskini azaltır.
• Genel IP adreslerini ortadan kaldırma: Kümelerinizde genel IP adresi olmayan tam özel bir işlem ortamını etkinleştirmek için güvenli küme bağlantısıyla çalışır.

Mimariye genel bakış

Klasik işlem düzlemi Özel Bağlantı kurulumunda, özel uç noktayı doğrudan çalışma alanı sanal ağınıza (sanal ağ) dağıtırsınız. Bu uç nokta, Azure Databricks kümelerine güvenli küme bağlantı geçişi gibi düzlem hizmetlerini denetlemek için özel bir yol sağlar. Tüm trafik Microsoft omurga ağı üzerinden akar ve asla genel İnternet'e dokunmaz.

Gereksinimler

• Çalışma alanı Premium planda olmalıdır.
• VNet injection ile dağıtılmış bir Azure Databricks çalışma alanınız var.
• Özel uç noktalar oluşturmak ve DNS kayıtlarını yönetmek için Azure izinlerine sahip olmanız gerekir.

Ağ yapılandırması

• Aşağıdakiler için yapılandırılmış bir aktarım sanal ağı:
  • Azure ağınıza bağlanan tüm kullanıcı/istemci trafiği için birincil geçiş noktası işlevi görür.
  • Şirket içi veya diğer dış ağlar için merkezi bağlantı sağlar.
  • Paylaşılan hizmetleri yönetir ve giden İnternet trafiği (çıkış) için birincil yolu içerir.
• Çalışma alanı sanal ağınızda özel uç noktalar için özel olarak ayrılmış bir alt ağ bulunmalıdır. Mevcut değilse, oluşturun.
• Özel DNS bölgeleriniz Azure DNS tarafından yönetilir.

En iyi yöntemler

Azure Databricks dayanıklı ve yönetilebilir bir kurulum için aşağıdakileri önerir:

• Mimari: Ağınız Microsoft tarafından önerilen merkez-uç mimarisini izlemelidir. Bkz. Azure'da merkez-uç ağ topolojisi.
• Yalıtılmış kimlik doğrulama çalışma alanı: Gelişmiş dayanıklılık için geçiş sanal ağınızın içinde ayrı bir tarayıcı kimlik doğrulama çalışma alanı oluşturun. Bu ayrılmış çalışma alanı özel uç noktayı barındırıyor browser_authentication ve diğer çalışma alanları silindiğinde tek bir hata noktasını engelliyor.

Yapılandırma yolları

Senaryonuzla eşleşen yolu seçin:

1. Seçenek: Yeni bir çalışma alanı için yapılandırma

1. Seçenek: Yeni bir çalışma alanı için yapılandırma

Klasik işlem düzlemi Özel Bağlantı bağlantısıyla yeni bir Azure Databricks çalışma alanı dağıtmak için bu adımları izleyin.

1. Adım: Kaynak grubu oluşturma

1. Azure portalında Kaynak grupları'nı seçin ve Oluştur'a tıklayın.
2. Kaynak grubunu adlandırın. Bölge'nin sanal ağınızın dağıtıldığı bölgeyle eşleştiğinden emin olun.

2. Adım: Sanal ağ oluşturma

Kendi Azure aboneliğinizde müşteri tarafından yönetilen bir sanal ağ veya çalışma alanı sanal ağı oluşturun. ** Azure Databricks, VNet enjeksiyonunu seçtiğinizde, işlem kaynaklarını doğrudan sahip olduğunuz bu özel ve güvenli ağ içinde dağıtır. 3. Adımda bu VNet'e ihtiyacınız vardır.

1. Sanal ağlar'a gidin ve Oluştur'a tıklayın.
2. Yeni oluşturduğunuz kaynak grubuna atayın ve açıklayıcı bir ad sağlayın.
3. Azure Databricks çalışma alanınızı barındırmak istediğiniz bölgeyi seçin.
4. Sanal ağ için IP adresi alanını tanımlayın, örneğin 10.10.0.0/16. gibi 10.10.1.0/24kendi aralığına sahip bir ilk alt ağ oluşturmanız istenir.
5. Gözden Geçir + Oluştur'u ve ardından Oluştur'u seçin.

3. Adım: Yeni çalışma alanı oluşturma

1. Azure portalında Azure Databricks'i arayın ve seçin. Oluştur'utıklayın.
2. Yeni oluşturduğunuz kaynak grubunu seçin. Bölge'nin kaynak grubu ve VNet ile uyup uymadığını doğrulayın.
3. Azure Databricks, Yönetilen kaynak grubu adına ön ek olarak "yönetilen" eklenmesini önerir.
4. Ağ Ayarları sekmesinde aşağıdakileri yapılandırın:
   1. Azure Databricks çalışma alanını Güvenli Küme Bağlantısı (Genel IP Yok) ile dağıtın: Evet'i seçin.
   2. Azure Databricks çalışma alanını kendi Sanal Ağınıza (VNet) dağıtın: Evet'i seçin.
   3. Daha önce oluşturduğunuz çalışma alanı VNet'ini seçin.
   4. Çalışma alanı için iki alt ağ oluşturun. Azure Databricks, her bir alt ağı private-worker-subnet veya public-host-subnet gibi kolayca tanınabilir bir şekilde adlandırmayı önerir.
   5. Genel Ağ Erişimine İzin Ver: Etkin'i seçin.
   6. Gerekli NSG Kuralları: Azure Databricks Kuralı Yok'a tıklayın.
   7. AZURE Databricks çalışma alanını NAT Gateway ile dağıtma: Hayır'ı seçin.

Not

Yalnızca klasik işlem düzlemi için bir Özel Bağlantı bağlantısı yapmak üzere No Azure Databricks Rules'u seçin.

4. Adım: Özel uç nokta oluşturma

1. Özel uç noktalar'a gidin.
   1. Özel uç noktalar'ın altında Ekle'ye tıklayın.
2. Uç noktayı databricks_ui_api yapılandırın.
   1. Ad: gibi private-endpoint-front-end-uiaçıklayıcı bir ad girin.
   2. Hedef alt kaynak: öğesini seçin databricks_ui_api.
   3. Sanal ağ: Çalışma alanınızın sanal ağını seçin.
      • Çalışma alanı sanal ağı ve ayrılmış özel uç nokta alt ağı, çalışma alanınızın klasik işlem düzlemi hizmetlerine özel olarak erişmesini sağlayan güvenli, doğrudan bir ağ yolu sağlar.
   4. Bölge: Bölgenin Azure Databricks çalışma alanınızla eşleştiğinden emin olun.

Dağıtımdan sonra Paylaşılan Adımlar'a geçin.

2. Seçenek: Var olan bir çalışma alanını yapılandırma

2. Seçenek: Var olan bir çalışma alanını yapılandırma

Önemli

Başlamadan önce, çalışma alanında kümeler ve SQL ambarları gibi tüm işlem kaynaklarını durdurun. Herhangi bir işlem kaynağı çalışıyorsa güncelleştirme başarısız olur.

1. Adım: Çalışma alanı ağ ayarlarını güncelleştirme

1. Azure portalında Azure Databricks çalışma alanınıza gidin.
2. Ayarlar altında Ağ Ayarları'na tıklayın.
3. Güvenli küme bağlantısının (Genel IP Yok)Evet olarak ayarlandığını onaylayın.
4. Gerekli NSG kurallarınıNoAzureDatabricksRules olarak değiştirin.
5. Kaydet'e tıklayın. Ağ güncelleştirmesinin tamamlanması 15 dakikadan uzun sürebilir.

2. Adım: Çalışma alanı VNet'inde özel uç nokta oluşturma

1. Çalışma alanınızın Ağ sekmesinde Özel uç nokta bağlantıları'nı seçin.
2. Özel uç nokta.
3. Uç nokta için kaynak grubunu seçin, gibi my-workspace-fe-pebir ad sağlayın ve bölgenin çalışma alanınızla eşleşip eşleşmediğini doğrulayın.
4. Kaynaklar sekmesinde Hedef alt kaynağını olarak databricks_ui_apiayarlayın.
5. Çalışma alanınızla ilişkilendirilmiş sanal ağı seçin.
6. Özel uç nokta alt ağınızı seçin.
7. Özel DNS bölgesiyle tümleştir seçeneğinin Evet olarak ayarlandığını doğrulayın. Azure bölgeyi otomatik olarak seçer privatelink.azuredatabricks.net . Henüz yoksa Azure bir yeni privatelink.azuredatabricks.net bölge gösterir.

Paylaşılan adımlar

1. Adım: DNS'i doğrulama

Yerleşik Azure özel DNS tümleştirmesini kullanırsanız, Azure çalışma alanınız için otomatik olarak bir DNS adresi kaydı oluşturur.

1. Özel DNS bölgesi kayıtlarını doğrulayın:
   1. Azure portalında adlı Özel DNS bölgesini arayın ve gezinin.
   2. Aşağıdaki A kayıtların mevcut olduğunu doğrulayın ve uç noktalarınızın özel IP adreslerine işaret edin:
      1. Çalışma alanı kullanıcı arabirimi/API kaydı:
         • Ad: Benzersiz çalışma alanı kimliğiniz, örneğin adb-xxxxxxxxxxxxxxxx.x
         • Değer: Özel uç noktanızın databricks_ui_api özel IP adresi.
      2. Tarayıcı kimlik doğrulama kaydı:
         • Ad: pl-auth.<your_region> gibi açıklayıcı bir ad seçin.
         • Değer: Özel uç noktanızın browser_authentication özel IP adresi.

Not

Çalışma alanı sanal ağınızdaki işlem kaynakları, çalışma alanı URL'sini genel IP'ye değil özel uç nokta IP'sine çözümlemelidir. privatelink.azuredatabricks.net Özel DNS bölgesini çalışma alanı sanal ağınıza bağlayın veya merkez-uç mimarisi kullanıyorsanız DNS iletmeyi yapılandırın.

2. Adım: Klasik işlem düzlemi Özel Bağlantı bağlantısını doğrulama

Bir küme başlatarak klasik işlem düzlemi Özel Bağlantı bağlantısını doğrulayın.

1. Azure Databricks çalışma alanınıza giriş yapın.
2. Kenar çubuğunda İşlem'e gidin.
3. İşlem oluştur'a tıklayın, bir ad verin ve Oluştur'a tıklayın.

Kümenin başlatılması birkaç dakika sürebilir. Başarılı bir küme başlangıcı iyi bir ilk denetimdir, ancak bağlantının çalıştığını tam olarak onaylamak için basit bir sorgu veya not defteri komutu çalıştırmanız gerekir.

• 10-15 dakika sonra küme başlatılamıyorsa ve küme olay günlüğü Cluster terminated. Reason: Control Plane Request Failure gibi bir hata gösteriyorsa, Özel Bağlantı kurulumunuz yanlış yapılandırılmıştır. Sorunu gidermek için bu sayfadaki adımları gözden geçirin.