Azure Databricks için kullanıcı tanımlı yol ayarları

Azure Databricks çalışma alanınız kendi sanal ağınıza (VNet) dağıtılmışsa, ağ trafiğinin çalışma alanınız için doğru şekilde yönlendirildiğinden emin olmak için kullanıcı tanımlı yollar (UDR) olarak da bilinen özel yollar kullanabilirsiniz. Örneğin, sanal ağı şirket içi ağınıza bağlıyorsanız trafik şirket içi ağ üzerinden yönlendirilebilir ve Azure Databricks denetim düzlemine ulaşamayabilir. Kullanıcı tanımlı yollar bu sorunu çözebilir.

Sanal ağdan her giden bağlantı türü için bir UDR'ye ihtiyacınız vardır. Kullanıcı tanımlı yollarınızda ağ erişim denetimlerini tanımlamak için hem Azure hizmet etiketlerini hem de IP adreslerini kullanabilirsiniz. Databricks, IP değişiklikleri nedeniyle hizmet kesintilerini önlemek için Azure hizmet etiketlerinin kullanılmasını önerir.

Azure hizmet etiketleriyle kullanıcı tanımlı yolları yapılandırma

Databricks, belirli bir Azure hizmetinden bir grup IP adresi ön ekini temsil eden Azure hizmet etiketleri kullanmanızı önerir. Microsoft, hizmet etiketi tarafından kapsadığı adres ön eklerini yönetir ve adresler değiştikçe hizmet etiketini otomatik olarak güncelleştirir. Bu, IP değişiklikleri nedeniyle hizmet kesintilerini önlemeye yardımcı olur ve bu IP'leri düzenli aralıklarla arama ve yönlendirme tablonuzda güncelleştirme gereksinimini ortadan kaldırır. Ancak, kuruluşunuzun ilkeleri hizmet etiketlerine izin vermediyse, isteğe bağlı olarak yolları IP adresleri olarak belirtebilirsiniz.

Hizmet etiketlerini kullanarak, kullanıcı tanımlı yollarınız aşağıdaki kuralları kullanmalı ve yol tablosunu sanal ağınızın genel ve özel alt ağlarıyla ilişkilendirmelidir.

Kaynak Adres ön eki Sonraki atlama türü
Varsayılan AzureDatabricks İnternet
Varsayılan Storage İnternet
Varsayılan EventHub İnternet

Not

Azure Databricks kümelerinden Azure kaynaklara Microsoft Entra ID kimlik doğrulamasını kolaylaştırmak için Microsoft Entra ID hizmet etiketini eklemeyi seçebilirsiniz.

Çalışma alanınızda Azure Özel Bağlantı etkinleştirildiyse, Azure Databricks hizmet etiketi gerekli değildir.

Azure Databricks hizmet etiketi, Azure Databricks denetim düzlemine, güvenli küme bağlantısına (SCC) ve Azure Databricks web uygulamasına gerekli giden bağlantıların IP adreslerini temsil eder. Ayrıca, eski Hive meta veri deposuna bağlanmaya izin vermek için ağ güvenlik grubunuzda çıkış trafiği için 3306 numaralı bağlantı noktasını açmanız gerekir.

Databricks, bu bağlantılar için Azure sağlanan hizmet etiketlerini kullanır. Azure Depolama hizmet etiketi, yapıtlar için Blob depolamaya ve günlükler için Blob depolamaya erişim sağlamak içindir; Azure Event Hubs hizmet etiketi ise günlükleri Azure Event Hubs’a kaydetmek içindir. Azure bu etiketleri hizmet düzeyinde tanımladığından, yalnızca Azure Databricks uç noktalarını değil tüm Azure Depolama ve Azure Event Hubs hizmetlerini kapsar.

Bazı hizmet etiketleri, IP aralıklarını belirtilen bir bölgeyle kısıtlayarak daha ayrıntılı denetime olanak sağlar. Örneğin, Batı ABD bölgelerindeki bir Azure Databricks çalışma alanı için yol tablosu şöyle görünebilir:

Veri Akışı Adı Adres ön eki Sonraki atlama türü
adb-servicetag AzureDatabricks İnternet
adb-storage Storage.WestUS İnternet
adb-eventhub EventHub.WestUS İnternet

Önemli

Bölge kapsamlı hizmet etiketleri kullanıyorsanız, bazı bölge uç noktalarının birincil depolama uç noktasından farklı bir Azure bölgesinde bulunabileceğini unutmayın. Örneğin, Doğu Japonya'daki bir çalışma alanının İkincil yapıt depolama alanı Batı Japonya'dadır. Bu durumda, ikincil bölge için de bir hizmet etiketi eklemeniz gerekir. Çalışma alanınızın bölgesinin FQDN'lerini gözden geçirmek için bkz. Meta veri deposu, yapıt Blob depolama, sistem tabloları depolama, günlük Blob depolama ve Event Hubs uç noktası IP adresleri.

Kullanıcı tanımlı yollar için gereken hizmet etiketlerini almak için bkz. Sanal ağ hizmet etiketleri.

IP adresleriyle kullanıcı tanımlı yolları yapılandırma

Databricks, Azure hizmet etiketleri kullanmanızı önerir, ancak kuruluş ilkeleriniz hizmet etiketlerine izin vermiyorsa, kullanıcı tanımlı yollarınızda ağ erişim denetimleri tanımlamak için IP adreslerini kullanabilirsiniz.

Ayrıntılar, çalışma alanı için güvenli küme bağlantısının (SCC) etkinleştirilip etkinleştirilmediğine bağlı olarak değişir:

  • Çalışma alanı için güvenli küme bağlantısı etkinleştirildiyse, kümelerin denetim düzlemindeki güvenli küme bağlantı geçişine bağlanmasına izin vermek için bir UDR'ye ihtiyacınız vardır. Bölgeniz için SCC geçiş IP'si olarak işaretlenmiş sistemleri eklediğinizden emin olun.
  • Çalışma alanı için güvenli küme bağlantısı devre dışı bırakılırsa, Denetim Düzlemi NAT'sinden gelen bir bağlantı vardır; ancak, bu bağlantıya yönelik düşük seviyeli TCP SYN-ACK, UDR gerektiren giden veri olarak kabul edilir. Bölgeniz için Denetim Düzlemi NAT IP'si olarak işaretlenmiş sistemleri eklediğinizden emin olun.

Kullanıcı tanımlı yollarınız aşağıdaki kuralları kullanmalıdır ve yol tablosunu sanal ağınızın genel ve özel alt ağlarıyla ilişkilendirmelidir.

Kaynak Adres ön eki Sonraki atlama türü
Varsayılan Kontrol düzlemi NAT IP'si (SCC devre dışıysa) İnternet
Varsayılan SCC geçiş IP'si (SCC etkinse) İnternet
Varsayılan Web uygulaması IP'si İnternet
Varsayılan Metastore IP'si İnternet
Varsayılan Artifact Blob depolama IP'si İnternet
Varsayılan Günlük Blobu depolama IP'si İnternet
Varsayılan Çalışma alanı depolama IP - Blob Depolama uç noktası İnternet
Varsayılan Çalışma alanı depolama IP'si - ADLS (dfs) uç noktası İnternet
Varsayılan Event Hubs IP İnternet

Çalışma alanınızda Azure Özel Bağlantı etkinleştirilirse, kullanıcı tanımlı yollarınız aşağıdaki kuralları kullanmalı ve yol tablosunu sanal ağınızın genel ve özel alt ağlarıyla ilişkilendirmelidir.

Kaynak Adres ön eki Sonraki atlama türü
Varsayılan Metastore IP'si İnternet
Varsayılan Artifact Blob depolama IP'si İnternet
Varsayılan Günlük Blobu depolama IP'si İnternet
Varsayılan Event Hubs IP İnternet

Kullanıcı tanımlı yollar için gereken IP adreslerini almak için Azure Databricks bölgelerindeki tabloları ve yönergeleri kullanın, özellikle:

  • Last updated on