Azure Databricks çalışma alanınızı şirket içi ağınıza bağlama
Bu makalede Azure Databricks çalışma alanınızdan şirket içi ağınıza nasıl bağlantı kurulacak gösterilmektedir. Trafik, aşağıdaki merkez-uç topolojisi kullanılarak bir geçiş sanal ağı (VNet) üzerinden şirket içi ağa yönlendirilir.
Bu kılavuzu izleyerek yardıma ihtiyacınız varsa Microsoft ve Databricks hesap ekiplerinize başvurun.
Gereksinimler
Azure Databricks çalışma alanınızın sanal ağ ekleme olarak da bilinen kendi sanal ağınıza dağıtılması gerekir.
1. Adım: Azure Sanal Ağ Gateway ile geçiş sanal ağı ayarlama
Bu yöntemlerden biri kullanılarak yapılandırılmış bir aktarım sanal asında Azure Sanal Ağ Ağ Geçidi (ExpressRoute veya VPN) gerekir. Zaten uygun bir ağ geçidiniz varsa Azure Databricks sanal ağını geçiş sanal ağıyla eşleme bölümüne atlayın.
Şirket içi ağınızla Azure arasında ExpressRoute'u zaten ayarladıysanız Azure portalını kullanarak ExpressRoute için sanal ağ geçidi yapılandırma sayfasındaki yordamı izleyin.
Aksi takdirde, Azure portalını kullanarak sanal ağdan sanal ağa VPN ağ geçidi bağlantısı yapılandırma bölümünde 1-5 arası adımları izleyin.
Yardıma ihtiyacınız varsa Microsoft hesabı ekibinize başvurun.
2. Adım: Azure Databricks sanal ağını geçiş sanal ağıyla eşleme
Azure Databricks çalışma alanınız Sanal Ağ Ağ Geçidi ile aynı sanal ağdaysa Kullanıcı tanımlı yollar oluşturma bölümüne atlayın ve bunları Azure Databricks sanal ağ alt ağlarınızla ilişkilendirin.
Aksi takdirde, Azure Databricks sanal ağını geçiş sanal ağıyla eşlemek için Sanal ağları eşleme başlığı altında yer alan yönergeleri izleyin ve aşağıdaki seçenekleri belirleyin:
- Azure Databricks sanal ağı tarafında Uzak Ağ Geçitleri'ni kullanın.
- Geçiş sanal ağı tarafında Ağ Geçidi Aktarımına izin verin.
Ayrıntılar için bkz . Eşleme oluşturma.
Not
Azure Databricks'e şirket içi ağ bağlantınız yukarıdaki ayarlarla çalışmıyorsa, sorunu çözmek için eşlemenin her iki tarafındaki İletilen Trafiğe İzin Ver seçeneğini de belirleyebilirsiniz.
Sanal ağ eşlemesi için VPN ağ geçidi aktarımını yapılandırma hakkında bilgi için bkz . Sanal ağ eşlemesi için VPN ağ geçidi aktarımını yapılandırma.
3. Adım: Kullanıcı tanımlı yollar oluşturma ve bunları Azure Databricks sanal ağ alt ağlarınızla ilişkilendirme
Azure Databricks VNet'ini aktarım sanal ağıyla eşledikten sonra Azure, geçiş sanal asını kullanarak tüm yolları otomatik olarak yapılandırıyor. Otomatik yapılandırma, küme düğümlerinden Azure Databricks denetim düzlemine dönüş yolunu içermez. Kullanıcı tanımlı yolları kullanarak bu özel yolları el ile oluşturmanız gerekir.
BGP yol yayma özelliğini etkinleştirerek bir yol tablosu oluşturun.
Özel yollar'daki yönergeleri kullanarak aşağıdaki hizmetler için kullanıcı tanımlı yollar ekleyin.
Çalışma alanı için güvenli küme bağlantısı (SCC) etkinleştirildiyse, denetim düzlemi NAT IP'si yerine SCC geçiş IP'sini kullanın.
Kaynak Adres ön eki Sonraki atlama türü Varsayılan Kontrol düzlemi NAT IP
(Yalnızca SCC devre dışıysa)İnternet Varsayılan SCC geçiş IP'si
(Yalnızca SCC etkinse)İnternet Varsayılan Web uygulaması IP'si İnternet Varsayılan Meta veri deposu IP'si İnternet Varsayılan Yapıt Blob depolama IP'si İnternet Varsayılan Günlük Blobu depolama IP'si İnternet Varsayılan Çalışma alanı depolama IP'si (ADLS) İnternet Varsayılan 6 Mart 2023'e kadar oluşturulan çalışma alanları için çalışma alanı depolama IP'si (Blob). İnternet Varsayılan Event Hubs IP İnternet Bu hizmetlerin her birinin IP adreslerini almak için Azure Databricks için kullanıcı tanımlı yol ayarları başlığı altında yer alan yönergeleri izleyin.
Kurulum doğrulanırken IP tabanlı yol başarısız olursa, tüm çalışma alanı depolama trafiğini Azure omurgası üzerinden yönlendirmek için Microsoft.Storage için bir hizmet uç noktası oluşturabilirsiniz. Bu yaklaşımı kullanırsanız, çalışma alanı depolama alanı için kullanıcı tanımlı yollar oluşturmanız gerekmez.
Not
Azure Databricks'ten Cosmos DB veya Azure Synapse Analytics gibi diğer PaaS Azure veri hizmetlerine erişmek için yol tablosuna bu hizmetler için kullanıcı tanımlı yollar eklemeniz gerekir. veya eşdeğer bir komut kullanarak
nslookupher uç noktayı IP adresine çözümleyin.Yönlendirme tablosunu alt ağ ile ilişkilendirme başlığındaki yönergeleri kullanarak yol tablosunu Azure Databricks sanal ağı genel ve özel alt ağlarınızla ilişkilendirin.
Özel yol tablosu Azure Databricks sanal ağ alt ağlarınızla ilişkilendirildikten sonra, ağ güvenlik grubundaki giden güvenlik kurallarını düzenlemeniz gerekmez. Örneğin, rotalar gerçek çıkışı denetleyeceği için giden kuralı daha belirgin hale getirmeniz gerekmez.
4. Adım: Kurulumu doğrulama
Kurulumu doğrulamak için:
Azure Databricks çalışma alanınızda bir küme oluşturun.
Küme oluşturma işlemi başarısız olursa, diğer yapılandırma seçeneklerini tek tek deneyerek kurulum yönergelerini gözden geçirin.
Yine de küme oluşturamıyorsanız, yol tablosunun tüm gerekli kullanıcı tanımlı yolları içerdiğini doğrulayın. ADLS 2. Nesil (6 Mart 2023 Azure Blob Depolama'den önce oluşturulan çalışma alanları için) için kullanıcı tanımlı yollar yerine hizmet uç noktalarını kullandıysanız, bu uç noktaları da denetleyin.
Yine de küme oluşturamıyorsanız yardım için Microsoft ve Databricks hesap ekiplerinize başvurun.
Aşağıdaki komutu kullanarak not defterinden şirket içi IP'ye ping gönderin:
%sh ping <IP>
Sorun gidermeyle ilgili daha fazla kılavuz için şu kaynaklara bakın:
İsteğe bağlı yapılandırma adımları
Seçenek: Sanal gereç veya güvenlik duvarı kullanarak Azure Databricks trafiğini yönlendirme
Azure Güvenlik Duvarı, Palo Alto veya Barracuda gibi bir güvenlik duvarı veya DLP gereci kullanarak Azure Databricks küme düğümlerinden giden tüm trafiği filtreleyebilirsiniz. Bu, güvenlik ilkelerini karşılamak için giden trafiği incelemenize ve izin verenler listesine tüm kümeler için nat benzeri tek bir genel IP veya CIDR eklemenize olanak tanır.
Güvenlik duvarınız veya DLP gereciniz için bu adımları gerektiği gibi ayarlayın:
NVA oluşturma başlığı altında yer alan yönergeleri kullanarak aktarım sanal ağı içinde bir sanal gereç veya güvenlik duvarı ayarlayın.
Birden çok çalışma alanı için tek bir güvenlik duvarı yapılandırmasına ihtiyacınız varsa, güvenlik duvarını mevcut özel ve genel alt ağlardan ayrı olan Azure Databricks sanal ağı içinde güvenli veya DMZ alt ağından oluşturabilirsiniz.
Özel yol tablosunda 0.0.0.0/0'a ek bir yol oluşturun.
Sonraki atlama türünü "Sanal Gereç" olarak ayarlayın.
Sonraki atlama adresini ayarlayın.
3. Adım: Kullanıcı tanımlı yollar oluşturma ve bunları Azure Databricks sanal ağ alt ağlarınızla ilişkilendirme bölümünde oluşturduğunuz yolları kaldırmayın. Tek bir istisna dışında: Tüm Blob trafiğinin güvenlik duvarı üzerinden yönlendirilmesi gerekiyorsa, Blob trafiğinin yollarını kaldırabilirsiniz.
Güvenli veya DMZ alt ağ yaklaşımını kullanıyorsanız, yalnızca DMZ alt ağıyla ilişkili ek bir yol tablosu oluşturabilirsiniz. Bu yol tablosunda 0.0.0.0'a bir yol oluşturun.
Trafiğin genel bir ağa yönelik olması durumunda bu yolun Sonraki atlama türünü İnternet'e veya trafik şirket içi ağa yönelikse Ağ Geçidi'ni Sanal Ağ olarak ayarlayın.
Güvenlik duvarı gerecinde izin verme ve reddetme kurallarını yapılandırın.
Blob depolama yollarını kaldırdıysanız, bu yolları güvenlik duvarındaki izin ver listesine ekleyin.
Kümeleriniz işletim sistemi depoları veya kapsayıcı kayıt defterleri gibi genel depolara bağımlıysa, bunları izin verenler listesine ekleyin.
İzin listeleri hakkında bilgi için bkz . Azure Databricks için kullanıcı tanımlı yol ayarları.
Seçenek: Özel DNS yapılandırma
Kendi sanal ağınızda dağıtılan Azure Databricks çalışma alanlarıyla özel DNS kullanabilirsiniz. Azure sanal ağı için özel DNS yapılandırma hakkında daha fazla bilgi için aşağıdaki Microsoft makalelerine bakın:
.. önemli: Azure yapıtlarının IP adreslerini çözümlemek için özel DNS'nizi bu istekleri Azure özyinelemeli çözümleyiciye iletecek şekilde yapılandırmanız gerekir.