SecureConnect ile güvenlik duvarının arkasında veri paylaşma

Important

Bu özellik Genel Önizleme aşamasındadır.

Bu sayfada sağlayıcıların openSharing SecureConnect'i her alıcının ağına izin vermek zorunda kalmadan güvenlik duvarının veya özel uç noktanın arkasındaki bulut depolamadan veri paylaşmak için nasıl ayarladığı açıklanmaktadır.

SecureConnect nasıl çalışır?

Bir Azure Databricks hesabında SecureConnect'i etkinleştirmeden önce sağlayıcı tek seferlik yapılandırma yapar. Bu yapılandırma, Azure Databricks alıcıların bir güvenlik duvarının veya özel uç noktanın arkasındaki sağlayıcının depolama alanına erişmesine olanak tanır. Azure Databricks sonra alıcı isteklerini yönetilen bir ara sunucu üzerinden yönlendirir, böylece sağlayıcının yeni bir alıcı eklerken depolama güvenlik duvarını güncelleştirmesi gerekmez.

Alıcılar, mevcut OpenSharing kurulumlarını kullanarak paylaşılan verilere erişiyor:

  • Azure Databricks alıcıları, sağlayıcı başına güvenlik duvarı değişikliği gerektirmeden sunucusuz işlem üzerinde paylaşımlara erişir.
  • Klasik işlem kullanan Azure Databricks alıcıları ve açık alıcılar, sağlayıcının bölgesi için tek bir Azure Databricks denetim düzlemi IP adresleri kümesini izin verilenler listesine ekler.

SecureConnect olmadan, sağlayıcının her alıcının ağ tanımlayıcısını depolama güvenlik duvarına eklemesi ve her yeni alıcı için alıcı ve bulut platformu yöneticisiyle koordine olması gerekir.

Requirements

SecureConnect'i sağlayıcı olarak ayarlama

SecureConnect'in ayarlanması, depolama güvenlik duvarınızı erişime izin verecek şekilde yapılandırmayı ve meta veri depolarınız ve alıcılarınız için SecureConnect'i etkinleştirmeyi içerir.

1. Adım: Depolama güvenlik duvarınızı yapılandırma

Aşağıdaki yönergelerde, paylaşılan varlıklarınızın ve sağlayıcı meta veri deponuzun aynı bölgede olduğu varsayılır. En düşük ağ maliyetleri için, paylaşılan varlıklarınızın bölgesini sağlayıcı meta veri deposu bölgenizle aynı tutun.

SecureConnect, sunucusuz veri düzlemi aracılığıyla depolamanıza erişir. Depolama alanınızın genel veya özel bir ağda olup olmadığına bağlı olarak aşağıdaki kurulum seçeneklerinden birini izleyin.

1. Seçenek: Ortak ağda depolama

Depolama alanınıza genel ağ üzerinden erişilebilir durumdaysa bu seçeneği kullanın. Depolama alanınız özel bir uç noktanın arkasındaysa aşağıdaki bölüme bakın.

Azure Databricks'in kaynaklarınıza erişmesine izin vermek için Azure kaynağınızı geçiş modunda bir ağ güvenlik çevresiyle ilişkilendirin ve AzureDatabricksServerless.{region} sağlayıcının denetim düzlemi bölgesi olmak üzere {region} hizmet etiketini izin listesine ekleyin. bkz. Azure kaynakları için Azure ağ güvenlik çevresi (NSP) yapılandırma.

Seçenek 2: Özel bir ağda depolama

Paylaşılan depolama alanınız özel bir uç noktanın arkasındaysa ve genel ağdan erişilemiyorsa bu seçeneği kullanın.

Hesap yöneticisinin bir ağ bağlantısı yapılandırması (NCC) yapılandırması ve paylaşılan verilerinizi barındıran meta veri deposuna eklemesi gerekir. NCC'ler hakkında daha fazla bilgi için bkz. Ağ bağlantısı yapılandırması (NCC) nedir?.

Çalışma alanına eklenen NCC meta veri deposuna eklenemez. OpenSharing için bir meta veri deposuna uygulanan NCC, meta veri deposuna eklenen tüm paylaşımlar için geçerlidir.

Depolama hesabınız için bir NCC ve özel uç nokta kuralları oluşturun, ancak NCC'yi çalışma alanına eklemeyin. SecureConnect ayrıca hem bir blobdfs hem de özel uç nokta kuralı gerektirir, bu nedenle her alt kaynak türü için özel bir uç nokta kuralı oluşturun.

Bkz. NCC ve özel uç nokta kurulumu için Azure kaynaklarına özel bağlantı yapılandırma.

NCC'yi OpenSharing meta veri deponuza ekleyin:

  1. Azure Databricks hesap yöneticisi olarak hesap konsoluna gidin.
  2. Kenar çubuğunda Veri simgesine tıklayın.Katalog'a gidin.
  3. Ayrıntılarını açmak için OpenSharing meta veri deposunun adına tıklayın.
  4. OpenSharing Network connectivity configuration (NCC) altındaDüzenle'ye tıklayın.
  5. OpenSharing için oluşturduğunuz NCC'yi arayın ve seçin.
  6. Kaydet'e tıklayın.

Important

Meta veri deposuna NCC ekleyemiyorsanız, NCC kullanarak OpenSharing SecureConnect için özel bağlantıyı etkinleştirmek üzere Databricks hesap ekibinize başvurun.

2. Adım: Meta veri deposunda SecureConnect'i etkinleştirme

Meta veri deposu yöneticisi meta depoyu yapılandırarak yeni alıcıların SecureConnect'i otomatik olarak kullanmasını sağlayabilir. Varsayılan olarak, yeni ve mevcut alıcılar SecureConnect'e kaydedilmez. Mevcut alıcıları ayrı olarak yapılandırmanız gerekir. Bkz . 3. Adım: Tek tek alıcılar için SecureConnect'i etkinleştirme.

Meta veri deposunda SecureConnect'i etkinleştirmek için:

  1. Azure Databricks çalışma alanınızda katalog gezginini açmak için Data icon.Catalog öğesine tıklayın.

  2. Katalog bölmesinin üst kısmında Dişli simgesine tıklayın. dişli simgesine tıklayın ve AçSharing'i seçin.

    Alternatif olarak, sağ üst köşede Paylaş > OpenSharing öğesine tıklayın.

  3. Sağ üst köşedeki Ayarlar'a tıklayın.

  4. Yeni alıcılar için SecureConnect'i etkinleştir ayarını açın.

  5. Kaydet'e tıklayın.

3. Adım: Tek tek alıcılar için SecureConnect'i etkinleştirme

Alıcı sahipleri ve USE_RECIPIENT ayrıcalığına sahip kullanıcılar, SecureConnect'i her alıcı için açabilir veya kapatabilir. Meta veri deposu, alıcı oluşturulduğunda tüm yeni alıcılar için etkinleştirecek şekilde ayarlanmadığı sürece, SecureConnect varsayılan olarak alıcıda devre dışı bırakılır.

Alıcıda SecureConnect'i yapılandırmak için:

  1. Azure Databricks çalışma alanınızda Veri simgesine tıklayın.Katalog'a gidin.

  2. Katalog bölmesinin üst kısmında Dişli simgesine tıklayın. dişli simgesine tıklayın ve AçSharing'i seçin.

    Alternatif olarak, sağ üst köşede Paylaş > OpenSharing öğesine tıklayın.

  3. Benim paylaştığım sekmesinde Alıcılar sekmesine tıklayın.

  4. İstenen her alıcı için SecureConnect'i açın.

(İsteğe bağlı) 4. Adım: AÇıK alıcı erişimini IP ACL'leriyle kısıtlama

Açık alıcılar için, IP erişim listelerini kullanarak Hangi istemci IP adreslerinin SecureConnect'e erişmesine izin verebileceğini kısıtlayabilirsiniz. IP ACL'leri yalnızca açık alıcılar için geçerlidir.

SecureConnect ile IP ACL'leri hem OpenSharing uç noktası erişimine hem de depolama erişimine uygulanır. SecureConnect olmadan, IP ACL'leri yalnızca OpenSharing uç noktası erişimini kısıtlar; depolama URL'lerine herhangi bir istemci IP'sinden erişilebilir durumda kalır.

Kurulum yönergeleri için bkz. IP erişim listelerini kullanarak OpenSharing alıcı erişimini kısıtlama (Databricks-To-Open sharing).

Note

SecureConnect özellikli açık alıcıların IP ACL değişikliklerinin geçerlilik kazanması 10 dakika kadar sürebilir.

Desteklenen paylaşım senaryoları

Important

Desteklenmeyen tüm özellikler, alıcı işlemden depolamaya doğrudan erişime geri döner. Sağlayıcının depolama güvenlik duvarında alıcı IP'lerine el ile erişim vermesi gerekir. Bkz. OpenSharing Databricks-to-Databricks protokolü nedir? veya Databricks-to-Open paylaşım protokolü nedir?.

SecureConnect AWS, Azure ve GCP ile paylaşımı destekler.

mTLS to SecureConnect yalnızca sunucusuz alıcı kümeleri için desteklenir.

Özellik desteği

Özellik D2O (token) D2O (OIDC)* D2O (Iceberg) D2D (sunucusuz) D2D (klasik)
Geçmişe sahip ve bölümleri olmayan tablolar ✓ ✓ ✗ ✓** ✓**
Geçmişi olmayan veya bölümlenmiş tablolar ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✓ *** ✓
Harici veritabanı tabloları ✓ ✓ ✗ ✓ ✓
Gerçekleştirilmiş görünümler ✓ ✓ ✗ ✓*** ✓
Akış tabloları ✓ ✓ ✗ ✓*** ✓
Volumes ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
Yapay zeka modelleri ✗ ✗ ✗ ✗ ✗

* Alıcı aynı zamanda Azure Databricks olduğunda OIDC paylaşımı şu anda çalışmıyor.

** SecureConnect için bulut belirteci iyileştirmesi kullanılamaz.

*** Bu varlıklar sağlayıcı tarafında somutlaştırılır ve filtrelenir. Bkz. Alıcıların paylaşılan görünümlerdeki, gerçekleştirilmiş görünümlerdeki ve akış tablolarındaki temel verilere doğrudan erişimi var mı?.

Limitations

  • Varlıklarınız Cloudflare R2 depolama alanı tarafından yedeklenemez.

mTLS desteği ve Databricks-Open paylaşım kısıtlamaları gibi alıcı tarafı sınırlamaları için bkz. Sınırlamalar.

Desteklenmeyen bölgeler

SecureConnect Azure Çin, Azure Kamu veya aşağıdaki Azure bölgelerinde kullanılamaz:

  • australiacentral
  • australiacentral2
  • japanwest
  • qatarcentral
  • southindia
  • switzerlandwest
  • ukwest
  • westindia

Billing

Sağlayıcılar SecureConnect aracılığıyla veri aktarımı için faturalandırılır. Bkz. Veri aktarımı ve bağlantı fiyatlandırması.

Alıcı başına kullanım, faturalama sistemi tablosundaki recipient_id alan aracılığıyla ilişkilendirilir, böylece sağlayıcılar faturalanabilir SecureConnect kullanımını alıcıya göre ayırabilir. Bkz. Faturalanabilir kullanım sistemi tablosuna atıf.

Aşağıdaki sorgu, son 7 gün içinde her alıcı için SecureConnect veri çıkışını (GB olarak) döndürür:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Kullanımı maliyete dönüştürmek için fiyatlandırma sistemi tablosu ile birleştirin. Fiyatlandırma sistemi tablosu referansı için bkz. .

Ek kaynaklar

  • Last updated on