OpenSharing çıkış maliyetlerini izleme ve yönetme (sağlayıcılar için)

Bu sayfada OpenSharing kullanarak veri ve yapay zeka varlıklarını paylaşırken bulut satıcısı çıkış maliyetlerini izlemek ve yönetmek için kullanabileceğiniz araçlar açıklanmaktadır.

Diğer veri paylaşım platformlarından farklı olarak, OpenSharing veri çoğaltması gerektirmez. Bu modelin birçok avantajı vardır, ancak bulut satıcınız verileri bulutlar veya bölgeler arasında paylaştığınızda veri çıkış ücretleri alabilir. Bir bölgedeki verileri ve yapay zeka varlıklarını paylaşmak için OpenSharing kullanıyorsanız çıkış maliyeti ödemezsiniz.

SecureConnect kullanıyorsanız veri aktarımını bulut sağlayıcınız yerine Azure Databricks faturalandırır.

Databricks çıkış ücretlerini izlemek ve yönetmek için şunları sağlar:

• Çıkış ücretlerini önlemek için bölgeler arasında veri çoğaltma yönergeleri.
• Çıkış ücretlerini önlemek için Cloudflare R2 depolama desteği.

Çıkış maliyetlerini önlemek için verileri çoğaltın

Çıkış maliyetlerinden kaçınmaya yönelik bir yaklaşım, sağlayıcının alıcılarının kullandığı bölgelerde paylaşılan verilerin yerel çoğaltmalarını oluşturup eşitlemesidir. Diğer bir yaklaşım da alıcıların paylaşılan verileri etkin sorgulama için yerel bölgelere kopyalaması ve paylaşılan tablo ile yerel kopya arasında eşitlemeler ayarlamasıdır. Bu bölümde bir dizi çoğaltma deseni ele alınmaktadır.

Artımlı çoğaltma için Delta derin klonu kullanma

Sağlayıcılar, Delta tablolarını paylaştıkları bölgelerdeki dış konumlara çoğaltmak için DEEP CLONE kullanabilir. Derin kopyalar, kaynak tablo verilerini ve meta verilerini klonlama hedefine aktarır. Derin kopyalamalar, kaynak tablodaki yeni verileri tanımlayıp hedefi buna göre yenileyerek artımlı güncelleştirmeleri de etkinleştirir.

CREATE TABLE [IF NOT EXISTS] table_name DEEP CLONE source_table_name
   [TBLPROPERTIES clause] [LOCATION path];

Aşağıdaki komutu kullanarak, paylaşılan tablodaki son güncelleştirmelerle hedef tablo verilerini artımlı olarak yenilemek için bir Databricks işi zamanlayabilirsiniz:

CREATE OR REPLACE TABLE table_name DEEP CLONE source_table_name;

Azure Databricks'te bir tabloyu nasıl kopyalayacağınızı öğrenmek için Azure Databricks'te Tablo Kopyalama ve Lakeflow İşleri sayfalarına bakın.

Artımlı çoğaltma için paylaşılan tablolarda değişiklik veri akışını (CDF) etkinleştirme

Bir tablo CDF'si ile paylaşıldığında, alıcı değişikliklere erişebilir ve bunları kullanıcıların sorgu gerçekleştirdiği tablonun yerel bir kopyasıyla birleştirebilir. Bu senaryoda, verilere alıcı erişimi bölge sınırlarını aşmaz ve çıkış, yerel kopyayı yenilemeyle sınırlıdır. Alıcı Databricks'teyse, değişiklikleri yerel çoğaltmaya yaymak için Databricks İş Akışı görevini kullanabilir.

Bir tabloyu CDF ile paylaşmak için, tabloda CDF'yi etkinleştirmeniz ve ardından tablonun kendisini WITH HISTORYile paylaşmanız gerekir.

CDF kullanma hakkında daha fazla bilgi için bkz. Azure Databricks değişiklik veri akışını kullanma ve Paylaşıma tablo ekleme.

Cloudflare R2 çoğaltmalarını kullanma veya depolamayı R2'ye geçirme

Cloudflare R2 nesne depolaması çıkış ücreti ödemez. Paylaştığınız verilerin R2'ye çoğaltılması veya geçirilmesi, çıkış ücreti ödemeden OpenSharing kullanarak veri paylaşmanızı sağlar. Ancak bu, yine de çıkış maliyetlerine neden olabilecek olan görüş paylaşımı için geçerli değildir. Bu bölümde, verilerin R2 konumuna nasıl çoğaltıldığı ve kaynak tablolardan artımlı güncelleştirmelerin nasıl etkinleştirileceği açıklanmaktadır.

Requirements

• Unity Kataloğu için etkinleştirilen Databricks çalışma alanı.
• Databricks Runtime 14.3 veya üzeri ya da SQL Veri Ambarı 2024.15 veya üzeri.
• Cloudflare hesabı. Bkz. https://dash.cloudflare.com/sign-up.
• Cloudflare R2 Yönetici rolü. Cloudflare rol dökümantasyonuna bakın.
• Çalışma alanına bağlı Unity Kataloğu meta veri deposunda CREATE STORAGE CREDENTIAL ayrıcalığı. Hesap yöneticileri ve meta veri deposu yöneticileri varsayılan olarak bu ayrıcalığı alır.
• CREATE EXTERNAL LOCATION hem meta veri deposunda hem de dış konumda referans verilen depolama kimlik bilgileri üzerinde ayrıcalık. Meta veri deposu yöneticileri bu ayrıcalığı varsayılan olarak alır.
• CREATE MANAGED STORAGE harici konum üzerindeki ayrıcalık.
• CREATE CATALOG üzerinde. Meta veri deposu yöneticileri bu ayrıcalığı varsayılan olarak alır.

Cloudflare R2 için sınırlamalar

Sağlayıcılar sıvı kümeleme ve V2 denetim noktası kullanan R2 tablolarını paylaşamaz.

Azure Databricks'te dış konum olarak R2 demeti bağlama

1. Cloudflare R2 bucket oluşturun.

   Bkz. 1. Adım: bir R2 bucket'ını yapılandırın.

2. Unity Kataloğu'nda R2 demetine erişim sağlayan bir depolama kimlik bilgisi oluşturun.

   Bkz . 2. Adım: Depolama kimlik bilgilerini oluşturma.

3. Unity Kataloğu'nda dış konum oluşturmak için depolama kimlik bilgilerini kullanın.

   Bkz . 3. Adım: Dış konumu oluşturma.

Dış konumu kullanarak yeni katalog oluşturma

Yönetilen depolama konumu olarak yeni dış konumu kullanan bir katalog oluşturun.

Bkz. Kataloglar oluştur.

Kataloğu oluştururken aşağıdakileri yapın:

Katalog Tarayıcısı

• Standart katalog türünü seçin.
• depolama konumualtında, depolama konumu seçin’u seçin ve dış konum olarak tanımladığınız R2 haznesinin yolunu girin. Örneğin, r2://mybucket@my-account-id.r2.cloudflarestorage.com

SQL

Tanımladığınız R2 kovasının yolunu harici konum olarak kullanın. Örneğin:

  CREATE CATALOG IF NOT EXISTS my-r2-catalog
    MANAGED LOCATION 'r2://mybucket@my-account-id.r2.cloudflarestorage.com'
    COMMENT 'Location for managed tables and volumes to share using Delta Sharing';

Paylaşmak istediğiniz verileri yeni katalogdaki bir tabloya kopyalama

Azure Data Lake Storage'daki tabloları yönetilen depolama için R2 kullanan yeni kataloğa çoğaltmak için DEEP CLONE kullanın. Derin kopyalar, kaynak tablo verilerini ve meta verilerini klonlama hedefine aktarır. Derin kopyalamalar, kaynak tablodaki yeni verileri tanımlayıp hedefi buna göre yenileyerek artımlı güncelleştirmeleri de etkinleştirir.

CREATE TABLE IF NOT EXISTS new_catalog.schema1.new_table DEEP CLONE old_catalog.schema1.source_table
  LOCATION 'r2://mybucket@my-account-id.r2.cloudflarestorage.com';

Aşağıdaki komutu kullanarak kaynak tablodaki son güncelleştirmelerle hedef tablo verilerini artımlı olarak yenilemek için bir Databricks işi zamanlayabilirsiniz:

CREATE OR REPLACE TABLE new_catalog.schema1.new_table DEEP CLONE old_catalog.schema1.source_table;

Azure Databricks'te bir tabloyu nasıl kopyalayacağınızı öğrenmek için Azure Databricks'te Tablo Kopyalama ve Lakeflow İşleri sayfalarına bakın.

Yeni tabloyu paylaşma

Paylaşımı oluşturduğunuzda, R2'de depolanan yeni katalogdaki tabloları ekleyin. İşlem, bir paylaşıma herhangi bir tablo eklemekle aynıdır.

Bkz. OpenSharing için paylaşım oluşturma.