Aracılığıyla paylaş

Dış tablolarla çalışma

Unity Kataloğu'nda dış tablo, veri dosyalarını bulut kiracınızdaki bulut nesne depolama alanında depolar. Unity Kataloğu tablonun meta verilerini yönetmeye devam ederek tüm sorgularda tam veri idaresi sağlar. Ancak, verilerin yaşam döngüsünü, iyileştirmesini, depolama konumunu veya düzenini yönetmez.

Unity Kataloğu dış tablosu tanımlarken bir depolama konumu belirtmeniz gerekir. Bu konum, Unity Kataloğu'nda kayıtlı bir dış konumdur . Dış tabloyu bıraktığınızda Unity Kataloğu tablo meta verilerini kaldırır ancak temel alınan veri dosyalarını silmez.

Bu makale Unity Kataloğu dış tablolarına odaklanır. Eski Hive meta veri deposundaki dış tabloların farklı davranışları vardır. Bkz. Eski Hive meta veri deposundaki veritabanı nesneleri.

Dış tablolar ne zaman kullanılır?

Databricks, aşağıdaki kullanım örnekleri için dış tabloların kullanılmasını önerir:

  • Unity Catalog ile yönetilen tablolarla uyumlu olmayan mevcut veriler tarafından desteklenen bir tabloyu kaydetmeniz gerekir.
  • Ayrıca, diğer dış erişim desenlerini desteklemeyen Databricks dışı istemcilerden gelen verilere doğrudan erişim de gerekir. Unity Kataloğu ayrıcalıkları, kullanıcılar dış sistemlerden veri dosyalarına eriştiğinde uygulanmaz. Bkz. dış sistemleri kullanarak Databricks verilerine erişme.

Çoğu durumda Databricks, otomatik tablo iyileştirme, daha hızlı sorgu performansı ve daha düşük maliyetlerden yararlanmak için Unity Kataloğu yönetilen tablolarının kullanılmasını önerir. Dış tabloları yönetilen tablolara geçirmek için bkz. Dış tabloyu yönetilen Unity Kataloğu tablosuna dönüştürme.

Önemli

Databricks dışı bir istemci kullanarak veya Databricks'in içinden yol tabanlı erişim kullanarak dış tablo meta verilerini güncelleştirirseniz, bu meta veriler Unity Kataloğu ile durumu otomatik olarak eşitlemez. Databricks bu tür meta veri güncelleştirmelerine karşı öneride bulunur, ancak bunu yaparsanız, Unity Kataloğu'nda şemayı güncel hale getirmek için MSCK REPAIR TABLE <table-name> SYNC METADATA çalıştırmanız gerekir. Bkz. REPAIR TABLE.

Dış tablolar için dosya biçimleri

Dış tablolar aşağıdaki dosya biçimlerini kullanabilir:

  • DELTA
  • CSV
  • JSON veri formatı
  • AVRO
  • PARKE
  • Ork
  • METİN

Dış tablo oluşturma

SQL komutlarını veya DataFrame yazma işlemlerini kullanarak dış tablolar oluşturabilirsiniz.

başlamadan önce

Dış tablo oluşturmadan önce bulut depolama alanınıza erişim izni veren bir dış konum yapılandırmanız gerekir.

Dış konumları yapılandırma hakkında daha fazla bilgi için bkz. Bulut depolama alanını Azure Databricks'e bağlamak için dış konum oluşturma.

Dış tablo oluşturmak için aşağıdaki izin gereksinimlerini karşılamanız gerekir:

  • Dış tablo tarafından erişilen CREATE EXTERNAL TABLE erişim sağlayan bir dış konumdaki LOCATION ayrıcalığı.
  • USE CATALOG tablonun ana kataloğundaki izin.
  • USE SCHEMA Tablonun ana şeması üzerindeki izin.
  • CREATE TABLE Tablonun ana şeması üzerindeki izin.

Uyarı

S3 dış konumu birden çok meta veri deposuyla ilişkilendirildiğinde, farklı meta veri depolarından aynı dış tabloya yazma işlemleri tutarlılık sorunlarına neden olabileceğinden, bu S3 konumunu kullanan tablolara yazma erişimi vermekten kaçının. Ancak, birden çok meta veri deposu arasında aynı S3 dış konumundan okuma güvenlidir.

SQL komut örnekleri

Dış tablo oluşturmak için bir not defterinde veya SQL sorgu düzenleyicisinde aşağıdaki komut örneklerinden birini kullanın.

Aşağıdaki örneklerde yer tutucu değerlerini değiştirin:

  • <catalog>: Tabloyu içerecek kataloğun adı.
  • <schema>: Tabloyu içerecek şemanın adı.
  • <table-name>: Tablonun adı.
  • <column-specification>: Her sütunun adı ve veri türü.
  • <bucket-path>: Tablonun oluşturulacağı bulut depolama demetinin yolu.
  • <table-directory>: Tablonun oluşturulacağı dizin. Her tablo için benzersiz bir dizin kullanın.

ADLS

CREATE TABLE <catalog>.<schema>.<table-name>
(
  <column-specification>
)
LOCATION 'abfss://<bucket-path>/<table-directory>';

S3

CREATE TABLE <catalog>.<schema>.<table-name>
(
  <column-specification>
)
LOCATION 's3://<bucket-path>/<table-directory>';

Tablo oluşturma parametreleri hakkında daha fazla bilgi için bkz. CREATE TABLE.

DataFrame yazma işlemleri

Sorgu sonuçlarından veya DataFrame yazma işlemlerinden dış tablolar da oluşturabilirsiniz. DataFrames ile tablo oluştururken dış depolama yolunu belirtmek için yan tümcesini LOCATION kullanın.

Aşağıdaki SQL söz dizimi seçenekleri DataFrame işlemleriyle çalışır:

Dış tabloyu sil

Bir tabloyu silmek için sahibi olmalısınız veya tabloda MANAGE ayrıcalığına sahip olmalısınız. Dış tabloyu bırakmak için aşağıdaki SQL komutunu çalıştırın:

DROP TABLE IF EXISTS catalog_name.schema_name.table_name;

Unity Kataloğu, dış tabloyu bıraktığınızda bulut depolamadaki temel verileri silmez. Tabloyla ilişkili verileri kaldırmanız gerekiyorsa, temel alınan veri dosyalarını doğrudan silmeniz gerekir.

Örnek not defteri: Dış tablolar oluşturma

Katalog, şema ve dış tablo oluşturmak ve bunlar üzerindeki izinleri yönetmek için aşağıdaki örnek not defterini kullanabilirsiniz.

Unity Kataloğu not defterinde dış tablo oluşturma ve yönetme

Not defterini al

  • Last updated on