Unity Kataloğunu Yapılandırılmış Akış ile Kullanma

Makale
11/01/2024

Azure Databricks'te artımlı ve akış iş yüklerinizin veri idaresini yönetmek için Unity Kataloğu ile Yapılandırılmış Akış'ı kullanın. Bu belgede desteklenen işlevler özetlenmektedir ve Unity Kataloğu ile Yapılandırılmış Akış'ı birlikte kullanmak için en iyi yöntemler önerilir.

Unity Kataloğu hangi Yapılandırılmış Akış işlevini destekler?

Unity Kataloğu, Azure Databricks'te kullanılabilen Yapılandırılmış Akış kaynakları ve havuzları için herhangi bir açık sınır eklemez. Unity Kataloğu veri idaresi modeli, Unity Kataloğu'nda yönetilen ve dış tablolardan veri akışı yapmanızı sağlar. Nesne depolama URI'lerini kullanarak verilerle etkileşim kurmak için Unity Kataloğu tarafından yönetilen dış konumları da kullanabilirsiniz. Tablo adlarını veya dosya yollarını kullanarak dış tablolara yazabilirsiniz. Unity Kataloğu'nda tablo adını kullanarak yönetilen tablolarla etkileşim kurmanız gerekir.

Yapılandırılmış Akış denetim noktaları için yollar belirtirken Unity Kataloğu tarafından yönetilen dış konumları kullanın. Depolamayı Unity Kataloğu ile güvenli bir şekilde bağlama hakkında daha fazla bilgi edinmek için bkz . Unity Kataloğu'nu kullanarak bulut nesne depolamasına bağlanma.

Yapılandırılmış akış özelliği desteği, çalıştırdığınız Databricks Runtime sürümüne ve atanmış veya paylaşılan küme erişim modunu kullanmanıza bağlı olarak farklılık gösterir. Ayrıntılar için bkz . Unity Kataloğu için akış sınırlamaları.

Unity Kataloğu'nda Yapılandırılmış Akış'ın kullanıldığı uçtan uca tanıtım için bkz . Öğretici: Uçtan uca göl evi analiz işlem hattı çalıştırma.

Unity Kataloğu'nda hangi Yapılandırılmış Akış işlevselliği desteklenmez?

Unity Kataloğu'nda desteklenmeyen Yapılandırılmış Akış özelliklerinin listesi için bkz . Unity Kataloğu için akış sınırlamaları.

Unity Kataloğu görünümünü akış olarak okuma

Önemli

Bu özellik Genel Önizlemededir.

Databricks Runtime 14.1 ve üzerinde, Unity Kataloğu'na kayıtlı görünümlerden akış okumaları gerçekleştirmek için Yapılandırılmış Akış'ı kullanabilirsiniz. Azure Databricks yalnızca Delta tablolarında tanımlanan görünümlerden akış okumalarını destekler.

Yapılandırılmış Akış ile bir görünümü okumak için, aşağıdaki örnekte olduğu gibi yöntemine görünümün .table() tanımlayıcısını sağlayın:

df = (spark.readStream
  .table("demoView")
)

Kullanıcıların hedef görünümde ayrıcalıkları olmalıdır SELECT .

Akış okumalarını görünümlere göre yapılandırmaya yönelik desteklenen seçenekler

Akış okumaları görünümlere göre yapılandırılırken aşağıdaki seçenekler desteklenir:

maxFilesPerTrigger
maxBytesPerTrigger
ignoreDeletes
skipChangeCommits
withEventTimeOrder
startingTimestamp
startingVersion

Akış okuyucu, bu seçenekleri temel delta tablolarını tanımlayan dosyalara ve meta verilere uygular.

Önemli

ile UNION ALL tanımlanan görünümlerde okuma işlemleri ve startingVersionseçeneklerini withEventTimeOrder desteklemez.

Kaynak görünümlerde desteklenen işlemler

Tüm görünümler akış okumalarını desteklemez. Kaynak görünümlerde desteklenmeyen işlemler toplamaları ve sıralamayı içerir.

Aşağıdaki listede desteklenen işlemler için açıklamalar ve örnek görünüm tanımları sağlanır:

Proje
- Açıklama: Sütun düzeyinde izinleri denetler
- Operatör: SELECT... FROM...
- Örnek deyim:
```
CREATE VIEW project_view AS
SELECT id, value
FROM source_table
```
Filtre
- Açıklama: Satır düzeyi izinleri denetler
- Operatör: WHERE...
- Örnek deyim:
```
CREATE VIEW filter_view AS
SELECT * FROM source_table
WHERE value > 100
```

Tümünü birleşim

Açıklama: Birden çok tablodan alınan sonuçlar
Operatör: UNION ALL

Örnek deyim:

CREATE VIEW union_view AS
SELECT id, value FROM source_table1
UNION ALL
SELECT * FROM source_table2

Not

Görünümde başvurulan tabloları eklemek veya değiştirmek için görünüm tanımını değiştiremez ve aynı akış denetim noktasını kullanamazsınız.

Sınırlamalar

Aşağıdaki sınırlamalar geçerlidir:

Yalnızca Delta tabloları tarafından yedeklenen görünümlerden akış yapabilirsiniz. Diğer veri kaynaklarına karşı tanımlanan görünümler desteklenmez.
Görünümleri Unity Kataloğu'yla kaydetmeniz gerekir.

Aşağıdaki özel durum, desteklenmeyen bir işleçle bir görünümden akış yaparsanız görüntülenir:

UnsupportedOperationException: [UNEXPECTED_OPERATOR_IN_STREAMING_VIEW] Unexpected operator <operator> in the CREATE VIEW statement as a streaming source. A streaming view query must consist only of SELECT, WHERE, and UNION ALL operations.

Desteklenmeyen seçenekler sağlarsanız aşağıdaki özel durum görüntülenir:

AnalysisException: [UNSUPPORTED_STREAMING_OPTIONS_FOR_VIEW.UNSUPPORTED_OPTION] Unsupported for streaming a view. Reason: option <option> is not supported.

Aracılığıyla paylaş