Zerobus Veri Alımı bağlayıcı sınırlamaları

Bu sayfada, Lakeflow Connect'te Zerobus Alma bağlayıcısı kullanılırken sınırlamalar listelenmektedir.

Availability

Zerobus İçe Aktarma Bağlayıcısı aşağıdaki bölgelerde kullanılabilir:

• westus
• westus2
• westus3
• eastus
• eastus2
• centralus
• northcentralus
• southcentralus
• canadacentral
• brazilsouth
• westeurope
• northeurope
• germanywestcentral
• swedencentral
• switzerlandnorth
• uksouth
• australiaeast
• centralindia
• southeastasia

Tüm kullanılabilir bölgeler çok bölgeli hizmet kullanılabilirliği sağlar; westus ve northcentralus ise tek-az kullanılabilirlik sunar.

Latency

Gecikme süresi hem dayanıklılık bildirimini hem de kayıtları hedef Delta tablosuna alma süresini yansıtır. Gerçek süreler, bölge hizalaması ve iş yükü özelliklerine göre değişir.

• Dayanıklılık süresi
  • P95 ≤ 500 ms
  • P50 ≤ 200 ms
• Tabloya ulaşma süresi
  • P95 ≤ 30 sn
  • P50 ≤ 5 sn

Aktarım hızı kısıtlamaları

• Akış başına 100 MB/sn (1 KB boyutlu iletilerle ölçümlenmiş)
• Hedef tablo başına 10 GB/saniye
• Akış başına saniyede 15.000 kayıt

En yüksek aktarım hızına ulaşmak için istemci uygulaması ve uç nokta aynı coğrafi bölgede olmalıdır. Daha yüksek aktarım hızına ihtiyacınız varsa Databricks hesap temsilcinize başvurun.

Teslimat garantileri

Zerobus Veri Alma bağlayıcısı yalnızca en az bir kez teslim garantileri sağlar.

Kotaları

Zerobus İçeri Aktarım bağlayıcısı için varsayılan kotalar aşağıdadır. Daha yüksek performansa ihtiyacınız varsa Databricks hesap temsilcinize başvurun.

gRPC

• Akış başına saniyede 100 MB aktarım hızı
• Hedef tablo başına saniyede 10 GB aktarım hızı

REST

• Saniyede 10.000 istek

Bölümlenmiş tablolar

Bölümlenmiş tablolara yazarken, Zerobus Ingest bağlayıcısı 5 saniyelik aralıklarla 1000'den fazla partisyona yazmayı desteklemez.

Katalog tarafından yönetilen commit'ler

Zerobus Ingest, katalog tarafından yönetilen commit'leri desteklemez. Katalog tarafından yönetilen taahhütlerin etkinleştirildiği Delta tabloları için Zerobus İçe Aktarma kullanmayın.

Çalışma alanı ve Hedef tablosu

İçe aktarma için aşağıdaki çalışma alanı ve hedef tablo koşulları gereklidir.

• Bağlayıcı yalnızca yönetilen Delta tablolarına yazmayı destekler. Varsayılan depolamaya yazma desteklenmez.
• Bağlayıcı, özel uç nokta üzerinden güvenli depolamaya yazmayı desteklemez.
• Bağlayıcı, hedef tablonun yeniden oluşturmayı desteklemez.
• Bağlayıcı yalnızca ASCII harfleri, rakamlar ve alt çizgi içeren tablo adlarını destekler.
• Hem çalışma alanının hem de hedef tablonun kullanılabilir bölgelerden birinde ve her ikisinin de aynı bölgede olması gerekir.

Sıvı kümelenmiş tablolar

Önemli

Zerobus Ingest bağlayıcısını kullanarak sıvı kümelenmiş tablolara yazma Beta'dadır.

Zerobus Ingest bağlayıcısını sıvı kümeler içeren tablolarla kullanırken, hedef tablo için öngörüsel optimizasyonun açık bırakılması önerilir. Bağlayıcı tabloya veri yazar, ancak en iyi veri kümelenmesi, tahmine dayalı optimizasyon hizmeti tarafından zaman uyumsuz bir şekilde uygulanır. Tahmine dayalı iyileştirmenin devre dışı bırakılması, alınan verilerde yetersiz sorgu performansına neden olabilir.

Uyumluluk güvenlik profili çalışma alanları

Zerobus Ingest bağlayıcısı, uyumluluk güvenliği profili çalışma alanlarında (FedRAMP, HIPAA ve PCI-DSS gibi) desteklenmez. Uyumluluk garantisi gerektiren iş yükleri için Zerobus Alma bağlayıcısını kullanmayın. Desteklenen uyumluluk standartlarının ve programlarının listesi için bkz . Uyumluluk güvenlik profili.

Şema evrimi

Zerobus Ingest, hedef tablonuzu hiçbir zaman otomatik olarak geliştirmez.

Zerobus Ingest, hedef tabloya Delta sütunlarında null değerin atanabildiği durumlarda sürekli veri aktarımını destekler. Eksik sütunlar değerlerle NULL doldurularak eksik alanlara sahip kayıtlar göndermenize olanak sağlar.

Protobuf şeması

Protobuf şema tanımı, fazladan null atanabilir delta sütunları hariç (hata yaratmayan şema değişikliği olarak değerlendirilen), Delta tablosu şemasıyla birbirine birebir uyumlu olmalıdır. Şema eşleşmiyorsa API bir hata döndürür. Buna aşağıdakiler dahildir:

• Farklı sayıda sütun

• Farklı sütun adları

• Farklı sütun isteğe bağlılığı (null atanabilir ve null atanamaz)

• Bağlayıcı, 2000'den fazla sütunu olan proto şemalarını desteklemez.

• Bağlayıcı yalnızca ASCII harf, rakam ve alt çizgi içeren tablo ve sütun adlarını destekler.

• Bağlayıcı, "akış oluşturma" ve "kayıt alma" işlemleri için farklı bir proto şeması kullanmayı desteklemez.

Kayıt boyutu

Her ileti 10 MB ile sınırlıdır. Kayıt boyutu üst sınırı 10.485.760 bayttır. İletişim için gereken başlıklar 19 bayt yer kaplar.

Tür desteği

Aşağıdaki tabloda desteklenen Delta türleri ve alım için karşılık gelen Protobuf türleri gösterilmektedir.

Delta türleri	Protobuf türleri
INTEGER	int32
STRING	string
FLOAT	float
LONG	int64
SHORT	int32
DOUBLE	double
BOOLEAN	bool
BINARY	bytes
DATE 'a int32 dönüştürülmelidir (çağdan bu yana geçen gün sayısı).	int32
TIMESTAMP 'int64 (mikrosaniye cinsinden epok zamanı) olarak dönüştürülmelidir.'	int64
ARRAY<TYPE>	repeated TYPE
MAP<K,V>	map<K,V> map Protobuf söz dizimli şekeri yalnızca Protobuf derleyicileri sürüm 3 ve üzeri için kullanılabilir.
STRUCT<FIELDS>	message Nested { FIELDS }
VARIANT Değişken, türündeki STRING anahtarlarla JSON ile kodlanmış bir karakter dizisi olarak alınmalıdır. Bağlayıcı, verileri parçalanmamış olarak sütuna yazar. Desteklenen biçimler şunlardır: Nesne: "{\"id\":0,\"example\":\"this is variant example\"}" Temel Öğeler: "5", "3.14", "\"string\"" Dizi: "[1,2,3]"	string