Snowflake'ten yansıtılmış Microsoft Fabric veritabanlarındaki sınırlamalar

Snowflake'teki Microsoft Fabric yansıtılmış veritabanlarındaki geçerli sınırlamalar bu sayfada listelenmiştir. Bu sayfa değiştirilebilir.

Bağlantı ve kimlik doğrulama sınırlamaları

  • Aşağıdaki tabloda Snowflake için yansıtma için hangi kimlik doğrulama yöntemlerinin desteklendiği listelenmektedir:
Kimlik doğrulama yöntemi Destekleniyor Notes
Kullanıcı adı ve parola Yes Snowflake yerel kimlik doğrulaması
Microsoft Entra ID (SSO) Yes Entra ID aracılığıyla çoklu oturum açma
Anahtar çifti kimlik doğrulaması Yes Hizmet hesabı senaryoları için RSA anahtar çifti
Çalışma alanı kimliği No Şu anda Snowflake için desteklenmiyor

  • Snowflake yansıtmasında çalışma alanı kimliği şu anda desteklenmiyor. SharePoint gibi belirli kaynaklar için kullanılabilir.

  • Fabric çalışma alanı ile Snowflake arasında Özel Bağlantı bağlantı henüz kullanılamıyor. Bu arada özel bağlantı için bir sanal ağ veri ağ geçidi veya şirket içi veri ağ geçidi kullanın.

  • Çalışma alanına paylaşım alıcıları eklemeniz gerekir. Bir veri kümesini veya raporu paylaşmak için önce çalışma alanına yönetici, üye, okuyucu veya katkıda bulunan rolüyle erişim ekleyin.

  • Büyük/küçük harf duyarlılığı: Ambar adı, veritabanı adı, şema adı, tablo adları ve görünüm adları dahil olmak üzere tüm Snowflake tanımlayıcıları, yansıtma bağlantılarını yapılandırırken ve yansıtma REST API'sini kullanırken büyük/küçük harfe duyarlıdır. Fabric’e girdiğiniz büyük/küçük harf kullanımı, Snowflake’te yapılandırılanla tam olarak eşleşmelidir. Büyük/küçük harf uyumsuzluğu, çoğu zaman açıklayıcı bir hata iletisi olmadan bağlantı başarısızlıklarına veya tabloların replikasyon için görünmemesine neden olabilir. Örneğin, Snowflake deponuzun adı ANALYTICS_WH ise, Fabric bağlantısında analytics_wh değil, ANALYTICS_WH girmeniz gerekir.

Desteklenen nesne türleri

  • Aşağıdaki tabloda hangi Snowflake nesne türlerinin yansıtma için desteklendiği listelenmektedir:
Nesne türü Destekleniyor Notes
Yönetilen tablolar Yes Çoğaltma için tam olarak desteklenir
Iceberg tabloları Yes Temelindeki Iceberg tablo depolamasına depolama bağlantısı gerektirir. Yalnızca aynı depolama bağlantısı üzerinden ulaşılabilen Iceberg tabloları birbirine yansıtılabilir.
Views Yes Her 12 saatte bir eşitlemelerle desteklenir
Maddeselleştirilmiş Görünümler Yes Her 12 saatte bir eşitlemelerle desteklenir
Dış tablolar No Desteklenmiyor
Geçici tablolar No Desteklenmiyor
Geçici tablolar No Desteklenmiyor
Dinamik tablolar No Desteklenmiyor

Çoğaltma ve veri sınırlamaları

  • Kaynak tabloda güncelleme yoksa, çoğaltma motoru bu tablo için süresi katlanarak artan ve bir saate kadar uzayabilen bir geri çekilme sürecine başlar. Aynı durum, veri yenilemeyi engelleyen geçici bir hata olduğunda da oluşabilir. Çoğaltıcı altyapısı, güncelleştirilmiş veriler algılandıktan sonra düzenli yoklamayı otomatik olarak sürdürür.
  • Kaynak şema hiyerarşisi yansıtılmış veritabanına çoğaltılır. Bu özellik etkinleştirilmeden önce oluşturulan yansıtılmış veritabanları için kaynak şema düzleştirilir ve şema adı tablo adına kodlanır. Tabloları şemalarla yeniden düzenlemek istiyorsanız, yansıtılmış veritabanınızı yeniden oluşturun. Kaynak şema hiyerarşisini çoğaltma hakkında daha fazla bilgi edinin.
  • Yansıtma, adlarda boşluk veya özel karakterler içeren sütunları çoğaltmayı destekler (örneğin, ,;{}()\n\t=). Bu özellik etkinleştirilmeden önce çoğaltma altındaki tablolar için yansıtılmış veritabanı ayarlarını güncelleştirmeniz veya yansıtmayı bu sütunları içerecek şekilde yeniden başlatmanız gerekir. Delta sütun eşleme desteğinden daha fazla bilgi edinin.
  • Fabric üzerine yansıtılabilecek en fazla tablo sayısı 1.000'dir. 1000 sınırının üzerindeki tablolar şu anda çoğaltılamaz.
    • Yansıtmayı yapılandırırken Tüm verileri yansıt'ı seçerseniz, tüm tablolar şema adına ve ardından tablo adına göre alfabetik olarak sıralandığında, yansıtılacak tablolar ilk 1.000 tablo alınarak belirlenir. Alfabetik listenin en altındaki kalan tablo kümesi yansıtılmayacaktır.
    • Tüm verileri yansıt'ın seçimini kaldırır ve tek tek tabloları seçerseniz, 1.000'den fazla tablo seçmeniz engellenir.
  • Hesaplanmış sütunlar ve hesaplanan tablolar: Yansıtılmış veritabanları salt okunur. Doğrudan yansıtılmış bir veritabanında hesaplanmış sütunlar veya hesaplanan tablolar oluşturamazsınız. Hesaplanmış sütunlar eklemek için bir Lakehouse oluşturun ve yansıtılan verilere başvurmak için kısayolları kullanın, ardından not defterlerini veya SQL'i kullanarak Lakehouse'da hesaplanmış sütunlarınızı oluşturun.

Performans sınırlamaları

  • Büyük bir tablodaki verilerin çoğunu değiştiriyorsanız Yansıtmayı durdurmak ve yeniden başlatmak daha verimlidir. Milyarlarca kaydın eklenmesi veya güncelleştirilmesi uzun sürebilir.
  • Bazı şema değişiklikleri hemen yansıtılamaz. Bazı şema değişiklikleri, Fabric’e çoğaltılmadan önce bir veri değişikliği (ekleme, güncelleştirme veya silme) gerektirir.
  • Bölgeler arası dikkat edilmesi gerekenler: Snowflake örneğiniz ve Fabric kapasiteniz farklı bulut bölgelerindeyse daha yüksek çoğaltma gecikmesi ve veri çıkış ücretleriyle karşılaşabilirsiniz. En iyi performans için ve bölgeler arası çıkış maliyetlerini önlemek için Fabric kapasitenizi Snowflake örneğiniz ile aynı bulut bölgesine dağıtın. Bölgeler arası dağıtım kaçınılmazsa Snowflake ve/veya Azure ek çıkış ücretlerini dikkate alın. Ayrıntılar için Snowflake çıkış belgelerine bakın.
  • Snowflake'teki verileri müşterinin OneLake'sine yansıtırken, işlem normalde performansı artırmak için verileri satır içi URL aracılığıyla işler. Snowflake hesap düzeyi parametresi PREVENT_UNLOAD_TO_INLINE_URL true olarak ayarlanırsa, aşağıdaki davranış geçerlidir:
Bağlantı yöntemi PREVENT_UNLOAD_TO_INLINE_URL = true olduğunda etki
Doğrudan (genel erişimli uç nokta) Snowflake'ten doğrudan okumak için yansıtma geri döner. Bu geri dönüş, özellikle büyük veri kümeleri için çoğaltma sürelerinin yavaşlayıp bağlantı zaman aşımı riskinin artmasına neden olur.
Sanal Ağ (VNet) veri ağ geçidi Yansıtma tamamen engellendi. VNet ağ geçidi senaryoları doğrudan okuma yöntemini kullanamaz ve satır içi URL hazırlama yolunu gerektirir.
Şirket içi veri ağ geçidi (OPDG) Yansıtma tamamen engellendi. OPDG senaryoları doğrudan okuma kullanamaz ve satır içi URL hazırlama yolunu gerektirir.

Planlanan çözüm: Depolama entegrasyonu desteği geliştirilmektedir ve PREVENT_UNLOAD_TO_INLINE_URL true değerine ayarlandığında çalışan alternatif bir hazırlama yolu sağlayacaktır. Bu çözüm, VNet ve OPDG senaryolarının önünü açar. Kullanılabilirlik güncelleştirmeleri için bu sayfayı denetleyin.

  • Yeniden tohumlama davranışı: Yeniden tohumlama, bir tablonun tamamındaki verilerin tamamen yeniden yüklenmesidir. Artımlı eşitlemeden farklı olarak (yalnızca değiştirilen satırları işler), yeniden yüklenen bir tablodaki tüm verileri yeniden okur ve yeniden yazar. Reseed işlemleri, özellikle büyük tablolar için, kayda değer Snowflake hesaplama maliyetlerine yol açabilir.
    • Yeniden tohumlamayı ne tetikler:
Trigger Açıklama
DDL değişiklikleri Tablonun DDL zaman damgasını değiştiren tüm DDL değişiklikleri yeniden gönderilmesini tetikler. Bu tetikleyici sütunları ekleyen, bırakan veya yeniden adlandıran, veri türlerini değiştiren veya tablo özelliklerini değiştiren ALTER TABLE deyimlerini içerir.
Şema değiştirme araçları (örneğin, DBT) DBT gibi bir araç tablo tanımlarını düzenli aralıklarla değiştirirse (örneğin, tabloları silip yeniden oluşturan dbt run aracılığıyla), her değişiklik yeniden tohumlamayı tetikler. Bu araçların sık sık çalıştırılması (örneğin, birkaç dakikada bir) sürekli yeniden tohumlama döngülerine neden olabilir.
Yansıtmayı durdurma ve yeniden başlatma Yansıtmayı her durdurup yeniden başlattığınızda, tablonun tamamı sıfırdan yeniden getirilir.
Genişletilmiş kapasiteyi duraklatma Bir Fabric kapasitesi uzun bir süre boyunca duraklatılırsa, yeniden başlatıldığında yansıtma baştan yeniden başlatılabilir. Bkz. Fabric kapasitede yapılan değişiklikler.
  • Gereksiz yeniden göndermeleri önlemek için en iyi yöntemler:
    • Şema değişikliklerini, yansıtmanın etkin olduğu zamanların dışında zamanlayın. DBT veya diğer şema yönetimi araçlarını kullanıyorsanız, bunları bakım pencerelerine planlayın veya şema değişikliklerini uygulamadan önce yansıtmayı duraklatın.
    • Sık yapılan DDL değişikliklerinden kaçının. Şema değişikliklerini, gün boyunca parça parça değişiklikler yapmak yerine, daha az sayıda ancak daha büyük gruplarda birleştirin.
    • Beklenmeyen yeniden tohumlamaları izleyin. Yansıtma Durumu sayfasında, ilk kopyalama davranışını tekrar tekrar gösteren tabloları izleyin. Büyük bir tablo birkaç dakikada bir yeniden görüntüleniyorsa yukarı akış DDL değişikliklerini denetleyin.
    • Maliyet etkisinin farkında olun. 226 milyon satırlık bir tablonun (yaklaşık 26,5 GB) yeniden yüklenmesi önemli işlem süresi alır. Maliyet etkisini tahmin etmek için bu maliyeti şema değişikliklerinin sıklığıyla çarpın.

Güvenlik sınırlamaları

  • Fabric, Snowflake satır düzeyi güvenlik (RLS) ve sütun düzeyi güvenlik (CLS) ilkelerini desteklemez. Fabric'de eşdeğer güvenlik ilkelerini el ile yeniden yapılandırmanız gerekir.
  • Paylaşım alıcıları çalışma alanına eklenmelidir. Bir veri kümesini veya raporu paylaşmak için önce çalışma alanına yönetici, üye, okuyucu veya katkıda bulunan rolüyle erişim ekleyin.

Maliyet ve faturalama ile ilgili dikkat edilmesi gerekenler

Yansılamadan kaynaklanan Snowflake hesaplama maliyetlerini en aza indirmek için aşağıdaki en iyi uygulamaları göz önünde bulundurun:

  • Mevcut bir ambarı yeniden kullanma. Yansıtma için ayrılmış bir ambar oluşturmak yerine, yansıtmayı uygulamalarınızın kaynak tabloları güncelleştirmek için zaten kullandığı ambarı kullanacak şekilde yapılandırın. Bu yaklaşım gereksiz ambar uyandırma ve otomatik askıya alma döngülerini önler. Uygulamanız bir tabloyu güncellediğinde, yansıtma replikatörü ambar hâlâ etkinken değişiklikleri neredeyse anında algılar ve ayrı bir ambarı yeniden etkinleştirme gereğini ortadan kaldırır. Bazı kuruluşlar bütçe yalıtımı için ayrılmış bir ambarı tercih edebilir. Bu seçenek, maliyet tasarrufları ile bütçeleme ayrıntı düzeyi arasında bir denge sağlar.
  • Yalnızca ihtiyacınız olan tabloları yansıtın. Veritabanının tamamını yansıtmak beklenmedik şekilde yüksek Snowflake tüketimine ve Fabric kapasite artışlarına neden olabilir. Başlangıç olarak yalnızca analiz senaryolarınız için gereken tabloları seçin. Daha sonra gerektiğinde tablo ekleyebilirsiniz.
  • Beklenmeyen yeniden tohumlamaları izleyin. Bir reseed (verilerin tamamen yeniden yüklenmesi), tablonun tamamını işler ve tablo boyutuyla orantılı bir işlem maliyetine yol açar. DBT gibi araçların tetiklediği değişiklikler de dahil olmak üzere şema değişiklikleri, sürekli yeniden başlatmalara neden olabilir. Yinelenen ilk kopyalama davranışını gösteren tablolar için Yansıtma Durumu sayfasını izleyin ve tetikleyiciler ve sorun giderme yönergeleri için Yeniden Görüntüleme bölümünü gözden geçirin.
  • Yansıtmanın sürekli çalıştığını unutmayın. Yansıtma şu anda zamanlama veya çoğaltma pencerelerini desteklemez. Çoğaltıcı, değişiklikleri sürekli olarak denetler; bu da Snowflake işlem kaynaklarının sürekli kullanılmasına neden olur. Snowflake bütçelerinizi uygun şekilde planlayın.

Desteklenen bölgeler

Veritabanı yansıtma ve açık yansıtma tüm Microsoft Fabric bölgelerde kullanılabilir. Daha fazla bilgi için Fabric bölgesinin kullanılabilirliği'ne bakın.

İlgili içerik

  • Last updated on