Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu makale, Databricks Lakeflow Connect'teki yönetilen bağlayıcılar hakkında sık sorulan soruları yanıtlar. Bağlayıcıya özgü SSS'ler için bağlayıcınızın belgelerine göz atın.
Databricks hangi yönetilen bağlayıcıları destekler?
Lakeflow Connect Salesforce, SQL Server, ServiceNow ve Google Analytics için yönetilen bağlayıcılar sunar. Yol haritasını bilgilendirmek veya Özel Önizleme bağlayıcılarına erken erişim elde etmek için hesap ekibinize ulaşın.
Yönetilen bağlayıcılar hangi arabirimleri destekler?
Tüm yönetilen bağlayıcılar Databricks API'leri ve Databricks Varlık Paketleri kullanılarak işlem hattı oluşturmayı destekler. Bağlayıcıların çoğu kullanıcı arabiriminde aşağıdaki giriş noktalarından işlem hattı oluşturmayı da destekler:
- Veri ekle sayfası (Veri Alımı)
- İşler ve İşlem Hatları sayfası (Yeni>Veri Alma İşlem Hattı) oluşturma
- Yeni bir işin Görevler bölmesi (Görev ekle>+ Yeni alım işlem hattı veya Tür>İşlem Hattı)
Aşağıdaki tabloda, her bağlayıcı tarafından desteklenen arabirimler özetlenmektedir.
| Bağlayıcı | Kullanıcı arabirimi tabanlı işlem hattı oluşturma | API tabanlı işlem hattı yazma | Databricks Varlık Paketleri |
|---|---|---|---|
| Salesforce | Evet | Evet | Evet |
| İş günü | Hayı | Evet | Evet |
| SQL Sunucusu | Evet | Evet | Evet |
| ServiceNow | Evet | Evet | Evet |
| GA4 | Evet | Evet | Evet |
| SharePoint | Hayı | Evet | Evet |
Yönetilen bağlayıcılar şema evrimi nasıl işler?
Almak istediğiniz sütunları açıkça belirterek geri çevirmediğiniz sürece tüm yönetilen bağlayıcılar yeni ve silinmiş sütunları otomatik olarak işler.
- Kaynakta yeni bir sütun göründüğünde Databricks bunu işlem hattınızın bir sonraki çalıştırmasında otomatik olarak alır. Şema değişikliğinden önce sütunda görünen herhangi bir satır için, Databricks değeri boş bırakır. Ancak, API aracılığıyla alınacak belirli sütunları listeleyerek veya kullanıcı arabiriminde gelecekteki sütunları devre dışı bırakarak otomatik sütun alımını geri çevirebilirsiniz.
- Bir sütun kaynaktan silindiğinde Databricks sütunu otomatik olarak silmez. Bunun yerine bağlayıcı, silinen sütunu hedefte "etkin değil" olarak ayarlamak için bir tablo özelliği kullanır. Daha sonra aynı ada sahip başka bir sütun görünürse işlem hattı başarısız olur. Bu durumda, tablonun tam yenilemesini tetikleyebilir veya etkin olmayan sütunu el ile bırakabilirsiniz.
Benzer şekilde, bağlayıcılar yeni ve silinmiş tabloları işleyebilir. Bir şemanın tamamını yüklediğinizde, çekmeme seçeneğini belirlemediğiniz sürece Databricks tüm yeni tabloları otomatik olarak yükler. Kaynakta bir tablo silinirse, bağlantı arayüzü bunu hedefte inactive olarak işaretler. Şemanın tamamını almayı seçerseniz bağlayıcınız için işlem hattı başına tablo sayısıyla ilgili sınırlamaları gözden geçirmeniz gerektiğini unutmayın.
Ek şema değişiklikleri kaynağa bağlıdır. Örneğin, Salesforce bağlayıcısı sütun yeniden adlandırmalarını sütun silme ve ekleme olarak ele alır ve yukarıda özetlenen davranışla değişikliği otomatik olarak yapar. Ancak SQL Server bağlayıcısı, veri alımına devam etmek için etkilenen tabloların tam olarak yenilenmesini gerektirir.
Aşağıdaki tabloda, her bağlayıcı tarafından hangi şema değişikliklerinin otomatik olarak işlenebileceği özetlenmektedir:
| Bağlayıcı | Yeni ve silinmiş sütunlar | Veri türü değişiklikleri | Sütun Yeniden Adlandırmaları | Yeni tablolar |
|---|---|---|---|---|
| Salesforce | Evet | Hayı | Evet - Yeni sütun (yeni ad) ve silinen sütun (eski ad) olarak kabul edilir. Tam yenileme gerektirmez. | Evet - Şemanın tamamını benimserseniz. |
| İş günü | Evet | Hayı | Evet - Yeni sütun (yeni ad) ve silinen sütun (eski ad) olarak kabul edilir. Tam yenileme gerektirmez. | Uygulanamaz |
| SQL Sunucusu | Evet | Hayı | Evet, sütun yeniden adlandırıldı. Tam yenileme gerektirir. | Evet - Şemanın tamamını benimserseniz. |
| ServiceNow | Evet | Hayı | Evet - Yeni sütun (yeni ad) ve silinen sütun (eski ad) olarak kabul edilir. Tam yenileme gerektirmez. | Evet - Şemanın tamamını benimserseniz. |
| GA4 | Evet | Hayı | Evet - Yeni sütun (yeni ad) ve silinen sütun (eski ad) olarak kabul edilir. Tam yenileme gerektirmez. | Evet - Şemanın tamamını benimserseniz. |
Yönetilen bağlayıcıları özelleştirebilir miyim?
Alınan nesneleri, hedefi, zamanlamayı, izinleri, bildirimleri ve daha fazlasını seçebilirsiniz. Bu bağlayıcılar tam olarak yönetildiğinden alma işlemini özelleştiremezsiniz. Daha fazla özelleştirme için Lakeflow Bildirimli İşlem Hatlarını veya Yapılandırılmış Akış'ı kullanabilirsiniz.
Yönetilen bağlayıcılar, Lakehouse Federasyonu ve Delta Paylaşımı arasındaki fark nedir?
Lakehouse Federasyonu, verilerinizi taşımadan dış veri kaynaklarını sorgulamanıza olanak tanır. Delta Sharing canlı verileri platformlar, bulutlar ve bölgeler arasında güvenli bir şekilde paylaşmanızı sağlar.
Yönetilen bağlayıcılar, Lakehouse Federasyonu ve Delta Paylaşımı arasında seçim yaptığınızda, aşağıdaki senaryolar için Delta Paylaşımı'nı seçin:
- Veri yinelemeyi sınırlama.
- Mümkün olan en yeni verileri sorgulama.
Aşağıdaki senaryolar için Lakehouse Federasyonu'nu seçin.
- ETL işlem hatlarınızda geçici raporlama veya kavram kanıtı çalışması.
Yönetilen bağlayıcılar ile Otomatik Yükleyici arasındaki fark nedir?
Yönetilen bağlayıcılar Salesforce gibi SaaS uygulamalarından ve SQL Server gibi veritabanlarından artımlı olarak veri almanızı sağlar. Otomatik Yükleyici, S3, ADLS ve GCS'ye ulaşan dosyaları artımlı olarak almanızı sağlayan bir bulut nesnesi depolama bağlayıcısıdır. Yapılandırılmış Akış ve Lakeflow Bildirimli İşlem Hatları ile uyumludur ancak tam olarak yönetilen alım işlem hatları sunmaz.
Yönetilen bağlayıcılar veri kaynağına geri yazabilir mi?
Hayır. Bu işlevle ilgileniyorsanız hesap ekibinize ulaşın.
Yönetilen bağlayıcılar tüm bölgelerde kullanılabilir mi?
Hayır. Bkz . Sunucusuz işlem özelliği kullanılabilirliği.
İşlem hattı birden çok hedef şemaya yazabilir mi?
Bu özellik, Salesforce, Workday ve ServiceNow gibi tüm yönetilen SaaS bağlayıcıları için Lakeflow Connect API'sinde desteklenir.
Bu özelliği kullanmayı seçerseniz işlem hattınız yalnızca API'ye dönüşür. Kullanıcı arabiriminde düzenleyemezsiniz.
Eklediğim bir tablonun adını değiştirebilir miyim?
Bu özellik, tüm yönetilen bağlayıcılar için Lakeflow Connect API'sinde desteklenir.
Bu özelliği kullanmayı seçerseniz işlem hattınız yalnızca API'ye dönüşür. Kullanıcı arabiriminde yalnızca API işlem hatlarını düzenleyemezsiniz.
Yeniden adlandırmak istediğiniz her tablo için yapılandırmayı destination_table istediğiniz tablo adıyla ekleyin.
Bir sonraki güncelleme çalıştırılmak üzere zamanlandığında (güncelleme N+1) işlem hattı hala çalışıyorsa (güncelleme N) ne olur?
Databricks, N+1 güncelleştirmesini atlar ve N güncelleştirmesinin zamanında tamamlandığını varsayarak N+2 güncelleştirmesini alır.
Alma işlem hattı silindiğinde hedef tablolara ne olur?
Alma işlem hattı silindiğinde hedef tablolar silinir.
Yönetilen bağlayıcıların fiyatı nasıldır?
Yönetilen bağlayıcıların işlem tabanlı fiyatlandırma modeli vardır.
Yalnızca sunucusuz altyapı üzerinde çalışan Salesforce ve Workday gibi SaaS kaynakları, sunucusuz Lakeflow Bildirimli İşlem Hatları DBU ücretlerine tabidir.
SQL Server gibi veritabanı kaynakları için alım ağ geçitleri kaynağa bağlı olarak klasik modda veya sunucusuz modda çalışabilir ve alma işlem hatları sunucusuz olarak çalıştırılabilir. Sonuç olarak, hem klasik hem de sunucusuz Lakeflow Bildirimli İşlem Hatları DBU ücretlerini alabilirsiniz.
Fiyat ayrıntıları için Lakeflow Bildirimli İşlem Hatları'nın fiyatlandırma sayfasına bakın.
Delta Lake değişiklik veri akışını hedef tabloda etkinleştirebilir miyim?
Bu, tüm hedef tablolar için etkinleştirilir.
Bağlayıcıya özgü SSS
Bağlayıcıya özgü Sıkça Sorulan Sorular için bağlayıcınızın belgelerine bakın: