Lakeflow Connect nedir?

Lakeflow Connect, yerel dosyalardan, popüler kurumsal uygulamalardan, veritabanlarından, bulut depolamadan, ileti veri verilerinden ve daha fazlasından veri almak için basit ve verimli bağlayıcılar sunar. Bu sayfada, Lakeflow Connect'in ETL performansını geliştirme yollarından bazıları özetlenmiştir. Ayrıca, tam yönetimli bağlayıcılardan tamamen özelleştirilebilir çerçevelere kadar, en yaygın kullanım senaryolarını ve desteklenen alım araçlarını kapsar.

Esnek hizmet modelleri

Lakeflow Connect kurumsal uygulamalar, bulut depolama alanı, veritabanları, ileti veri yolları ve daha fazlası için çok çeşitli bağlayıcılar sunar. Ayrıca aşağıdakiler arasında seçim yapma esnekliği sağlar:

Seçenek	Açıklama
Tam olarak yönetilen bir hizmet	Hemen kullanıma hazır bağlayıcılar, basit arayüzler ve güçlü API'ler ile veri erişimini demokratikleştirir. Bu, uzun vadeli bakım maliyetlerini en aza indirirken hızlı bir şekilde güçlü alım işlem hatları oluşturmanıza olanak tanır.
Özelleştirilmiş işlem hattı	Daha fazla özelleştirmeye ihtiyacınız varsa Lakeflow işlem hatlarını veya Yapılandırılmış Akış'ı kullanabilirsiniz. Sonuç olarak, bu çok yönlülük Lakeflow Connect'in kuruluşunuzun özel gereksinimlerini karşılamasını sağlar.

Temel Databricks araçlarıyla birleştirme

Lakeflow Connect, kapsamlı veri yönetimi sağlamak için temel Databricks özelliklerini kullanır. Örneğin Unity Kataloğu'nu kullanarak yönetişim, Lakeflow Görevleri kullanarak orkestrasyon ve işlem hatlarınız çapında bütünsel izleme sunar. Bu, kuruluşunuzun veri güvenliğini, kalitesini ve maliyetini yönetmeye yardımcı olurken diğer veri mühendisliği araçlarınızla alım süreçlerinizi birleştirir. Lakeflow Connect, tercih ettiğiniz üçüncü taraf araçları dahil etme esnekliğine sahip açık bir Veri Zekası Platformu üzerine kurulmuştur. Bu, mevcut altyapınızla ve gelecekteki veri stratejilerinizle uyumlu uyarlanmış bir çözüm sağlar.

Hızlı, ölçeklenebilir alım

Lakeflow Connect, verimli alım sağlamak için artımlı okuma ve yazma işlemleri kullanır. Artımlı dönüşümler aşağı akışla birleştirildiğinde bu durum ETL performansını önemli ölçüde iyileştirebilir.

Yaygın kullanım örnekleri

Müşteriler, kuruluşlarının en zorlu sorunlarını çözmek için verileri alır. Örnek kullanım örnekleri şunlardır:

Kullanım örneği	Açıklama
Müşteri 360	Kampanya performansını ve müşteri adayı puanlamasını ölçme
Portföy yönetimi	Geçmiş ve tahmin modelleriyle yatırım getirisini en üst düzeye çıkarma
Tüketici analizi	Müşterilerinizin satın alma deneyimlerini kişiselleştirme
Merkezi insan kaynakları	Kuruluşunuzun iş gücünü destekleme
Dijital ikizler	Üretim verimliliğini artırma
RAG sohbet botları	Kullanıcıların ilkeleri, ürünleri ve daha fazlasını anlamasına yardımcı olmak için sohbet botları oluşturma

ETL yığınının katmanları

Bazı bağlayıcılar ETL yığınının bir düzeyinde çalışır. Örneğin Databricks, Salesforce gibi kurumsal uygulamalar ve SQL Server gibi veritabanları için tam olarak yönetilen bağlayıcılar sunar. Diğer bağlayıcılar ETL yığınının farklı bir katmanında çalışır. Örneğin, daha fazla özelleştirme seçeneği için Lakeflow işlem hatlarında standart bağlayıcıları kullanabilirsiniz. Benzer şekilde Apache Kafka, Amazon Kinesis, Google Pub/Sub ve Apache Pulsar'dan veri akışı için özelleştirme düzeyinizi seçebilirsiniz.

Databricks, en yönetilen katmandan başlamanızı önerir. Gereksinimlerinizi karşılamıyorsa (örneğin, veri kaynağınızı desteklemiyorsa), bir sonraki katmana geçin.

Aşağıdaki tabloda, alım ürünlerinin katmanları açıklanmaktadır:

Katman	Açıklama
Lakeflow işlem hatları	Lakeflow işlem hatları, veri işlem hatları oluşturmak için bildirim temelli bir çerçeve sunar. Dönüşümlerinizi tanımlayın ve Lakeflow işlem hatları düzenlemeyi, izlemeyi, veri kalitesini, hataları ve daha fazlasını yönetir. Akış işleme için Yapılandırılmış Akış üzerine kuruludur ve Yapılandırılmış Akış özelliklerinin çoğunu destekler. Lakeflow işlem hatlarında henüz kullanılamayan yapılandırılmış akış özellikleri için doğrudan Yapılandırılmış Akış API'lerini kullanabilirsiniz.
Tam olarak yönetilen bağlayıcılar	Tam yönetilen bağlayıcılar, Lakeflow işlem hatları üzerine kuruludur ve en popüler veri kaynakları için daha da fazla otomasyon sunar. Lakeflow işlem hatları işlevselliğini kaynağa özgü kimlik doğrulaması, CDC, uç servis talebi işleme, uzun süreli API bakımı, otomatik yeniden denemeler, otomatik şema evrimi vb. içerecek şekilde genişletir. Bu nedenle, desteklenen tüm veri kaynakları için daha da fazla otomasyon sunar.

Yönetilen bağlayıcılar

Kurumsal uygulamalardan ve veritabanlarından almak için tam olarak yönetilen bağlayıcılar kullanabilirsiniz. Desteklenen bağlayıcıların tam listesi için bkz. Lakeflow Connect'te yönetilen bağlayıcılar.

Desteklenen arabirimler şunlardır:

• Databricks kullanıcı arabirimi
• Bildirim temelli Otomasyon Paketleri
• Databricks API'leri
• Databricks SDK'ları
• Databricks Komut Satırı Arayüzü (CLI)

Topluluk bağlayıcıları

Topluluk bağlayıcıları, Lakeflow Connect'i yönetilen bağlayıcı desteği olmadan kaynaklara genişletir. Bunlar açık kaynaklıdır, topluluk tarafından geliştirilir ve bakımı yapılır; Databricks SLA'ları kapsamında değildir. Desteklenen bir kaynaktan veri almak için topluluğun önceden kaydettiği bir bağlayıcı kullanın. Bkz. Lakeflow Connect'te Topluluk bağlayıcıları.

Özel konnektörler

Özel konnektörler, yönetilen konnektör olmayan bir kaynak için kendi konnektörünüzü oluşturmanıza olanak tanır. Kendi Azure Databricks çalışma alanınızda özel bir bağlayıcı oluşturur, test eder, dağıtır ve çalıştırırsınız, ancak topluluğa kaydettirmirsiniz. Lakeflow Connect için özel bir konnektör oluştur bkz.

Standart bağlayıcılar

Yönetilen bağlayıcılara ek olarak Databricks, bulut nesne depolaması ve ileti veri yolları için özelleştirilebilir bağlayıcılar sunar. Bkz. Lakeflow Connect'te standart bağlayıcılar.

Dosya yüklemeden tablo oluşturma veya değiştirme (Veri kullanıcı arabirimi ekleme)

Yerel ağınızda bulunan dosyaları, bir birime yüklenen dosyaları veya İnternet konumundan indirilen dosyaları alabilirsiniz. Bkz. Dosya yükleme kullanarak tablo oluşturma veya değiştirme.

Veri alma iş ortakları

Birçok üçüncü taraf araç, Databricks'e toplu veya akış veri alımını destekler. Databricks çeşitli üçüncü taraf tümleştirmelerini doğrular, ancak kaynak sistemlere erişimi yapılandırma ve verileri alma adımları araçlara göre farklılık gösterir. Doğrulanmış araçların listesi için bkz. Veri Alma İş Ortakları. Bazı teknoloji iş ortakları, üçüncü taraf araçlarını Lakehouse verilerine bağlamayı kolaylaştıran bir kullanıcı arabirimine sahip Databricks İş Ortağı Bağlantısı'nda da yer alır.

DIY işleme

Databricks genel bir işlem platformu sağlar. Sonuç olarak, Python veya Java gibi Databricks tarafından desteklenen herhangi bir programlama dilini kullanarak kendi alım bağlayıcılarınızı oluşturabilirsiniz. Ayrıca veri yükleme aracı, Airbyte ve Debezium gibi popüler açık kaynak bağlayıcı kitaplıklarını içeri aktarabilir ve kullanabilirsiniz.

Alternatif alım yöntemleri

Databricks, yüksek veri hacimlerine, düşük gecikme süreli sorgulamaya ve üçüncü taraf API sınırlarına uyacak şekilde ölçeklendirildiğinden çoğu kullanım örneği için alımı önerir. Veri alımı, kaynak sistemlerinizdeki verileri Azure Databricks'e kopyalar ve bu da zaman içinde eskimiş olabilecek yinelenen verilere neden olur. Verileri kopyalamak istemiyorsanız aşağıdaki araçları kullanabilirsiniz:

Araç	Açıklama
Lakehouse Federasyonu	Verilerinizi taşımadan dış veri kaynaklarını sorgulamanıza olanak tanır.
OpenSharing	Verileri platformlar, bulutlar ve bölgeler arasında güvenli bir şekilde paylaşmanızı sağlar.