Aracılığıyla paylaş

Tersine ETL işlemlerinde SQL veritabanı kullanma

Şunlar için geçerlidir:✅Microsoft Fabric'te SQL veritabanı

Bu makalede, Doku tabanlı veri varlığı içinde ters ETL hedefi olarak Doku'da SQL veritabanının nasıl kullanılacağı açıklanmaktadır. Özenle seçilmiş verileri analitik kaynaklardan (Microsoft Fabric Veri Ambarı veya Fabric Lakehouse gibi) uygulamalar, API'ler ve gerçek zamanlı deneyimler tarafından operasyonel kullanım için Fabric'teki SQL veritabanına taşımak üzere mimari rehberlik, operasyonel desenler ve uygulama hususları sağlar.

Fabric ortamında ters ETL nedir?

Birçok müşteri ham operasyonel verileri iş raporlaması için kullanılabilecek daha gelişmiş analiz verilerine dönüştürmek için ayıklama, dönüştürme, yükleme (ETL) işlemleri oluşturmak için önemli zaman ve çaba sarf etmiştir. ETL işleminin sonucu genellikle Power BI gibi bir raporlama katmanının eriştiği ambar veya göl evi gibi bir analiz deposudur. Bu mimari iş kullanıcılarına iyi hizmet vermektedir, ancak raporlama nispeten statiktir ve içgörüler yalnızca insan müdahalesi ile türetilebilir. Ters ETL kullanarak, uygulamaların ve aracıların bu analiz edilen verilerden gerçek zamanlı olarak içgörüler elde edebilmesi için dönüştürülen verileri operasyonel sistemlere geri besleyebilirsiniz. Ters ETL , analitik depolardaki olgulardan ve boyutlardan verileri GraphQL gibi uç noktalar veya doğrudan TDS (Tablolu Veri Akışı) sorguları aracılığıyla erişilebilen bir sunum katmanına iletir.

Operasyonel uygulamaları doğrudan bir depoya veya göle bağlayabilirsiniz ancak bu veri depoları analiz iş yükleri için tasarlanmıştır. Dokudaki SQL veritabanı gibi işletimsel veri depoları, işlem sorgularını destekleyecek şekilde tasarlanmıştır ve operasyonel iş yükleri için daha iyi performans ve ölçeklenebilirlik sağlar. İşletimsel veritabanları, vektör ve karma aramanın yanı sıra alma artırılmış oluşturma (RAG) işlemlerini kolaylaştırmak için vektör eklemeleri ve ek meta veriler ile verileri daha da zenginleştirme seçeneği de sağlar.

  • Bu düzende depo veya göl evi , kayıt analiz sistemi olmaya devam eder.
  • Fabric'teki SQL veritabanı , düşük gecikme süresi, iyileştirilmiş dizin oluşturma, katı veri ve ilişki kısıtlamaları ve uygulama ekipleri tarafından beklenen SLA'lar sunan bir işletimsel depo görevi görür.

Yaygın ters ETL hedefleri

Yaygın ters ETL hedefleri genellikle işletim sistemlerinin minimum dönüşümle kullanabileceği seçilmiş, yüksek değerli veri dilimlerini temsil eder. Bu hedefler, analiz katmanında uygulanan iş mantığını korurken güvenilir verilere düşük gecikme süreli erişim sağlamak için tasarlanmıştır. Örnekler şunları içerir:

  • Müşteri ve Kullanıcı verileri (örneğin, oturum etkinliği, özellik kullanımı ve etkileşimler gibi etkileşim ölçümleri)
  • Satış ve Pazarlama verileri (örneğin, satın alma eğilimi, katılım puanları, dönüştürme olasılığı gibi puanlama ölçümleri)
  • İşlemsel ve İşlemsel veriler (örneğin, stok düzeyleri, sipariş durumu ve teslimat zamanlamaları gibi sipariş ve envanter verileri)
  • AI/ML Türetilmiş veriler (örneğin, kişiselleştirilmiş ürün önerileri, değişim sıklığı riski veya yukarı satış eğilimi gibi tahmine dayalı puanlar veya yaklaşım analizi)

Veri taşıma mekanizmaları

İşlem, kaynak verilerinizi tanımlayarak, hedefi ayarlayarak ve ardından bir veri taşıma mekanizması seçerek başlar. Analiz deponuzdaki verileri Doku'daki SQL veritabanına taşımak için aşağıdaki mekanizmalardan birini veya daha fazlasını seçin.

Tip

Genel bir kural olarak şunu kullanın:

  • İşlem hatları basit kopyalama ve zamanlanmış yüklemeler için kullanılır.
  • Düşük kodlu dönüştürmeler için veri akışları 2. Nesil.
  • Karmaşık ve büyük ölçekli işleme (makine öğrenmesi dahil) için Spark.
  • SQL merkezli işlemleri tutmak için kullanılabilen öğeler arası T-SQL; örneğin, SQL veritabanındaki bir tabloyu bir ambardaki veya SQL analiz uç noktasındaki bir tabloya birleştirme.
Mekanizma Şu durumlarda kullanın: Güçlü Dikkat edilmesi gerekenler
Altyapı Veri İşlem Hatları Veri kopyalama işlemlerinin yönetilen, yinelenebilir yüklerine (toplu iş veya mikro toplu iş) ihtiyacınız vardır Birinci sınıf entegrasyon; filigran ve saklı yordamları destekler Eşzamanlılık; yüklemeler sırasında SQL veritabanını ölçeklendirme
Veri Akışı 2. Nesil Düşük kodlu veri dönüşümlerine ve gelişmiş işlem mantığına ihtiyacınız var İşletme dostu; sütunları şekillendirme ve temizlemeyi destekler Büyük hacimler için daha düşük aktarım hızı; bölümleme planlaması
Spark (not defterleri/görevler) Karmaşık kod tabanlı dönüşümlere ve büyük ölçekli yeniden şekillendirmeye ihtiyacınız var Tam kod denetimi; verimli Delta okumaları; JDBC yazma desteği Kimlik doğrulaması ve toplu işlem; büyük işlemlerden kaçının
Öğeler arası T-SQL sorguları Platform öğeleri arasında veritabanı içi SQL hareket ettirmeniz gerekir Minimal tesisat; SQL yerel; zamanlaması kolay

Başvuru mimarisi: Fabric'de Tersine ETL'yi SQL veritabanına aktarma

Fabric'te ters ETL için referans mimari, işlenmiş analitik verileri kullanıma hazırlamak için gereken temel yapı taşlarını bir araya getirir. Verilerin, dönüşüm katmanları aracılığıyla güvenilir analiz kaynaklarından yapılandırılmış bir SQL veritabanına nasıl aktığını gösterir. İşletimsel veritabanı, aşağı akış sistemleri için arabirim görevi görür. Bu düzen, uygulamaların, API'lerin ve raporlama araçlarının analiz kayıt sisteminin bütünlüğünden ödün vermeden düşük gecikme süreli, yüksek kaliteli verilere erişebilmesini sağlar.

Bu akışın temel bileşenleri şunlardır:

  • Kaynak: Doku Veri Ambarı'ndan veya Lakehouse'dan (Delta) seçilmiş veri kümeleri.
  • Dönüşümler: Pipelines, Dataflow Gen2, Spark veya öğeler arası T-SQL kullanılarak uygulanan Reverse ETL dönüşümleri.
  • Hedef: Tanımlı giriş, geçmiş (isteğe bağlı), karantina ve hizmet şemalarına sahip Fabric'deki SQL veritabanı.
  • Tüketiciler: Gerçek zamanlı panolar ve raporlama için GraphQL veya TDS, API'ler ve Power BI aracılığıyla uygulamalar.

SQL veritabanı içeren, Fabric'teki ters ETL referans mimarisinin diyagramı.

Components

Aşağıdaki bileşenler, Fabric'de SQL veritabanını tersine ETL hedefi olarak kullanmak için genel akışta yer alır.

Hizmet sunma ve iniş şemaları

  • Kaynak verilerini Fabric'teki SQL veritabanında uygun hedef şemalarla eşleştirin.
  • İsteğe bağlı olarak, denetlenebilirlik için bir history şema koruyun.
  • Reddetmeler için bir quarantine şema kullanın (veri kalitesi sorunları).
  • Uygun kısıtlamalar ve dizin oluşturma ile aşağı akış tüketimi için bir serving şema tanımlayın.

Orkestrasyon

  • İşlem Hatlarını, Veri Akışlarını veya Spark İşlerini kullanarak Fabric'de aktarımları zamanlayın.
  • Tempo, başlangıç saati ve saat dilimini yapılandırmak için yerleşik zamanlamayı kullanın.
  • Fabric portalı veya API aracılığıyla Spark Not Defterlerini zamanlayabilirsiniz.
  • Fabric İzleme merkezi'nde uçtan uca çalıştırmaları izleyin.

Consumption

  • ADO.NET (ve diğerleri) gibi istemci kitaplıklarını kullanarak GraphQL uç noktaları veya TDS aracılığıyla T-SQL ile verileri kullanıma sunabilirsiniz.
  • Power BI panolarını ve görselleştirmelerini doğrudan Doku'daki SQL veritabanı üzerinden oluşturun.

İdare ve güvenlik

  • Kimlik doğrulaması ve yetkilendirme için Microsoft Entra Id kullanın.
  • Ayrıntılı denetim için Doku çalışma alanı rol izinlerini ve SQL izinlerini birleştirin.
  • İsteğe bağlı olarak bekleyen verilerin şifrelenmesi için müşteri tarafından yönetilen anahtarları yapılandırın.
  • Özel Bağlantı kullanarak erişimi denetleme ve aktarımdaki verilerin güvenliğini sağlama.

Uygulama hizmeti sağlama

SQL veritabanında verileri seçip yeniledikten sonra, odağı operasyonel tüketiciler için hızlı ve güvenilir erişime olanak tanıyacak şekilde kaydırın. Bu bağlamda uygulama sunma , modern uygulama desenleriyle uyumlu düşük gecikme süreli arabirimler aracılığıyla güvenilen veri kümelerini kullanıma sunma anlamına gelir.

Fabric'teki SQL veritabanına veriler aktarılıp yenilendikten sonra:

  • İşletimsel iş yüklerine hizmet vermek için GraphQL uç noktaları veya TDS protokolü aracılığıyla verileri ADO.NET ve diğer istemci kitaplıkları aracılığıyla kullanılacak şekilde kullanıma sunun. Örneğin, ürün bilgilerini, tedarik zincirini veya müşteri hizmetleri kullanım örneklerini sağlayın.
  • Gerçek zamanlı panolar ve self servis analizler sunmak için veri kümesini Power BI ile eşleştirin.

Dokuya özgü dikkat edilmesi gerekenler

Fabric'teki SQL veritabanı, Azure SQL Veritabanı ile aynı SQL Veritabanı Motorunu kullanır ve Fabric portalı üzerinden denetlenir, güvenli bir şekilde yönetilir, faturalandırılır ve çalıştırılır. Ayrıca Microsoft OneLake'te depolanan Delta/Parquet dosyalarına yerleşik yansıtma olanağı sunar ve bu dosyalara SQL analiz uç noktası üzerinden erişilir. Microsoft Fabric ortamında olduğundan tasarımınızı oluştururken göz önünde bulundurmanız gereken birkaç nokta vardır:

  • Özellik eşliği: Fabric'deki SQL veritabanı Azure SQL Veritabanı ile yakınsıyor. Amaca uygun olduğundan emin olmak için ihtiyacınız olan belirli özellikleri doğrulayın ve yol haritası güncelleştirmelerini izleyin.
  • Güvenlik modeli: Fabric'teki SQL veritabanı yalnızca Microsoft Entra ID kimlik doğrulamasını kullanır. İşlem Hatları, Veri Akışları ve Spark işleri için kimlikleri buna göre planlayın.
  • Replikasyon: Fabric'deki SQL veritabanı salt okunur verileri otomatik olarak OneLake'e çoğaltır. Bu eşitleme, veritabanı okuma/yazma işlem iş yükleri için kullanılabilir durumda kalırken raporlama ve analiz gereksinimleri için kullanışlıdır.

İlgili içerik

  • Last updated on