Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Microsoft Fabric, ihtiyacınız olan verilere göre verileri Doku'ya getirmenin çeşitli yollarını sunar. Bugün İşlem Hatlarında Yansıtma, Kopyalama etkinlikleri, İşi kopyala veya Olay Akışlarını kullanabilirsiniz. Her seçenek farklı bir denetim ve karmaşıklık düzeyi sunar, böylece senaryonuza en uygun olanı seçebilirsiniz.
Yansıtma, veritabanını Fabric'e yansıtmak için basit ve ücretsiz bir çözüm olarak tasarlanmıştır, ancak her ileri düzey senaryoyu kapsamaz. İşlem hatlarındaki kopyalama etkinlikleri size tam olarak özelleştirilebilir veri alımı özellikleri sağlar, ancak işlem hattını tek başına derlemenizi ve yönetmenizi gerektirir. Kopyalama işi bu 2 seçenek arasındaki boşluğu doldurur. Yansıtma'dan daha fazla esneklik ve denetime ek olarak işlem hattı oluşturmanın karmaşıklığı olmadan hem toplu hem de artımlı kopyalama için yerel destek sunar.
Gerçek zamanlı akış alımı ve olay odaklı senaryolar için Real-Time Intelligence'da Eventstreams'i deneyin. Bunlar düşük gecikme süreli veri taşıma sağlar, kod veya SQL dönüştürmeleri olmadan verileri dönüştürmenize olanak sağlar ve Eventhouse, Lakehouse ve Activator gibi birden çok hedefe içerik tabanlı yönlendirmeyi destekler.
Temel kavramlar
Yansıtma, operasyonel verileri analiz için Fabric platformuna yansıtmak için basit ve ücretsiz bir yol sağlar. Minimum kurulumla kullanım kolaylığı için iyileştirilmiştir ve OneLake'de tek bir salt okunur hedefe yazar.
İşlem Hatlarındaki kopyalama etkinlikleri, düzenlenmiş, işlem hattı tabanlı veri alımı iş akışlarına ihtiyaç duyan kullanıcılar için oluşturulur. Bunu kapsamlı bir şekilde özelleştirebilir ve dönüştürme mantığı ekleyebilirsiniz, ancak artımlı kopya için son çalıştırmanın durumunu izlemek de dahil olmak üzere işlem hattı bileşenlerini kendiniz tanımlamanız ve yönetmeniz gerekir.
Kopyalama Görevi, toplu kopyalama, artımlı kopyalama ve değişiklik veri yakalama (CDC) çoğaltması gibi birden çok teslim stili için yerel destekle veri alımını kolaylaştırarak işlem hatları oluşturmanız gerekmez ve yine de birçok gelişmiş seçeneğe erişmenizi sağlar. Birçok kaynağı ve hedefi destekler ve Yansıtma'dan daha fazla denetime sahip olmak ancak kopyalama etkinliğiyle işlem hatlarını yönetmekten daha az karmaşıklık istediğinizde iyi çalışır.
Olay akışları: Akış verilerinin gerçek zamanlı alımı, dönüşümü ve işlenmesi için tasarlanmıştır. Düşük gecikmeli işlem hatlarını, şema yönetimini ve Eventhouse, Lakehouse, Activator ve Özel Uç Noktaları destekleyen (AMQP, Kafka ve HTTP uç noktaları) gibi hedeflere yönlendirmeyi destekler.
Veri taşıma karar kılavuzu
| Yansıtma | İşi kopyalama | Kopyalama Etkinliği (İşlem Hattı) | Olay Akışları | |
|---|---|---|---|---|
| Kaynak | Veritabanları + Açık Yansıtma ile üçüncü taraf tümleştirmesi | Desteklenen tüm veri kaynakları ve biçimleri | Desteklenen tüm veri kaynakları ve biçimleri | 25'den fazla kaynak ve tüm biçimler |
| Hedef | Doku OneLake'te tablosal biçim (salt okunur) | Desteklenen tüm hedefler ve biçimler | Desteklenen tüm hedefler ve biçimler | 4'den fazla hedef |
| Esneklik | Sabit davranışlı basit kurulum | Kullanımı kolay + Gelişmiş seçenekler | Gelişmiş ve tamamen özelleştirilebilir seçenekler | Basit ve özelleştirilebilir seçenekler |
| Yetenek | Yansıtma | İşi kopyalama | Kopyalama Etkinliği (İşlem Hattı) | Olay Akışları |
|---|---|---|---|---|
| Özel zamanlama | Yes | Yes | Devamlı | |
| Tablo ve Sütun yönetimi | Yes | Yes | Evet (şema, olay ve alan yönetimi) | |
| Kopyalama davranışı: Ekle, Yukarı Ekle, Geçersiz Kıl | Yes | Yes | Append | |
| Gelişmiş gözlemlenebilirlik + denetim | Yes | Yes | ||
| Kopyalama modları | ||||
| CDC tabanlı sürekli çoğaltma | Yes | Yes | Yes | |
| Toplu veya toplu kopyalama | Yes | Yes | Evet (CDC'nin ilk anlık görüntü çoğaltması) | |
| Artımlı kopyalama için yerel destek (filigran tabanlı) | Yes | |||
| Kullanıcı tanımlı sorguyu kullanarak kopyalama | Yes | Yes | ||
| Kullanım örnekleri | ||||
| Analiz ve raporlama için Sürekli Çoğaltma | Yes | Yes | Yes | |
| Veri ambarı için meta veri temelli ELT/ETL | Yes | Yes | ||
| Veri birleştirme | Yes | Yes | Yes | |
| Veri geçişi / Veri yedekleme / Veri paylaşımı | Yes | Yes | Yes | |
| Ücretsiz | Yes | |||
| Tahmin edilebilir performans | Yes | Yes | Yes |
Scenarios
İhtiyaçlarınıza en uygun veri taşıma stratejisini seçmenize yardımcı olması için bu senaryoları gözden geçirin.
1. Senaryo
James bir sigorta şirketinde finans müdürü. Ekibi, birden çok iş biriminde ilke verilerini, taleplerini ve müşteri bilgilerini izlemek için Azure SQL Veritabanı'na sahiptir. Yönetim ekibi, iş performansı izleme için gerçek zamanlı panolar oluşturmak istiyor, ancak James analiz sorgularının günlük binlerce işlemi işleyen işletim sistemlerini yavaşlatmasına izin vermiyor.
James'in herhangi bir kurulum karmaşıklığı veya sürekli bakım olmadan sürekli veri çoğaltmaya ihtiyacı var. Zamanlamayı yönetmek, artımlı yükleri yapılandırmak veya tablo seçimi konusunda endişelenmek istemiyor. Her şeyin otomatik olarak yansıtılması gerekiyor. Bu yalnızca yönetici raporlaması için olduğundan, Verilerin OneLake'te salt okunur bir biçimde olması mükemmel bir şekilde çalışır. Ayrıca çözüm, departman bütçesinden çıktığı için uygun maliyetli olmalıdır.
James seçeneklere bakar ve Yansıtma'yı seçer. Yansıtma, ihtiyacı olan CDC tabanlı sürekli çoğaltmayı sağlar ve yapılandırma olmadan tüm tabloları otomatik olarak işler. Basit kurulum, teknik uzmanlığa ihtiyacı olmadığı ve ücretsiz maliyetin bütçesine uygun olduğu anlamına gelir. OneLake'deki salt okunur tablosal biçim, ekibine operasyonel performansı etkilemeden ihtiyaç duydukları gerçek zamanlı analiz erişimi sağlar.
2. Senaryo
Lisa bir lojistik şirketinde iş analisti. Tedarik zinciri analizi için birden çok Snowflake veritabanındaki sevkiyat verilerini Fabric Lakehouse tablolarına kopyalaması gerekiyor. Veriler hem ilk yük için geçmiş kayıtları hem de gün boyunca gelen yeni sevkiyatları içerir. Lisa, bu işlemi iş saatlerinde 4 saatte bir özel bir zamanlamayla çalıştırmak istiyor.
Lisa'nın her Snowflake örneğinden belirli tabloları seçmesi, sütunları standart adlarla eşlemesi ve mevcut sevkiyat kayıtlarına yönelik güncelleştirmeleri işlemek için upsert davranışını kullanması gerekir. Bölgeler arasında farklı şemaları işlemek için tablo ve sütun yönetimi özelliklerine ihtiyacı var ve veri kalitesini ve işleme performansını izlemek için gelişmiş izleme istiyor.
Lisa seçeneklere bakar ve İşi kopyala'yı seçer. Kopyalama işi, iş saati gereksinimleri için ihtiyaç duyduğu özel zamanlamayı sağlar, Snowflake dahil tüm veri kaynaklarını destekler ve çok bölgeli kurulumu için tablo ve sütun yönetimi özellikleri sunar. Gelişmiş yapılandırma seçeneklerine sahip kullanımı kolay arabirim, artımlı kopyayı filigran tabanlı algılama ve upsert davranışıyla işlem hatları oluşturmadan işlemesini sağlar.
Senaryo 3
David, bir telekomünikasyon şirketinde üst düzey bir veri mühendisidir. Özel SQL sorguları kullanarak Oracle'dan müşteri kullanım verilerini ayıklaması, iş dönüşümleri uygulaması ve hem Doku Ambarı hem de dış sistemler dahil olmak üzere birden çok hedefe yüklemesi gereken karmaşık bir veri alımı iş akışı oluşturuyor. İş akışının veri doğrulama ve bildirim adımları gibi diğer işlem hattı etkinlikleriyle de koordine olması gerekir.
David'in, kaynakta tabloları birleştirmek ve verileri filtrelemek için kullanıcı tanımlı sorgular kullanma özelliği de dahil olmak üzere kopyalama işlemi üzerinde tam denetime sahip olması gerekir. Gelişmiş ve tamamen özelleştirilebilir yapılandırma seçeneklerine, büyük veri hacimleri için öngörülebilir performansa ve kopyalama işlemini bağımlılıklar ve hata işleme ile daha geniş işlem hattı düzenleme iş akışlarıyla tümleştirme özelliğine ihtiyacı var.
David, kullanılabilir seçenekleri gözden geçirin ve İşlem Hatlarında Etkinlikleri Kopyala'yı seçer. Bu yaklaşım ona ihtiyacı olan gelişmiş ve tamamen özelleştirilebilir yapılandırmayı sağlar, karmaşık veri ayıklama için kullanıcı tanımlı sorguları destekler ve iş akışı için gerekli işlem hattı tabanlı düzenlemeyi sağlar. Gelişmiş izleme ve denetim özellikleri karmaşık süreci izlemesine yardımcı olurken, işlem hattı çerçevesi kopyalama etkinliklerini diğer veri işleme adımlarıyla koordine etmesini sağlar.
Senaryo 4
Ash, bir telekom şirketinde ürün yöneticisidir. Ekibinin SLA uyumluluğunu sağlamak ve müşteri memnuniyetini geliştirmek için arama hacimleri, bekleme süreleri ve aracı performansı gibi müşteri desteği ölçümlerini gerçek zamanlı olarak izlemesi gerekiyor. Veriler CRM platformları, çağrı merkezi günlükleri ve aracı atama veritabanları dahil olmak üzere birden çok işletim sisteminden gelir ve gün boyunca yüksek sıklıkta gelir.
Ash, bu verileri hareket halinde almak ve dönüştürmek için Doku Olay Akışlarını kullanır. Akış bağlayıcılarını çeşitli kaynaklardan veri çekecek şekilde yapılandırıyor, kod içermeyen deneyimi kullanarak dönüşümler uyguluyor ve işlenen olayları gerçek zamanlı analiz için Eventhouse'a yönlendiriyor. Veri Etkinleştirici'yi, SLA eşikleri ihlal edildiğinde uyarılar ve otomatik iş akışları tetiklenmesi için entegre eder, böylece gözetmenlere bildirim gönderebilir veya personel seviyelerini dinamik olarak ayarlayabilir.
Sonuç, Ash'in ekibine canlı performans ölçümlerine görünürlük kazandıran ve hızlı, veri odaklı kararlar veren, saniyeler içinde güncelleştirilen gerçek zamanlı bir panodur. Bu akış mimarisi, toplu işlem hatlarının gecikme süresini ortadan kaldırır ve işletmenin müşteri ihtiyaçlarına anında yanıt vermesini sağlar.
Get started
Artık hangi veri taşıma stratejisini kullanacağınız hakkında bir fikriniz olduğuna göre, şu kaynakları kullanmaya başlayabilirsiniz: