Microsoft Fabric'e veri alma

Microsoft Fabric, analiz ortamınıza veri getirmenin birden çok yolunu sağlar. Akış olaylarını gerçek zamanlı olarak işlemeniz, operasyonel veritabanlarını çoğaltmanız, toplu işlem hatlarını düzenlemeniz veya verileri kopyalamadan verilere erişmeniz gerekip gerekmediği fark etmeksizin, Fabric her senaryo için yerleşik özellikler sunar. Fabric ayrıca OneLake aracılığıyla yönetilen veri paylaşımı modellerini destekler ve çoğaltılmadan canlı veri kümelerine kiracılar arası ve çalışma alanları arası erişim sağlar.

Bu makalede Fabric'deki birincil veri girişi ve veri taşıma seçenekleri açıklanmaktadır. Aşağıdakileri kapsar:

  • Eventstreams ve Eventhouse ile gerçek zamanlı alım
  • Data Factory işlem hatları ve Kopyalama işlemi ile işlem düzenlemesi
  • Yansıtma kullanarak neredeyse gerçek zamanlı çoğaltma
  • OneLake kısayollarıyla veri sanallaştırma

Her yaklaşımın nasıl çalıştığını anlamak ve gecikme süresi, dönüştürme ve işlem karmaşıklığı için iş yükü gereksinimlerinize en uygun stratejiyi seçmek için bu genel bakışı kullanın.

Gerçek zamanlı veri alımı

Real-Time Intelligence iş yükündeki Eventstreams ve Eventhouse öğeleri akış verisi senaryolarını destekler. Olay akışları gerçek zamanlı olayları alır ve işler ve Eventhouses bu olayları uygun ölçekte depolar ve sorgular. Verileri yakalamak ve bir Eventhouse'a yönlendirmek için genellikle bir Eventstream kullanırsınız. Ayrıca her özelliği gereksinimlerinize göre bağımsız olarak da kullanabilirsiniz. Aşağıdaki diyagram, gerçek zamanlı veri kümelerinin Fabric platformunda, Eventstream ve Eventhouse'a nasıl aktığını göstermektedir.

Eventstream veya Eventhouse'a akan gerçek zamanlı veri kümelerinin diyagramı.

Eventstream ile olayları alma ve yönlendirme

Eventstream , olayları Doku'ya almak, akış içi dönüşümler uygulamak ve verileri birden çok hedefe yönlendirmek için kod içermeyen bir deneyim sağlar. Eventstream, bir gerçek zamanlı alım işlem hattı işlevi görür. Bir Eventstream oluşturur ve bir veya daha fazla kaynak bağlayıcı eklersiniz. Fabric, içsel Fabric olayları gibi birçok akış kaynağını destekler; örneğin, Fabric çalışma alanı olayları, OneLake dosya olayları ve işlem hattı iş olayları.

Olaylar akmaya başladıktan sonra , sürükleyip bırakma düzenleyicisi aracılığıyla isteğe bağlı gerçek zamanlı dönüştürmeler uygulayabilirsiniz. Örneğin, olayları filtreleyebilir, zaman penceresi toplamlarını hesaplayabilir, birden çok akışı birleştirebilir veya kod yazmadan alanları yeniden şekillendirebilirsiniz.

İşlenen akışı desteklenen bir veya daha fazla hedefe gönderebilirsiniz. Olay akışları, özel uç nokta kaynakları ve hedefleri aracılığıyla Apache Kafka uç noktalarını kullanıma açabilir. Bu özellik, Kafka üreticilerinin olayları Fabric'e akışla göndermesini ve Kafka tüketicilerinin olayları Fabric'ten tüketmesini sağlar.

Olay akışları verileri kalıcı olarak depolamaz. Olayları bellek üzerinden akışla aktarıp yapılandırılan hedeflere iletirler. Bu tasarım, Eventstreams'i gerçek zamanlı ayıklama, dönüştürme, yükleme (ETL) senaryoları için ve akış verilerini birden çok hedefe dağıtmak için uygun hale getirir. Örneğin, Nesnelerin İnterneti (IoT) algılayıcılarından telemetri alabilir, verileri gerçek zamanlı olarak filtreleyebilir ve toplayabilir, iyileştirilmiş akışı analiz için bir Eventhouse'a gönderebilir ve anomali olaylarını uyarı için Activator'a yönlendirebilirsiniz.

Verileri doğrudan Eventhouse'a alma

Eventhouses , verileri doğrudan birden çok kaynaktan alabilir. Fabric, Eventhouse'da tümleşik Get data (Veri Al) deneyimi içerir. Sihirbaz yerel dosyalar, Azure Depolama, Amazon S3, Azure Event Hubs ve OneLake gibi kaynaklara bağlanır. Eventhouse kullanıcı arabirimini kullanarak gerçek zamanlı veya toplu iş modunda kusto Sorgu Dili (KQL) veritabanı tablosuna veri yükleyebilirsiniz.

Fabric'te kaynak olarak mevcut bir Eventstream'i de seçebilirsiniz. Örneğin, IoT Hub veya Kafka'dan veri alınan bir Eventstream kullanırsanız, çıktısını ek yapılandırma olmadan doğrudan bir KQL veritabanı tablosuna yönlendirebilirsiniz.

Toplu veri alımı

Data Factory geleneksel ayıklama, dönüştürme, yükleme (ETL) ve ayıklama, yükleme, dönüştürme (ELT) işlem hatları için birincil deneyimi sağlar. Büyük bir bağlayıcı kitaplığı içerir. Fabric Data Factory veritabanları, hizmet olarak yazılım (SaaS) uygulamaları ve dosya tabanlı sistemler dahil olmak üzere şirket içi ve bulut veri depoları için yerel bağlayıcıların listesini sağlar. Bu bağlayıcılar neredeyse tüm kaynak sistemlerine bağlanmanıza yardımcı olur.

Boru hatları ile veri taşımayı yönetin

Verileri OneLake veya analiz depolarına kopyalamak veya taşımak için bu bağlayıcıları kullanan işlem hatları oluşturabilirsiniz. Bu yaklaşım şu desteği destekler:

  • Görüntüler, video ve ses gibi yapılandırılmamış veri kümeleri
  • JSON, CSV ve XML gibi yarı yapılandırılmış veri kümeleri
  • Desteklenen ilişkisel veritabanı sistemlerinden yapılandırılmış veri kümeleri

İşlem hattında, aşağıdakileri içeren birden çok düzenleme bileşenini birleştirirsiniz:

İşlem hattını isteğe bağlı, zamanlamaya göre veya olaylara yanıt olarak çalıştırabilirsiniz. Örneğin, bir işlem hattını hafta içi iki saatte bir çalışacak şekilde zamanlayabilir veya OneLake'te yeni bir dosya oluşturulduğunda tetikleyebilirsiniz.

Kopyalama işi ile veri taşımayı basitleştirme

Kopyalama işi, toplu kopyalama, artımlı kopyalama ve değişiklik verisi yakalama (CDC) veri çoğaltma dahil olmak üzere birden çok veri iletim desenini destekler. İşlem hattı oluşturmadan ve gelişmiş yapılandırma seçeneklerine erişmeye devam ederken verileri bir kaynaktan OneLake'e taşımak için Kopyalama işini kullanabilirsiniz. Kopyalama görevi birçok kaynağı ve hedefi destekler. Yansıtma'dan daha fazla denetim ve Kopyalama etkinliğini kullanan işlem hatlarını yönetmekten daha az işlem karmaşıklığı sunar.

Yansıtma ile verileri çoğaltma

Yansıtma otomatik kurulum ile dış sistemlerdeki verileri neredeyse gerçek zamanlı olarak Fabric'e çoğaltır. Azure SQL Veritabanı, SQL Server, Oracle, SAP veya Snowflake gibi bir dış sisteme bağlanırsınız. "Platform, veri veya meta verileri sürekli olarak OneLake'e çoğaltır." Yansıtma üç türü destekler:

  • Veritabanı yansıtma, tüm veritabanı ve tabloların kopyalarını oluşturur.
  • Meta veri yansıtma , verileri fiziksel olarak taşımak yerine katalog adları, şemalar ve tablolar gibi meta verileri eşitler. Bu yaklaşım, verilerin kaynak sisteminde kalmasını sağlarken Fabric'de erişilebilir olmaları için kısayollar kullanır.
  • Açık yansıtma açık Delta Lake tablo biçimini kullanır. Geliştiriciler, genel API'leri kullanarak uygulama değişikliklerini doğrudan OneLake'deki yansıtılmış bir veritabanı öğesine yazabilir.

Doku, kaynak sistem değişikliklerini (değişiklik veri yakalama veya benzer yöntemler aracılığıyla) dinler ve bu değişiklikleri yansıtılmış kopyaya neredeyse gerçek zamanlı olarak uygular. Sonuç, karmaşık bir ETL işlem hattı olmadan düşük gecikme süresiyle eşitlenmiş durumda kalan canlı, sorgulanabilir bir veri kümesidir.

Yansıtma şu anda Azure SQL Veritabanı, SQL Yönetilen Örneği, Azure Cosmos DB, PostgreSQL için Azure Veritabanı, Google BigQuery, Oracle, SAP, Snowflake ve SQL Server gibi çeşitli kaynakları desteklemektedir. Ayrıca Açık Yansıtma API'sini uygulayan iş ortağı çözümlerinden veri kaynaklarını da destekler. Yansıtılmış veriler OneLake'de güncel Delta tabloları olarak depolanır. Doku, bu tabloları gerçek zamanlı analiz için kullanabilmeniz veya diğer Doku verileriyle birleştirebilmeniz için otomatik olarak tutar. Bu özellik, operasyonel verilerin analiz platformunuza sürekli olarak aktığı karma işlem ve analitik işleme senaryolarını destekler.

Yansıtma, artımlı yük işlem hatlarını el ile oluşturma gereksinimini ortadan kaldırır. Yansıtma maliyeti açısından, yansıtılan veritabanlarını senkronize tutan hesaplama işlemleri, Doku kapasitenizden Kapasite Birimlerini (CU) kullanmaz. OneLake'de yansıtılmış veri depolama da Fabric SKU'nuzda terabayt sınırına kadar ücretsizdir (örneğin, F64 64 TB ücretsiz yansıtılmış veritabanı depolama içerir).

Kısayollarla dış verilere erişme

Yapı, veri sanallaştırmayı etkinleştirmek için kısayollar sağlar. OneLake'deki bir kısayol, Azure Data Lake Storage 2. Nesil, Amazon S3 veya SharePoint gibi bir dış sistemde depolanan verilere başvurur. Kısayollar, diğer çalışma alanlarındaki veriler ve OneLake veri paylaşımı aracılığıyla kiracılar arasında paylaşılan veriler de dahil olmak üzere OneLake'in kendi içindeki verilere de başvurabilir. Kısayollar, verileri kopyalamak yerine OneLake'in birleşik veri gölü kapsamında dış ve iç dosyalara başvurmasını sağlar. İlk geçişi gerçekleştirmeden dış verileri yerel verilerle sorgulayabilir veya birleştirebilirsiniz. Bu kopyasız alma yaklaşımı, veri yerleşimi gereksinimleri veya yinelenen veriler taşınmasını engellediğinde kullanışlıdır. Aşağıdaki diyagramda kısayolların veri kopyalamadan dış depolama sistemlerini Doku öğelerine nasıl bağlayabilmesi gösterilmektedir:

Dış depolama kısayolları mimarisinin diyagramı.

OneLake, bir kısayol tarafından başvuruda bulunılan veri türünü algılayabilir ve işlem hattı veya özel kod gerektirmeden dosya dönüştürmeleri veya yapay zeka dönüşümleri uygulayabilir. Bu dönüşümler, OneLake veri paylaşımı aracılığıyla diğer kiracılardan paylaşılan veriler de dahil olmak üzere tüm kısayol hedeflerinde çalışır. OneLake, elde edilen Delta tablosunu kaynakla otomatik olarak eşitlenmiş olarak tutar. Örneğin, dosyaları Delta tablolarına dönüştürebilir .csv veya bir klasördeki dosyalara .txt yapay zeka tabanlı yaklaşım analizi uygulayabilirsiniz.

Yansıtma ile birlikte, kısayollar size esnek veri erişim desenleri sağlar. Kısayolları kullanarak verileri yerinde tutabilir veya yansıtmayı kullanarak verileri çoğaltabilirsiniz. Her iki durumda da veriler karmaşık ETL içermeyen Doku analizi araçları için hazırdır.

Karar kılavuzu: Veri taşıma stratejisi seçme

Microsoft Fabric, gerçek zamanlı işlemeye yönelik Eventstreams, Yansıtma, Kopyalama etkinlikleri içeren işlem hatları, Kopyalama işi ve kısayollar gibi verileri Fabric'e aktarmak için çeşitli seçenekler sunar. Her seçenek farklı bir denetim, otomasyon ve operasyonel karmaşıklık dengesi sunar. OneLake'de bulunan verilere (aynı kiracıda veya başka bir kuruluştan paylaşılan) canlı ve yönetilen erişime ihtiyacınız olduğunda, verileri çoğaltmak yerine OneLake veri paylaşımını kısayollarla birleştirmeyi göz önünde bulundurun.

Senaryonuz için uygun yaklaşımı seçme yönergeleri için bkz . Microsoft Fabric karar kılavuzu: Veri taşıma stratejisi seçme.

İlgili içerik

  • Last updated on