Microsoft Fabric'teki Data Factory'deki yenilikler ve planlananlar
Önemli
Sürüm planları, henüz yayınlanmış veya yayımlanmamış olabilecek işlevleri açıklar. Teslim zaman çizelgeleri ve öngörülen işlevler değişebilir veya gönderilmeyebilir. Daha fazla bilgi için Microsoft ilkesine bakın.
Microsoft Fabric'teki Data Factory, vatandaş veri tümleştirmesi ve profesyonel veri tümleştirme özelliklerini tek, modern bir veri tümleştirme deneyiminde birleştirir. 100'den fazla ilişkisel ve ilişkisel olmayan veritabanına, lakehouse'lara, veri ambarlarına, REST API'leri, OData gibi genel arabirimlere ve daha fazlasına bağlantı sağlar.
Veri akışları: Veri Akışı 2. Nesil, büyük ölçekli veri dönüştürmeleri gerçekleştirmenize olanak tanır ve Azure SQL Veritabanı, Lakehouse, Veri Ambarı ve daha fazlasına yazılan çeşitli çıkış hedeflerini destekler. Veri akışları düzenleyicisi, yapay zeka tabanlı seçenekler de dahil olmak üzere 300'den fazla dönüştürme sunar ve diğer araçlardan daha iyi esneklikle verileri kolayca dönüştürmenize olanak tanır. Web sayfası gibi yapılandırılmamış bir veri kaynağından veri ayıklarken veya Power Query düzenleyicisinde var olan bir tabloyu yeniden şekillendiriyor olun, Power Query'nin Yapay Zeka (AI) kullanan ve işlemi basitleştiren Veri Ayıklamayı Örnek Olarak kolayca uygulayabilirsiniz.
Veri işlem hatları: Veri işlem hatları, veri ayıklama, tercih edilen veri depolarına yükleme, not defteri yürütme, SQL betiği yürütme gibi görevleri bir araya getiren çok yönlü veri düzenleme iş akışları oluşturma özelliği sunar. Yinelenen görevleri otomatik hale getiren güçlü meta veri temelli veri işlem hatlarını hızla oluşturabilirsiniz. Örneğin, veritabanındaki farklı tablolardan veri yükleme ve ayıklama, Azure Blob Depolama birden çok kapsayıcıda yineleme ve daha fazlası. Ayrıca, veri işlem hatlarıyla Microsoft Graph Veri Bağlantısı ion (MGDC) bağlayıcısını kullanarak Microsoft 365'ten verilere erişebilirsiniz.
Daha fazla bilgi edinmek için belgelere bakın.
Yatırım alanları
Önümüzdeki birkaç ay içinde, Microsoft Fabric'teki Data Factory bağlantı seçeneklerini genişletecek ve zengin dönüşümler ve veri işlem hattı etkinlikleri kitaplığına eklemeye devam edecektir. Ayrıca, işletimsel veritabanlarından gerçek zamanlı, yüksek performanslı veri çoğaltması gerçekleştirmenizi ve analiz için bu verileri göle getirmenizi sağlar.
DBT için veri işlem hattı desteği
Tahmini sürüm zaman çizelgesi: Q1 2024
Yayın Türü: Genel önizleme
DBT CLI Düzenlemesi (Veri Derleme Aracı): Veri dönüştürme iş akışları için veri derleme aracını (dbt) birleştirir.
Dataflow 2. Nesil'de Hızlı Kopyalama desteği
Tahmini sürüm zaman çizelgesi: Q3 2024
Yayın Türü: Genel kullanılabilirlik
İşlem hatlarının Kopyalama Etkinliği özelliğini kullanarak doğrudan Veri Akışı 2. Nesil deneyimi içinde büyük ölçekli veri alımı için destek ekliyoruz. Bu geliştirme, yüksek ölçekli ELT (Ayıklama-Yük-Dönüştürme) özellikleri sağlayan Dataflow 2. Nesil'in veri işleme kapasitesini önemli ölçüde büyütür.
Veri kaynağı kimlik yönetimi (Yönetilen Kimlik)
Tahmini sürüm zaman çizelgesi: Q3 2024
Yayın Türü: Genel önizleme
Bu, Yönetilen kimliğin çalışma alanı düzeyinde yapılandırılmasını sağlar. Veri kaynağınıza güvenli bir şekilde bağlanmak için Doku tarafından yönetilen kimlikleri kullanabilirsiniz.
Veri akışları için Data Factory Git tümleştirmesi
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Git deposuna bağlanabilir ve veri akışlarınızı geliştirebilirsiniz. Bu özellik, sürüm denetimiyle tümleştirmeyi etkinleştirir ve işlemeler ile çekme istekleri sunar.
Data Factory için Copilot (Veri işlem hattı)
Tahmini sürüm zaman çizelgesi: Q4 2024
Yayın Türü: Genel önizleme
Data Factory için Copilot (Veri işlem hattı), müşterilerin doğal dil kullanarak veri işlem hatları oluşturmasına olanak sağlar ve sorun giderme yönergeleri sağlar.
Sevk edilen özellikler
Veri işlem hatlarına şirket içi veri ağ geçidi (OPDG) desteği eklendi
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
Bu özellik, veri işlem hatlarının şirket içinde ve bir sanal ağın arkasındaki verilere erişmek için Doku veri ağ geçitlerini kullanmasına olanak tanır. Şirket içinde barındırılan tümleştirme çalışma zamanlarını (SHIR) kullanan kullanıcılar, Fabric'teki şirket içi veri ağ geçitlerine geçebilir.
Çalışma alanları arası veri işlem hatlarını çağırma desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
İşlem Hatlarını Çağırma etkinlik güncelleştirmesi: İşlem Hattını Çağır etkinliğinde bazı yeni ve heyecan verici güncelleştirmeleri etkinleştiriyoruz. Yoğun müşteri ve topluluk isteklerine yanıt olarak, çalışma alanları arasında veri işlem hatlarının çalıştırılmasını etkinleştiriyoruz. Artık yürütme erişiminiz olan diğer çalışma alanlarından işlem hatlarını çağırabileceksiniz. Bu, çalışma alanları ve işlevsel ekipler arasında veri mühendisliği ve tümleştirme ekiplerinizin işbirliğini kullanabilen çok heyecan verici veri iş akışı desenlerini etkinleştirir.
Dokuda Azure Data Factory
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Mevcut Azure Data Factory'nizi (ADF) Doku çalışma alanınıza getirin! Bu, Doku çalışma alanınızdan mevcut ADF fabrikalarınıza bağlanmanızı sağlayan yeni bir önizleme özelliğidir.
Artık ADF fabrikalarınızı doğrudan Doku çalışma alanı kullanıcı arabiriminden tam olarak yönetebileceksiniz! ADF'niz Doku çalışma alanınıza bağlandıktan sonra, ADF'de olduğu gibi ancak doğrudan Doku'nun içinde işlem hatlarınızı tetikleyebilir, yürütebilecek ve izleyebilirsiniz.
Dataflow 2. Nesil'de artımlı yenileme desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Dataflow 2. Nesil'e artımlı yenileme desteği ekliyoruz. Bu özellik veri kaynaklarından artımlı olarak veri ayıklamanıza, Power Query dönüşümleri uygulamanıza ve çeşitli çıkış hedeflerine yüklemenize olanak tanır.
Azure Databricks İşleri için veri işlem hattı desteği
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Data Factory veri işlem hatlarını Azure Databricks etkinliklerini, DLT işlerini yürütme gibi heyecan verici iş akışı özelliklerine olanak tanıyan en son işler API'sini kullanacak şekilde güncelleştiriyoruz.
Yenileme hataları için geliştirilmiş e-posta bildirimleri
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
E-posta bildirimleri, Dataflow 2. Nesil oluşturucularının bir veri akışının yenileme işleminin sonuçlarını (başarılı/başarısız) izlemesine olanak tanır.
İşi Kopyala
Gönderildi (Q3 2024)
Yayın Türü: Genel önizleme
Kopyalama İşi, Veri Akışı veya Veri işlem hattı oluşturmak zorunda kalmadan verileri almaları gereken müşteriler için deneyimi basitleştirir. Kopyalama İşi, herhangi bir veri kaynağından herhangi bir veri hedefine tam ve artımlı kopyalamayı destekler. Şimdi Özel Önizleme'ye kaydolun.
Data Factory için Copilot (Veri Akışı)
Gönderildi (Q3 2024)
Yayın Türü: Genel kullanılabilirlik
Data Factory için Copilot (Dataflow), müşterilerin Dataflows 2. Nesil ile veri tümleştirme çözümleri oluştururken gereksinimlerini doğal dil kullanarak ifade etmelerini sağlar.
Veri Akışı 2. Nesil Çıkış hedefi için hazırlama varsayılanları
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Veri Akışı 2. Nesil, çok çeşitli veri kaynaklarından Fabric OneLake'e veri alma özellikleri sağlar. Bu veriler hazırlandıktan sonra, Yüksek Ölçekli Veri Akışları 2. Nesil altyapısından (Fabric Lakehouse/Warehouse SQL işlemini temel alarak) yararlanarak yüksek ölçekli olarak dönüştürülebilir.
Veri Akışları 2. Nesil için varsayılan davranış, yüksek ölçekli veri dönüşümlerini etkinleştirmek için OneLake'te verileri hazırlamaktır. Bu, yüksek ölçekli senaryolar için harika olsa da, veri akışı çıkış hedefine yüklenmeden önce veriler için ek atlama (hazırlama) içerdiğinden az miktarda verinin alındığı senaryolar için de çalışmaz.
Planlanan geliştirmelerle, hazırlama gerektirmeyen bir çıkış hedefine sahip sorgular (fabric Lakehouse ve Azure SQL Veritabanı) için varsayılan Hazırlama davranışını devre dışı bırakılacak şekilde ayarlıyoruz.
Hazırlama davranışı, Sorgu Ayarları bölmesi veya Sorgular bölmesindeki sorgu bağlam menüsü aracılığıyla sorgu başına el ile yapılandırılabilir.
Olay Odaklı Tetikleyiciler için veri işlem hattı desteği
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Data Factory veri işlem hatlarını çağırmak için yaygın bir kullanım örneği, dosya gelişi ve dosya silme gibi dosya olaylarında işlem hattını tetiklemedir. ADF veya Synapse'ten Doku'ya gelen müşteriler için ADLS/Blog depolama olaylarını kullanmak, yeni bir işlem hattı yürütme sinyali vermenin veya oluşturulan dosyaların adlarını yakalamanın bir yolu olarak çok yaygındır. Fabric Data Factory'deki tetikleyiciler, EventStreams ve Reflex tetikleyicileri de dahil olmak üzere Doku platformu özelliklerinden yararlanıyor. Doku Data Factory işlem hattı tasarım tuvalinin içinde, işlem hattınız için bir Refleks tetikleyicisi oluşturmak için basabileceğiniz bir Tetikleyici düğmesine sahip olursunuz veya tetikleyiciyi doğrudan Data Activator deneyiminden oluşturabilirsiniz.
SparkJobDefinition için veri işlem hattı desteği
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
Artık JAR dosyaları da dahil olmak üzere Spark kodunuzu doğrudan bir işlem hattı etkinliğinden yürütebilirsiniz. Spark kodunuzun üzerine gelin; işlem hattı işi Doku'daki Spark kümenizde yürütür. Bu yeni etkinlik, Spark İşlerinizle aynı işlem hattında Data Factory denetim akışı ve veri akışı özelliklerini de dahil ederken Doku'nun Spark altyapısının gücünden yararlanan heyecan verici veri iş akışı desenleri sağlar.
Azure HDInsight için veri işlem hattı desteği
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
HDInsight, geliştiricilerin bulutta çok güçlü büyük veri çözümleri oluşturmasını sağlayan Hadoop için Azure PaaS hizmetidir. Yeni HDI işlem hattı etkinliği, ADF ve Synapse işlem hatlarında yıllardır ziyaret ettiğiniz mevcut funcationality'ye benzer şekilde Data Factory veri işlem hatlarınızın içinde HDInsights iş etkinliklerini etkinleştirir. Şimdi bu özelliği doğrudan Doku veri işlem hatlarına getirdik.
Kopyalama Etkinliği için yeni bağlayıcılar
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Kopyalama etkinliği için veri işlem hattından yararlanırken müşteriyi şu kaynaklardan alma gücü veren yeni bağlayıcılar eklenecektir: Oracle, MySQL, Azure AI Search, Azure Dosyalar, Dynamics AX, Google BigQuery.
Apache Airflow işi: Apache Airflow tarafından desteklenen veri işlem hatları oluşturma
Gönderildi (Q2 2024)
Yayın Türü: Genel önizleme
Apache Airflow işi (daha önce Veri iş akışları olarak adlandırılır) Apache Airflow tarafından desteklenir ve tümleşik bir Apache Airflow çalışma zamanı ortamı sunarak Python DAG'lerini kolayca yazmanıza, yürütmenize ve zamanlamanıza olanak tanır.
Veri kaynağı kimlik yönetimi (SPN)
Gönderildi (Q2 2024)
Yayın Türü: Genel kullanılabilirlik
Hizmet sorumlusu - Azure AD kiracısı tarafından güvenliği sağlanan kaynaklara erişmek için erişim gerektiren varlığın bir güvenlik sorumlusu tarafından temsil edilmesi gerekir. Hizmet sorumlusuyla veri kaynaklarınıza bağlanabileceksiniz.
Veri deneyimi geliştirmeleri alma (Azure Kaynaklarına Gözat)
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Azure kaynaklarına göz atmak, Azure kaynaklarına göz atmak için sorunsuz gezinti sağlar. Azure aboneliklerinizde kolayca gezinebilir ve sezgisel bir kullanıcı arabirimi aracılığıyla veri kaynaklarınıza bağlanabilirsiniz. İhtiyacınız olan verileri hızla bulmanıza ve bağlanmanıza yardımcı olur.
Veri işlem hatlarına şirket içi veri ağ geçidi (OPDG) desteği eklendi
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Bu özellik, veri işlem hatlarının şirket içinde ve bir sanal ağın arkasındaki verilere erişmek için Doku veri ağ geçitlerini kullanmasına olanak tanır. Şirket içinde barındırılan tümleştirme çalışma zamanlarını (SHIR) kullanan kullanıcılar, Fabric'teki şirket içi veri ağ geçitlerine geçebilir.
Veri işlem hatları için Data Factory Git tümleştirmesi
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Veri işlem hatlarını işbirliğine dayalı bir şekilde geliştirmek için Git deponuza bağlanabilirsiniz. Veri işlem hatlarının Doku platformunun Uygulama Yaşam Döngüsü Yönetimi (ALM) özelliğiyle tümleştirilmesi sürüm denetimi, dallanma, işlemeler ve çekme isteklerine olanak tanır.
Dataflow 2. Nesil'de çıkış hedeflerine yönelik geliştirmeler (sorgu şeması)
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
Dataflow 2. Nesil'deki çıkış hedeflerini aşağıdaki yüksek düzeyde istenen özelliklerle geliştiriyoruz:
- Çıkış hedefini yapılandırdıktan sonra sorgu şeması değişikliklerini işleyebilme.
- Veri akışları oluşturmayı hızlandırmak için varsayılan hedef ayarları.
Daha fazla bilgi edinmek için bkz . Veri Akışı 2. Nesil veri hedefleri ve yönetilen ayarlar
Dataflow 2. Nesil'de Hızlı Kopyalama desteği
Gönderildi (1. S2024)
Yayın Türü: Genel önizleme
İşlem hatlarının Kopyalama Etkinliği özelliğini kullanarak doğrudan Veri Akışı 2. Nesil deneyimi içinde büyük ölçekli veri alımı için destek ekliyoruz. Bu, Azure Data Lake Storage ve Blob Depolama'daki Azure SQL Veritabanı, CSV ve Parquet dosyaları gibi kaynakları destekler.
Bu geliştirme, yüksek ölçekli ELT (Ayıklama-Yük-Dönüştürme) özellikleri sağlayan Dataflow 2. Nesil'in veri işleme kapasitesini önemli ölçüde büyütür.
Dataflow 2. Nesil'de yenileme desteğini iptal etme
Gönderildi (Q4 2023)
Yayın Türü: Genel önizleme
Çalışma alanı öğeleri görünümünden devam eden Veri Akışı 2. Nesil yenilemelerini iptal etmek için destek ekliyoruz.