Veri düzenleme nedir?

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Veri düzenleme , çeşitli aşağı akış uygulamaları için daha uygun ve kullanışlı hale getirmek için verileri özgün kaynağından dönüştürmeyi ve yeniden biçimlendirmeyi içerir.

Kuruluşların, her gün büyümeye devam eden karmaşık verilerin doğru analizini sağlamak için veri hazırlama ve düzenleme için kritik iş verilerini keşfetme becerisine sahip olması gerekir. Kuruluşların verileri çeşitli iş süreçlerinde kullanabilmesi ve değer verme süresini kısaltabilmesi için veri hazırlama gereklidir.

Data Factory, Power Query kullanarak bulut ölçeğinde yinelemeli olarak kod içermeyen veri hazırlama konusunda size güç sağlar. Data Factory, Power Query Online ile tümleşir ve Power Query M işlevlerini işlem hattı etkinliği olarak kullanılabilir hale getirir.

Data Factory, Power Query Online Mashup Düzenleyicisi tarafından oluşturulan M'yi Azure Data Factory Veri Akışlarına çevirerek bulut ölçeği yürütme için spark koduna çevirir. Verileri Power Query ve veri akışlarıyla düzenleme, özellikle veri mühendisleri veya 'vatandaş veri tümleştiricileri' için yararlıdır.

Kullanım örnekleri

Hızlı etkileşimli veri keşfi ve hazırlığı

Birden çok veri mühendisi ve vatandaş veri tümleştiricisi, bulut ölçeğinde veri kümelerini etkileşimli olarak inceleyebilir ve hazırlayabilir. Veri göllerindeki verilerin hacminin, çeşitliliğinin ve hızının artmasıyla, kullanıcıların veri kümelerini keşfetmek ve hazırlamak için etkili bir yönteme ihtiyacı vardır. Örneğin, '2017'den bu yana yeni müşteriler için tüm müşteri demografik bilgilerini içeren' bir veri kümesi oluşturmanız gerekebilir. Bilinen bir hedefe eşlemiyorsunuz. Bir gereksinimi gölde yayımlamadan önce bir gereksinimi karşılamak için veri kümelerini keşfediyor, düzenliyor ve hazırlıyorsunuz. Veri manipülasyonu, genellikle daha az resmi analiz senaryolarında kullanılır. Önceden oluşturulmuş veri kümeleri, dönüştürmeler ve makine öğrenmesi işlemleri aşağı akış için kullanılabilir.

Kod içermeyen çevik veri hazırlama

Vatandaş veri tümleştiricileri zamanlarının %60'ından fazlasını veri aramak ve hazırlamak için harcar. Operasyonel üretkenliği artırmak için bunu kodsuz bir şekilde yapmak istiyorlar. Vatandaş veri tümleştiricilerinin Power Query Online gibi bilinen araçları kullanarak verileri ölçeklenebilir bir şekilde zenginleştirmesine, şekillendirmesine ve yayımlamasına olanak sağlamak, üretkenliği önemli ölçüde artırır. Azure Data Factory'de düzenleme, tanıdık Power Query Çevrimiçi karma düzenleyicisinin, vatandaş veri tümleştiricilerinin hataları hızla düzeltmesine, verileri standartlaştırmasına ve iş kararlarını desteklemek için yüksek kaliteli veriler üretmesine olanak tanır.

Veri doğrulama ve araştırma

Aykırı değerleri, anomalileri kaldırmak ve hızlı analiz için bir şekle uydurmak için verilerinizi kodsuz bir şekilde görsel olarak tarayın.

Desteklenen kaynaklar

Bağlayıcı Veri biçimi Doğrulama türü
Azure Blob Storage CSV, Parquet, Excel Hesap Anahtarı, Hizmet Sorumlusu, MSI
Azure Data Lake Storage Gen1 CSV, Parquet, Excel Hizmet Sorumlusu, MSI
Azure Data Lake Storage Gen2 CSV, Parquet, Excel Hesap Anahtarı, Hizmet Sorumlusu, MSI
Azure SQL Veritabanı - SQL kimlik doğrulaması, MSI, Hizmet Sorumlusu
Azure Synapse Analytics - SQL kimlik doğrulaması, MSI, Hizmet Sorumlusu

Birleştirme düzenleyicisi

Power Query etkinliği oluşturduğunuzda, tüm kaynak veri kümeleri veri kümesi sorguları olur ve ADFResource klasörüne yerleştirilir. Varsayılan olarak, UserQuery ilk veri kümesi sorgusuna işaret eder. Veri kümesi sorgularında yapılan değişiklikler desteklenmediğinden veya kalıcı hale gelecek olduğundan, tüm dönüştürmeler UserQuery üzerinde yapılmalıdır. Sorguları yeniden adlandırma, ekleme ve silme şu anda desteklenmiyor.

Düzenleme

Şu anda yazma sırasında kullanılabilir olmasına rağmen tüm Power Query M işlevleri veri düzenleme için desteklenmemaktadır. Power Query etkinliklerinizi oluştururken, bir işlev desteklenmiyorsa aşağıdaki hata iletisiyle karşılaşırsınız:

The Power Query Spark Runtime does not support the function

Desteklenen dönüştürmeler hakkında daha fazla bilgi için bkz. Power Query veri düzenleme işlevleri.

Power Query veri hazırlama karma oluşturmayı öğrenin.