Veri düzenleme nedir?

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Kuruluşların, her gün büyümeye devam eden karmaşık verilerin doğru analizini sağlamak için veri hazırlama ve düzenleme için kritik iş verilerini keşfetme becerisine sahip olması gerekir. Kuruluşların verileri çeşitli iş süreçlerinde kullanabilmesi ve değer verme süresini kısaltabilmesi için veri hazırlama gereklidir.

Data Factory, Power Query kullanarak bulut ölçeğinde yinelemeli olarak kod içermeyen veri hazırlama konusunda sizi güçlendirir. Data Factory, Power Query Online ile tümleşir ve Power Query M işlevlerini işlem hattı etkinliği olarak kullanılabilir hale getirir.

Data Factory, M'yi Azure Data Factory Veri Akışı s'e çevirerek Power Query Online Mashup Düzenleyicisi tarafından oluşturulan M'yi bulut ölçeği yürütme için spark koduna çevirir. Verileri Power Query ve veri akışlarıyla düzenleme, özellikle veri mühendisleri veya 'vatandaş veri tümleştiricileri' için kullanışlıdır.

Kullanım örnekleri

Hızlı etkileşimli veri keşfi ve hazırlığı

Birden çok veri mühendisi ve vatandaş veri tümleştiricisi, bulut ölçeğinde veri kümelerini etkileşimli olarak inceleyebilir ve hazırlayabilir. Veri göllerindeki verilerin hacminin, çeşitliliğinin ve hızının artmasıyla, kullanıcıların veri kümelerini keşfetmek ve hazırlamak için etkili bir yönteme ihtiyacı vardır. Örneğin, '2017'den bu yana yeni müşteriler için tüm müşteri demografik bilgilerini içeren' bir veri kümesi oluşturmanız gerekebilir. Bilinen bir hedefe eşlemiyorsanız. Bir gereksinimi gölde yayımlamadan önce bir gereksinimi karşılamak için veri kümelerini keşfediyor, düzenliyor ve hazırlıyorsunuz. Düzenleme genellikle daha az resmi analiz senaryoları için kullanılır. Önceden oluşturulmuş veri kümeleri, dönüştürmeler ve makine öğrenmesi işlemleri aşağı akış için kullanılabilir.

Kod içermeyen çevik veri hazırlama

Vatandaş veri tümleştiricileri zamanlarının %60'ından fazlasını veri aramak ve hazırlamak için harcar. Operasyonel üretkenliği artırmak için bunu kodsuz bir şekilde yapmak istiyorlar. Vatandaş veri tümleştiricilerinin Power Query Online gibi bilinen araçları ölçeklenebilir bir şekilde kullanarak verileri zenginleştirmesine, şekillendirmesine ve yayımlamasına olanak sağlamak, üretkenliği önemli ölçüde artırır. Azure Data Factory'de düzenleme, tanıdık Power Query Online karma düzenleyicisinin vatandaş veri tümleştiricilerinin hataları hızla düzeltmesine, verileri standartlaştırmasına ve iş kararlarını desteklemek için yüksek kaliteli veriler üretmesine olanak tanır.

Veri doğrulama ve araştırma

Aykırı değerleri, anomalileri kaldırmak ve hızlı analiz için bir şekle uydurmak için verilerinizi kodsuz bir şekilde görsel olarak tarayın.

Desteklenen kaynaklar

Bağlayıcı Veri biçimi Authentication type
Azure Blob Depolama CSV, Parquet, Excel Hesap Anahtarı, Hizmet Sorumlusu, MSI
Azure Data Lake Storage Gen1 CSV, Parquet, Excel Hizmet Sorumlusu, MSI
Azure Data Lake Storage 2. Nesil CSV, Parquet, Excel Hesap Anahtarı, Hizmet Sorumlusu, MSI
Azure SQL Veritabanı - SQL kimlik doğrulaması, MSI, Hizmet Sorumlusu
Azure Synapse Analytics - SQL kimlik doğrulaması, MSI, Hizmet Sorumlusu

Karma düzenleyicisi

Power Query etkinliği oluşturduğunuzda, tüm kaynak veri kümeleri veri kümesi sorguları haline gelir ve ADFResource klasörüne yerleştirilir. Varsayılan olarak, UserQuery ilk veri kümesi sorgusuna işaret eder. Veri kümesi sorgularında yapılan değişiklikler desteklenmediğinden veya kalıcı hale gelecek olduğundan, tüm dönüştürmeler UserQuery üzerinde yapılmalıdır. Sorguları yeniden adlandırma, ekleme ve silme şu anda desteklenmiyor.

Wrangling

Şu anda, yazma sırasında kullanılabilir olmasına rağmen veri düzenleme için tüm Power Query M işlevleri desteklenmemaktadır. Power Query etkinliklerinizi oluştururken, bir işlev desteklenmiyorsa aşağıdaki hata iletisiyle karşılaşırsınız:

The Power Query Spark Runtime does not support the function

Desteklenen dönüştürmeler hakkında daha fazla bilgi için bkz . Power Query veri düzenleme işlevleri.

Power Query karmasını düzenleyerek veri oluşturmayı öğrenin.