Azure Data Factory ve Azure Synapse Analytics verileri dönüştürme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning geçiş yapmanızı öneririz.

1 Aralık 2021 itibarıyla yeni Machine Learning Studio (klasik) kaynaklar (çalışma alanı ve web hizmeti planı) oluşturamazsınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemeleri ve web hizmetlerini kullanmaya devam edebilirsiniz. Daha fazla bilgi için bkz.

Machine Learning Studio (klasik) belgeler kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Genel bakış

Bu makalede, ham verilerinizi büyük ölçekte tahminlere ve içgörülere dönüştürmek ve işlemek için kullanabileceğiniz Azure Data Factory ve Synapse işlem hatlarındaki veri dönüştürme etkinlikleri açıklanmaktadır. Dönüştürme etkinliği, Azure Databricks veya Azure HDInsight gibi bir bilgi işlem ortamında yürütülür. Her dönüştürme etkinliği hakkında ayrıntılı bilgi içeren makalelere bağlantılar sağlar.

Hizmet, tek tek veya başka bir etkinlikle zincirlenmiş işlem hatlarına eklenebilen aşağıdaki veri dönüştürme etkinliklerini destekler.

Azure Data Factory ve Azure Synapse Analytics içerisinde veri akışlarıyla doğal olarak dönüşüm yapma

Veri akışlarını eşleme

Eşleme veri akışları, Azure Data Factory ve Azure Synapse'de görsel olarak tasarlanmış veri dönüşümleridir. Veri akışları, veri mühendislerinin kod yazmadan grafik veri dönüştürme mantığı geliştirmesine olanak tanır. Sonuçta elde edilen veri akışları, ölçeği genişletilmiş Spark kümeleri kullanan işlem hatları içinde etkinlikler olarak yürütülür. Veri akışı etkinlikleri, hizmet içindeki mevcut zamanlama, denetim, akış ve izleme özellikleri aracılığıyla kullanıma hazır hale getirilebilir. Daha fazla bilgi için bkz veri akışlarının eşlenmesi.

Veri düzenleme

Azure Data Factory'daki Power Query, bulut ölçeğinde veri düzenlemeyi etkinleştirir ve bu sayede bulut ölçeğinde yinelemeli olarak kodsuz veri hazırlama yapabilirsiniz. Veri düzenleme, Power Query Online ile tümleşir ve spark yürütme yoluyla bulut ölçeğinde veri düzenleme için Power Query M işlevlerini kullanılabilir hale getirir. Daha fazla bilgi için bkz. data wrangling in Azure Data Factory.

Not

Power Query şu anda yalnızca Azure Data Factory desteklenir, Azure Synapse desteklenmez. Her hizmette desteklenen belirli özelliklerin listesi için bkz. Azure Data Factory ve Azure Synapse Analytics işlem hatlarındaki kullanılabilir özellikler.

Dış dönüşümler

İsteğe bağlı olarak, dönüştürmeleri el ile kodlayabilir ve dış işlem ortamını kendiniz yönetebilirsiniz.

HDInsight Hive etkinliği

İşlem hattındaki HDInsight Hive etkinliği, Hive sorgularını kendi Windows/Linux tabanlı veya isteğe bağlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için Hive etkinliği makalesine bakın.

HDInsight Pig etkinliği

İşlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi yönettiğiniz veya talep üzerine sağlanan Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için Pig etkinliği makalesine bakın.

HDInsight MapReduce etkinliği

İşlem hattındaki HDInsight MapReduce etkinliği, MapReduce programlarını kendi Windows/Linux tabanlı HDInsight kümenizde veya talep üzerine yürütür. Bu etkinlikle ilgili ayrıntılar için MapReduce etkinlik makalesine bakın.

HDInsight Akış etkinliği

İşlem hattındaki HDInsight Akış etkinliği, Hadoop Akış programlarını kendi Windows/Linux tabanlı veya isteğe bağlı HDInsight kümenizde yürütür. HDInsight Akış etkinliği hakkında ayrıntılı bilgi için bu etkinliğe bakın.

HDInsight Spark etkinliği

İşlem hattındaki HDInsight Spark etkinliği Spark programlarını kendi HDInsight kümenizde yürütür. Ayrıntılar için bkz. Azure Data Factory veya Azure Synapse Analytics ile Spark programlarını çağırma.

ML Studio (klasik) etkinlikleri

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning geçiş yapmanızı öneririz.

1 Aralık 2021 itibarıyla yeni Machine Learning Studio (klasik) kaynaklar (çalışma alanı ve web hizmeti planı) oluşturamazsınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemeleri ve web hizmetlerini kullanmaya devam edebilirsiniz. Daha fazla bilgi için bkz.

Machine Learning Studio (klasik) belgeler kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Hizmet, tahmine dayalı analiz için yayımlanmış bir ML Studio (klasik) web hizmetini kullanan işlem hatlarını kolayca oluşturmanıza olanak tanır. İşlem hattında Batch Yürütme etkinliğini kullanarak, toplu verilerle ilgili tahminlerde bulunmak için bir Studio (klasik) web hizmeti çağırabilirsiniz.

Zaman içinde, Studio (klasik) puanlama denemelerindeki tahmine dayalı modellerin yeni giriş veri kümeleri kullanılarak yeniden eğitilmesi gerekir. Yeniden eğitme işlemini tamamladıktan sonra puanlama web hizmetini yeniden eğitilen makine öğrenmesi modeliyle güncelleştirmek istiyorsunuz. Web hizmetini yeni eğitilen modelle güncelleştirmek için Kaynağı Güncelleştir etkinliğini kullanabilirsiniz.

ML Studio (klasik) etkinliklerini kullanma hakkında ayrıntılı bilgi için bkz.

Saklı yordam etkinliği

Data Factory işlem hattındaki SQL Server Saklı Yordam etkinliğini kullanarak aşağıdaki veri depolarından birinde saklı yordamı çağırabilirsiniz: Azure SQL Database, Azure Synapse Analytics, SQL Server Kuruluşunuzdaki veritabanı veya Azure VM. Ayrıntılar için Saklı Yordam etkinliği makalesine bakın.

Data Lake Analytics U-SQL etkinliği

Data Lake Analytics U-SQL etkinliği, Azure Data Lake Analytics kümesinde bir U-SQL betiği çalıştırır. Ayrıntılar için Veri Analizi U-SQL etkinliği makalesine bakın.

Azure Synapse Not Defteri Etkinliği

Synapse işlem hattındaki Azure Synapse Not Defteri Etkinliği, Azure Synapse çalışma alanınızda bir Synapse not defteri çalıştırır. Bkz. Azure Synapse not defteri çalıştırarak verileri dönüştürme.

Databricks Notebook etkinliği

İşlem hattındaki Azure Databricks Not Defteri Etkinliği, Azure Databricks çalışma alanınızda bir Databricks not defteri çalıştırır. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur. Bkz . Databricks not defteri çalıştırarak verileri dönüştürme.

Databricks Jar etkinliği

İşlem hattındaki Azure Databricks Jar Etkinliği, Azure Databricks kümenizde bir Spark Jar çalıştırır. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur. bkz. > Azure Databricks<'da Jar etkinliği çalıştırarak verileri dönüştürme.

Databricks Python etkinliği

İşlem hattındaki Azure Databricks Python Etkinliği, Azure Databricks kümenizde bir Python dosyası çalıştırır. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur. bkz. Azure Databricks'da Python etkinliği çalıştırarak verileri dönüştürme.

Özel etkinlik

Verileri Data Factory tarafından desteklenmeyen bir şekilde dönüştürmeniz gerekiyorsa, kendi veri işleme mantığınızla özel bir etkinlik oluşturabilir ve işlem hattındaki etkinliği kullanabilirsiniz. Özel .NET etkinliğini bir Azure Batch hizmeti veya Azure HDInsight kümesi kullanarak çalışacak şekilde yapılandırabilirsiniz. Ayrıntılar için Özel etkinlikleri kullanma makalesine bakın.

R yüklü HDInsight kümenizde R betiklerini çalıştırmak için özel bir etkinlik oluşturabilirsiniz. Bkz. Azure Data Factory ve Synapse işlem hatlarını kullanarak R Betiğini çalıştırma.

İşlem ortamları

İşlem ortamı için bağlı bir hizmet oluşturur ve ardından bir dönüştürme etkinliği tanımlarken bağlı hizmeti kullanırsınız. Desteklenen iki tür işlem ortamı vardır.

  • İsteğe Bağlı: Bu durumda bilgi işlem ortamı tamamen hizmet tarafından yönetilir. Bir iş verileri işlemek üzere gönderilmeden önce hizmet tarafından otomatik olarak oluşturulur ve iş tamamlandığında kaldırılır. İş yürütme, küme yönetimi ve önyükleme eylemleri için isteğe bağlı işlem ortamının ayrıntılı ayarlarını yapılandırabilir ve denetleyebilirsiniz.
  • Kendi Ortamınızı Getirin: Bu durumda, bağlı bir hizmet olarak kendi bilgi işlem ortamınızı (örneğin HDInsight kümesi) kaydedebilirsiniz. Bilgi işlem ortamı sizin tarafınızdan yönetilir ve hizmet bu ortamı kullanarak etkinlikleri yürütür.

Desteklenen işlem hizmetleri hakkında bilgi edinmek için İşlem Bağlı Hizmetleri makalesine bakın.

İlgili içerik

Dönüştürme etkinliği kullanma örneği için aşağıdaki öğreticiye bakın: Öğretici: Spark kullanarak verileri dönüştürme

  • Last updated on