Azure Data Factory ve Azure Synapse Analytics'te verileri dönüştürme

Makale
08/10/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021 itibarıyla yeni Machine Learning Studio (klasik) kaynakları (çalışma alanı ve web hizmeti planı) oluşturamazsınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemelerini ve web hizmetlerini kullanmaya devam edebilirsiniz. Daha fazla bilgi için bkz.

Machine Learning Studio (klasik) belgeleri kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Genel bakış

Bu makalede Azure Data Factory ve Synapse işlem hatlarında ham verilerinizi büyük ölçekte tahminlere ve içgörülere dönüştürmek ve işlemek için kullanabileceğiniz veri dönüştürme etkinlikleri açıklanmaktadır. Dönüştürme etkinliği, Azure Databricks veya Azure HDInsight gibi bir bilgi işlem ortamında yürütülür. Her dönüştürme etkinliği hakkında ayrıntılı bilgi içeren makalelere bağlantılar sağlar.

Hizmet, tek tek veya başka bir etkinlikle zincirlenmiş işlem hatlarına eklenebilen aşağıdaki veri dönüştürme etkinliklerini destekler.

Veri akışlarıyla Azure Data Factory ve Azure Synapse Analytics'te yerel olarak dönüştürme

Veri akışlarını eşleme

Eşleme veri akışları, Azure Data Factory ve Azure Synapse'te görsel olarak tasarlanmış veri dönüştürmeleridir. Veri akışları, veri mühendislerinin kod yazmadan grafik veri dönüştürme mantığı geliştirmesine olanak tanır. Sonuçta elde edilen veri akışları, ölçeği genişletilmiş Spark kümeleri kullanan işlem hatları içinde etkinlikler olarak yürütülür. Veri akışı etkinlikleri, hizmet içindeki mevcut zamanlama, denetim, akış ve izleme özellikleri aracılığıyla kullanıma hazır hale getirilebilir. Daha fazla bilgi için bkz . Eşleme veri akışları.

Veri düzenleme

Azure Data Factory'deki Power Query, bulut ölçeğinde veri düzenlemeyi etkinleştirir ve bu sayede bulut ölçeğinde kodsuz veri hazırlama işlemini yinelemeli olarak yapabilirsiniz. Veri düzenleme, Power Query Online ile tümleşir ve Spark yürütmesi aracılığıyla bulut ölçeğinde veri düzenleme için Power Query M işlevlerini kullanılabilir hale getirir. Daha fazla bilgi için bkz . Azure Data Factory'de veri düzenleme.

Not

Power Query şu anda yalnızca Azure Data Factory'de desteklenir, Azure Synapse'te desteklenmez. Her hizmette desteklenen belirli özelliklerin listesi için bkz . Azure Data Factory ve Azure Synapse Analytics işlem hatlarındaki kullanılabilir özellikler.

Dış dönüşümler

İsteğe bağlı olarak, dönüştürmeleri el ile kodlayabilir ve dış işlem ortamını kendiniz yönetebilirsiniz.

HDInsight Hive etkinliği

İşlem hattındaki HDInsight Hive etkinliği, Hive sorgularını kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için Hive etkinliği makalesine bakın.

HDInsight Pig etkinliği

İşlem hattındaki HDInsight Pig etkinliği, Pig sorgularını kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için Pig etkinliği makalesine bakın.

HDInsight MapReduce etkinliği

İşlem hattındaki HDInsight MapReduce etkinliği MapReduce programlarını kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için MapReduce etkinlik makalesine bakın.

HDInsight Akış etkinliği

bir işlem hattındaki HDInsight Akış etkinliği Hadoop Akış programlarını kendi veya isteğe bağlı Windows/Linux tabanlı HDInsight kümenizde yürütür. Bu etkinlikle ilgili ayrıntılar için bkz. HDInsight Akış etkinliği.

HDInsight Spark etkinliği

İşlem hattındaki HDInsight Spark etkinliği Spark programlarını kendi HDInsight kümenizde yürütür. Ayrıntılar için bkz . Azure Data Factory veya Azure Synapse Analytics ile Spark programlarını çağırma.

ML Studio (klasik) etkinlikleri

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

Machine Learning Studio (klasik) belgeleri kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Hizmet, tahmine dayalı analiz için yayımlanmış bir ML Studio (klasik) web hizmetini kullanan işlem hatlarını kolayca oluşturmanıza olanak tanır. İşlem hattında Batch Yürütme etkinliğini kullanarak, toplu verilerle ilgili tahminlerde bulunmak için bir Studio (klasik) web hizmeti çağırabilirsiniz.

Zaman içinde, Studio (klasik) puanlama denemelerindeki tahmine dayalı modellerin yeni giriş veri kümeleri kullanılarak yeniden eğitilmesi gerekir. Yeniden eğitme işlemini tamamladıktan sonra puanlama web hizmetini yeniden eğitilen makine öğrenmesi modeliyle güncelleştirmek istiyorsunuz. Web hizmetini yeni eğitilen modelle güncelleştirmek için Kaynağı Güncelleştir etkinliğini kullanabilirsiniz.

Bu Studio (klasik) etkinlikleri hakkında ayrıntılı bilgi için bkz. ML Studio (klasik) etkinliklerini kullanma.

Saklı yordam etkinliği

Aşağıdaki veri depolarından birinde saklı yordamı çağırmak için Data Factory işlem hattındaki SQL Server Saklı Yordamı etkinliğini kullanabilirsiniz: Azure SQL Veritabanı, Azure Synapse Analytics, kuruluşunuzdaki SQL Server Veritabanı veya bir Azure VM. Ayrıntılar için Saklı Yordam etkinlik makalesine bakın.

Data Lake Analytics U-SQL etkinliği

Data Lake Analytics U-SQL etkinliği, Azure Data Lake Analytics kümesinde bir U-SQL betiği çalıştırır. Ayrıntılar için Veri Analizi U-SQL etkinliği makalesine bakın.

Azure Synapse Notebook etkinliği

Synapse işlem hattındaki Azure Synapse Notebook Etkinliği, Azure Synapse çalışma alanınızda bir Synapse not defteri çalıştırır. Bkz. Azure Synapse not defteri çalıştırarak verileri dönüştürme.

Databricks Not Defteri etkinliği

İşlem hattındaki Azure Databricks Not Defteri Etkinliği, Azure Databricks çalışma alanınızda bir Databricks not defteri çalıştırır. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur. Bkz . Databricks not defteri çalıştırarak verileri dönüştürme.

Databricks Jar etkinliği

İşlem hattındaki Azure Databricks Jar Etkinliği, Azure Databricks kümenizde Spark Jar çalıştırır. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur. Bkz. Azure Databricks'te Jar etkinliği çalıştırarak verileri dönüştürme.

Databricks Python etkinliği

İşlem hattındaki Azure Databricks Python Etkinliği, Azure Databricks kümenizde bir Python dosyası çalıştırır. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur. Bkz. Azure Databricks'te Python etkinliği çalıştırarak verileri dönüştürme.

Özel etkinlik

Verileri Data Factory tarafından desteklenmeyen bir şekilde dönüştürmeniz gerekiyorsa, kendi veri işleme mantığınızla özel bir etkinlik oluşturabilir ve işlem hattındaki etkinliği kullanabilirsiniz. Özel .NET etkinliğini bir Azure Batch hizmeti veya Azure HDInsight kümesi kullanarak çalışacak şekilde yapılandırabilirsiniz. Ayrıntılar için Özel etkinlikleri kullanma makalesine bakın.

R yüklü HDInsight kümenizde R betiklerini çalıştırmak için özel bir etkinlik oluşturabilirsiniz. Bkz. Azure Data Factory ve Synapse işlem hatlarını kullanarak R Betiği çalıştırma.

İşlem ortamları

İşlem ortamı için bağlı bir hizmet oluşturur ve ardından bir dönüştürme etkinliği tanımlarken bağlı hizmeti kullanırsınız. Desteklenen iki tür işlem ortamı vardır.

İsteğe Bağlı: Bu durumda bilgi işlem ortamı tamamen hizmet tarafından yönetilir. Bir iş verileri işlemek üzere gönderilmeden önce hizmet tarafından otomatik olarak oluşturulur ve iş tamamlandığında kaldırılır. İş yürütme, küme yönetimi ve önyükleme eylemleri için isteğe bağlı işlem ortamının ayrıntılı ayarlarını yapılandırabilir ve denetleyebilirsiniz.
Kendi Ortamınızı Getirin: Bu durumda, bağlı bir hizmet olarak kendi bilgi işlem ortamınızı (örneğin HDInsight kümesi) kaydedebilirsiniz. Bilgi işlem ortamı sizin tarafınızdan yönetilir ve hizmet bu ortamı kullanarak etkinlikleri yürütür.

Desteklenen işlem hizmetleri hakkında bilgi edinmek için İşlem Bağlı Hizmetleri makalesine bakın.

Dönüştürme etkinliği kullanma örneği için aşağıdaki öğreticiye bakın: Öğretici: Spark kullanarak verileri dönüştürme