Aracılığıyla paylaş

Azure Synapse Analytics'te Makine Öğrenmesi özellikleri

  • Makale

Azure Synapse Analytics çeşitli makine öğrenmesi özellikleri sunar. Bu makalede, Azure Synapse bağlamında Machine Learning'i nasıl uygulayabileceğinize ilişkin bir genel bakış sağlanır.

Bu genel bakış, synapse'teki makine öğrenmesi ile ilgili veri bilimi süreci perspektifinden farklı özellikleri kapsar.

Tipik bir veri bilimi sürecinin nasıl göründüğü hakkında bilgi sahibi olabilirsiniz. Makine öğrenmesi projelerinin çoğunun izlediği iyi bilinen bir süreçtir.

İşlem, üst düzeyde aşağıdaki adımları içerir:

  • İş anlayışı (bu makalede ele alınmadı)
  • Veri edinme ve anlama
  • Modelleme
  • Model dağıtımı ve puanlama

Bu makalede, veri bilimi süreci açısından farklı analiz altyapılarındaki Azure Synapse makine öğrenmesi özellikleri açıklanmaktadır. Veri bilimi sürecindeki her adım için yardımcı olabilecek Azure Synapse özellikleri özetlenir.

Veri edinme ve anlama

Makine öğrenmesi projelerinin çoğu iyi oluşturulmuş adımlar içerir ve bu adımlardan biri de verilere erişmek ve bunları anlamaktır.

Veri kaynağı ve işlem hatları

Azure Synapse'in yerel olarak tümleştirilmiş bir parçası olan Azure Data Factory sayesinde, veri alımı ve veri düzenleme işlem hatları için kullanabileceğiniz güçlü bir araç kümesi vardır. Bu, verilere erişmek ve bunları makine öğrenmesi için kullanılabilecek bir biçime dönüştürmek için kolayca veri işlem hatları oluşturmanıza olanak tanır. Synapse'teki veri işlem hatları hakkında daha fazla bilgi edinin.

Veri hazırlama ve keşfetme/görselleştirme

Makine öğrenmesi sürecinin önemli bir parçası, verileri araştırma ve görselleştirmelerle anlamaktır.

Verilerin nerede depolandığına bağlı olarak Synapse, analiz ve makine öğrenmesi için keşfetmek ve hazırlamak için bir dizi farklı araç sunar. Veri keşfetmeye başlamanın en hızlı yollarından biri Apache Spark veya sunucusuz SQL havuzlarını doğrudan veri gölündeki veriler üzerinden kullanmaktır.

  • Azure Synapse için Apache Spark, verilerinizi büyük ölçekte dönüştürmeye, hazırlamaya ve keşfetmeye yönelik özellikler sunar. Bu spark havuzları, büyük ölçekte veri işleme için PySpark/Python, Scala ve .NET gibi araçlar sunar. Güçlü görselleştirme kitaplıkları kullanılarak, verilerin daha iyi anlaşılmasına yardımcı olmak için veri keşfetme deneyimi geliştirilebilir. Spark kullanarak Synapse'te verileri keşfetme ve görselleştirme hakkında daha fazla bilgi edinin.

  • Sunucusuz SQL havuzları , doğrudan veri gölü üzerinden TSQL kullanarak verileri keşfetmenin bir yolunu sunar. Sunucusuz SQL havuzları, Synapse Studio'da bazı yerleşik görselleştirmeler de sunar. Sunucusuz SQL havuzlarıyla verileri keşfetme hakkında daha fazla bilgi edinin.

Modelleme

Azure Synapse'te, Apache Spark Havuzlarında PySpark/Python, Scala veya .NET gibi araçlarla eğitim makine öğrenmesi modelleri gerçekleştirilebilir.

MLlib ile Spark Havuzlarında modelleri eğitin

Makine öğrenmesi modelleri çeşitli algoritmaların ve kitaplıkların yardımıyla eğitilebilir. Spark MLlib , klasik makine öğrenmesi sorunlarının çoğunu çözmeye yardımcı olabilecek ölçeklenebilir makine öğrenmesi algoritmaları sunar. Synapse'te MLlib kullanarak model eğitmeye yönelik bir öğretici için bkz . Apache Spark MLlib ve Azure Synapse Analytics ile makine öğrenmesi uygulaması oluşturma.

MLlib'e ek olarak, Scikit Learn gibi popüler kitaplıklar da model geliştirmek için kullanılabilir. Synapse Spark Havuzlarına kitaplık yükleme hakkında ayrıntılı bilgi için bkz . Azure Synapse Analytics'te Apache Spark kitaplıklarını yönetme.

Azure Machine Learning otomatik ML ile modelleri eğitin

Makine öğrenmesi hakkında çok fazla bilgi gerektirmeyen makine öğrenmesi modellerini eğitmenin bir diğer yolu da otomatik ML kullanmaktır. Otomatik ML , bir dizi makine öğrenmesi modelini otomatik olarak eğiten ve kullanıcının belirli ölçümlere göre en iyi modeli seçmesine olanak tanıyan bir özelliktir. Azure Synapse Notebooks'tan Azure Machine Learning ile sorunsuz tümleştirme sayesinde kullanıcılar, doğrudan Microsoft Entra kimlik doğrulaması ile Synapse'de otomatik ML'den kolayca yararlanabilir. Bu, yalnızca Azure Machine Learning çalışma alanınızı işaret etmeniz gerektiği ve herhangi bir kimlik bilgisi girmeniz gerekmediği anlamına gelir. Python'da otomatik makine öğrenmesi ile model eğitma öğreticisi, Synapse Spark Havuzlarında Azure Machine Learning otomatik ML kullanarak modelleri eğitmeyi açıklar.

Uyarı

  • Azure Synapse, 29 Eylül 2023 tarihinden itibaren Spark 2.4 Çalışma Zamanları için resmi desteği sona erdirecektir. 29 Eylül 2023'ün ardından Spark 2.4 ile ilgili destek biletlerine değinmeyeceksiniz. Spark 2.4 için hata veya güvenlik düzeltmeleri için yayın işlem hattı yoktur. Spark 2.4'ün destek kesme tarihinden sonra kullanımı kendi riski altındadır. Olası güvenlik ve işlevsellik endişeleri nedeniyle kullanılmaya devam etmemesi kesinlikle önerilmez.
  • Apache Spark 2.4'ün kullanımdan kaldırılması işleminin bir parçası olarak, Azure Synapse Analytics'teki AutoML'nin de kullanım dışı bırakılacağını bildirmek isteriz. Buna hem düşük kod arabirimi hem de kod aracılığıyla AutoML denemeleri oluşturmak için kullanılan API'ler dahildir.
  • AutoML işlevinin yalnızca Spark 2.4 çalışma zamanı aracılığıyla kullanılabildiğini lütfen unutmayın.
  • AutoML özelliklerinden yararlanmaya devam etmek isteyen müşteriler için verilerinizi Azure Data Lake Storage 2. Nesil (ADLSg2) hesabınıza kaydetmenizi öneririz. Buradan Azure Machine Learning (AzureML) aracılığıyla AutoML deneyimine sorunsuz bir şekilde erişebilirsiniz. Bu geçici çözümle ilgili daha fazla bilgiyi burada bulabilirsiniz.

Model dağıtımı ve puanlama

Azure Synapse'te veya Azure Synapse dışında eğitilmiş modeller toplu puanlama için kolayca kullanılabilir. Şu anda Synapse'te toplu puanlama çalıştırmanın iki yolu vardır.

SynapseML

SynapseML (eski adıyla MMLSpark), yüksek düzeyde ölçeklenebilir makine öğrenmesi (ML) işlem hatlarının oluşturulmasını kolaylaştıran açık kaynak bir kitaplıktır. Apache Spark çerçevesini birkaç yeni yönde genişletmek için kullanılan bir araç ekosistemidir. SynapseML, mevcut çeşitli makine öğrenmesi çerçevelerini ve yeni Microsoft algoritmalarını Python, R, Scala, .NET ve Java'da kullanılabilen tek ve ölçeklenebilir bir API'de birleştirir. Daha fazla bilgi edinmek için SynapseML'nin temel özelliklerine bakın.

Sonraki adımlar